ISC2(국제정보시스템보안자격협회) 발표에 따르면 최근 사이버범죄 관련 비용이 급증하고 있으며 약 480만 명의 사이버보안 전문가가 부족한 상황이다. 또한 ISACA는 지난해 말 사이버보안 현황 보고서에서 응답자의 약 절반이 AI 솔루션 개발, 도입, 구현에 전혀 참여하지 않고 있다고 지적했다.
이는 중요한 질문을 제기한다. AI가 사이버보안 격차를 해소하는 데 도움이 될까, 아니면 오히려 보안 과제를 악화시킬까?
지난해 전망을 바탕으로 2025년 주요 위협 요소를 선별했다. 특히 운영 보안 리스크와 AI가 제기하는 새로운 과제에 초점을 맞췄다. 주목할 만한 많은 위협이 있지만, 사이버보안과 AI 환경에서 더 시급한 우려 사항을 강조했다.
1. 크라우드스트라이크 사태 이후를 대비하고 있는가?
2024년 가장 영향력 높았던 사고인 크라우드스트라이크 사태가 기술적 오류였는지 보안 문제였는지에 대해서는 상당한 논쟁이 있었다. 한 가지 중요한 교훈은 현재 많은 기업과 국가가 단일 벤더나 시스템에 위태롭게 의존하고 있다는 점이다. 이런 상황은 단일 취약점에 의한 전 세계 서비스 거부 사태 위험을 높인다. 복원력 관리는 결코 간단하지 않으며, 현장에서 일하는 사람들은 이와 관련된 실질적, 재정적 과제를 알고 있다. 복잡한 백업 시스템에 막대하게 투자하고 클릭 한 번으로 대체 벤더로 전환하는 것이 해결책일까, 아니면 문제를 더 빠르게 식별하고 대응하며 해결하는 데 초점을 맞춰야 할까? 논란의 여지가 있지만, 어떤 상황에서는 신속하게 적응하고 수정할 수 있는 민첩성이 복잡한 이중화 설계보다 실용적이고 지속 가능한 방법일 수 있다.
예측: 2024년 수준의 대규모 사고가 또다시 발생할 가능성은 매우 높다. 다음에는 크라우드스트라이크가 아닐 수 있지만, 보안 벤더의 취약점에서 비롯될 가능성은 높다. 해커들은 크라우드스트라이크 중단 사태에서 여러 교훈을 얻었을 것이다. 가령 혼란을 통해 도미노 효과를 일으킬 수 있다는 점, 조직 네트워크와 최종 사용자 기기에 깊고 광범위한 접근이 필요하다는 점 등이다. 2025년에는 훨씬 더 긴 다운타임과 까다로운 패치가 예상된다.
2. AI 브라우저 플러그인의 숨은 위협
AI 플러그인은 생산성을 향상시키지만, 기존 보안 통제를 우회할 리스크가 있다. 플러그인이 의도된 기능을 수행하는 것처럼 보이지만 뒤에서 은밀한 작업을 실행할 때 취약점이 발생할 수 있다. 예를 들어 암호화폐 업계에서는 가짜 지갑 플러그인이 디지털 지갑 연결 중에, 또는 클립보드 모니터링을 통해 민감한 데이터를 캡처해 사용자를 속이는 데 사용돼 왔다. AI 에이전트의 증가로 맞춤법 검사, 문법 교정 또는 AI 기반 문서 생성 등 무해해 보이는 플러그인조차도 기밀 정보를 노출시키거나 멀웨어의 진입점이 될 수 있다. 공격자가 이런 플러그인을 활용해 무단으로 접근하거나 시간이 지남에 따라 은밀하게 정보를 추출할 가능성이 있다.
조직은 포괄적 벤더 위험 평가(VRA)처럼 플러그인을 엄격하게 심사하는 등 선제적 조치를 취해야 한다. 운영 관점에서 더 강력한 방어 방법은 기업이 자체 관리하는 브라우저를 사용하고, 기본적으로 모든 플러그인을 차단하며, 통제된 화이트리스트를 통해 검증된 플러그인만 승인하는 것이다. 또한 오픈소스 플러그인을 사용할 때는 주의를 기울여야 한다.
예측: 최근 약 16개의 크롬 확장 프로그램이 손상되어 60만 명 이상의 사용자가 잠재적 리스크에 노출됐다는 발표가 있었다. 이는 시작에 불과하다. AI 플러그인이 성장할 2025~2026년에는 이런 문제가 기하급수적으로 늘어날 수 있다. 조직 내 브라우저 플러그인 리스크를 완전히 통제하고 있는가? 그렇지 않다면 지금 시작할 필요가 있다.
3. AI 에이전트의 ‘통제 불능’ 리스크
자율 의사결정이 가능한 시스템인 AI 에이전트는 2025년 도입이 확대됨에 따라 크게 성장할 전망이다. 여기에는 새로운 리스크가 뒤따른다. 더 많은 기업과 직원이 워크플로우를 간소화하고 대규모 작업을 실행하기 위해 AI 에이전트 봇을 배포하려 하겠지만, 이런 시스템은 통제 불능이 될 가능성이 있다. 적대적 공격과 잘못된 최적화는 봇을 위험 요소로 만들 수 있다. 예를 들어, 공격자들은 강화 학습 알고리즘을 조작해 안전하지 않은 지침을 내리거나 피드백 루프를 탈취해 워크플로우를 해로운 목적으로 악용할 수 있다. 이를테면 산업 기계를 관리하는 AI가 조작돼 시스템을 과부하시키거나 운영을 중단시켜 안전 위험과 운영 중단을 초래할 수 있다. 아직 매우 초기 단계에 있으며, 기업은 시스템의 무결성을 보장하기 위해 엄격한 코드 검토, 정기적인 침투 테스트, 일상 감사를 수행해야 한다. 그렇지 않으면 이런 취약점이 연쇄적으로 발생하여 상당한 비즈니스 중단을 초래할 수 있다. 국제표준화기구(ISO)와 미국 국립표준기술연구소(NIST)는 프레임워크를 제공하고 있으며, ISACA도 AI 감사 도구를 제공하고 있다.
예측: 2025년에는 AI 에이전트의 통제 불능 사고가 헤드라인을 장식할 수 있다. 제대로 구현된 AI 에이전트 워크플로우가 효율성을 향상하는 사용 사례는 늘어나겠지만, 완전히 잘못되어 통제 불능이 될 수도 있다. 기계 로봇이 지침을 잘못 해석하고 사람을 다치게 해도 된다고 합리화할 수 있다는 의미다.
4. AI 하드웨어 칩 전쟁
흔히 AI 리스크를 언급할 때 하드웨어, 특히 AI 칩 자체의 중요성이 간과되는 경우가 많다. AI 칩은 첨단 알고리즘을 실행하는 데 필수지만, 자체 취약점과 지정학적 리스크를 수반한다. 제재와 공급망 제한은 고성능 칩에 대한 접근을 제한할 수 있으며, 적대 국가가 위조 또는 손상된 부품을 활용할 가능성이 있다. 또한 이론적으로 공격자가 설계 결함을 악용해 무단 접근하거나 계산 결과를 변경할 수 있기 때문에, 온칩 제어 기능에도 보안 리스크가 존재한다.
연방 뉴스네트워크의 최근 인사이트에 따르면 AI 칩은 부적절한 펌웨어 보호로 인해 점점 더 공격 벡터가 되고 있다. 또한 대부분 AI 특화 하드웨어 보안의 표준화가 이뤄지지 않아 보안 관행에 중요한 격차가 발생하고 있다. STAIR 저널은 온칩 AI 하드웨어 제어 기능의 리스크를 강조하면서, 백도어 구현이 무단 원격 접근을 가능하게 해 운영 무결성과 데이터 보안에 심각한 위협을 초래할 수 있다고 지적했다.
예측: 하드웨어 칩 전쟁은 2025년에 더욱 격화될 전망이다. 국가와 조직은 보유 도구로 경쟁력을 유지하기 위한 대안을 찾게 될 것이다. 예를 들어 딥시크(DeepSeek)는 이미 훨씬 저렴한 비용의 칩과 시스템으로 대기업에 도전하고 있다.
5. 딥페이크를 넘어서는 ‘디지털 사기’
디지털 사기는 기존 딥페이크를 뛰어넘어 급속도로 진화하고 있다. 생성형 AI 도구는 공격자가 시스템을 조작해 그럴듯하지만 해로운 결과를 만들 수 있게 함으로써 취약점을 노출시킨다. 예를 들어 AI는 거짓 의료 정보나 사기성 비즈니스 커뮤니케이션을 생성하는 데 악용될 수 있다. 그러면 실제와 가짜 콘텐츠의 경계가 모호해진다. 웹 콘텐츠의 숨김 텍스트와 클로킹 기술은 탐지를 더 복잡하게 해 검색 결과를 왜곡하고 보안팀의 과제를 가중시킨다.
조직은 일부 벤더나 내부 기술팀의 위험한 관행에도 주의해야 한다. 이들은 단순히 공개 LLM을 API를 통해 시스템에 연결하는데, 이때 철저한 테스트나 비공개 인스턴스 구축보다 시장 출시 속도를 우선시할 수 있다. 이로 인해 민감한 데이터가 의도치 않게 학습 파이프라인으로 유입되거나 서드파티 LLM 시스템에 기록되고, 결과적으로 데이터가 노출될 위험이 있다. 모든 검증이 완료되었다고 섣불리 가정해서는 안 된다.
한편 텍스트-투-비디오 기술과 딥페이크의 발전으로 인해 보안 및 컴플라이언스 팀이 고객확인(KYC) 조사 중 진짜 콘텐츠와 조작된 미디어를 구별하기가 점점 더 어려워지고 있다. 2024년에는 이런 도구가 주로 인스타그램이나 X 같은 플랫폼에서 유머용으로 사용됐지만, 2025년에는 표적 사기, 평판 공격, 가짜 뉴스에 악용될 리스크가 증가했다.
예측: AI 기반 디지털 속임수가 증가하면서 2025년 이후에는 허위 정보, 사기가 일상 생활에서 더욱 기승을 부릴 것이다. 모든 사람이 사랑하는 사람들과 시도-응답 인증(challenge–response authentication)을 만들어 대화 상대의 신원을 확실히 확인할 것을 권장한다.
6. 차세대 AI 규제 준수
EU AI 법은 2018년의 GDPR(General Data Protection Regulation)처럼 글로벌 규제를 변화시킬 가능성이 높다. GDPR이 데이터 프라이버시에 초점을 맞췄다면, AI 법은 AI 시스템을 위험 수준별로 분류하고 고위험 애플리케이션에 투명성, 문서화, 사람 감독과 같은 엄격한 요구사항을 부과하는 등 더 광범위한 과제를 다룬다.
AI 법이 특히 영향력이 큰 이유는 전 세계에 적용되기 때문이다. EU 시장과 상호작용하는 기업은 AI 관행을 기준에 맞춰야 한다. 한국은 이미 AI 기본법을 발의해 AI의 투명성, 책임, 윤리를 강조하고 나섰다. 이는 통합된 AI 규제를 향해 전 세계적으로 변화가 시작되고 있음을 의미한다. 제대로 관리되지 않는 AI는 벌금을 넘어 시스템 실패, 차별적 결과, 평판 손상을 초래할 수 있다.
예측: 기업은 GDPR 시행 초기처럼 AI 법안의 복잡성을 헤쳐나가는 데 상당한 어려움을 겪을 수 있다. AI 윤리, 편향 완화, 책임과 같은 주요 문제는 모호하게 남아 추후 운영상 장애물이 될 수 있다. AI 도입 속도가 빨라지는 가운데 많은 조직이 속도와 규제 준수의 균형을 맞추기 위해 고심하고 있다.
7. 노이즈 속의 신호··· 이제 비밀은 없을까?
해커들은 이제 합성 데이터와 머신러닝 모델을 표적으로 삼아 프라이버시와 지적 재산권을 손상시킬 취약점을 노출시키고 있다. 실제 데이터의 프라이버시 보호 대안으로 주목받는 합성 데이터는 잘못 구현될 경우 기저의 패턴이나 편향을 의도치 않게 드러낸다. 예를 들어 공격자가 합성 데이터셋을 역설계해 민감한 정보를 추론하거나 생성 과정에서 악의적인 편향을 주입할 수 있다. 동시에 대리 모델은 전용 AI 시스템을 쿼리해 민감한 학습 데이터를 추출하거나 원본 모델의 동작을 모방하는 데 악용되고 있다. 의료용 흉부 X선 데이터를 통한 환자 재식별과 같이, 가명화 또는 익명화된 데이터 스트림의 특성을 모니터링해 AI가 잠재적으로 개인식별정보를 재구성할 수 있는 방법에 대한 연구가 이미 진행되고 있다.
예측: 2025년에는 AI가 데이터나 시스템의 특성을 관찰해 숨겨진 데이터를 발견하는 데 더 많이 활용될 것이다. 막연해 보일 수 있지만, IEEE는 최근 “AI 감시 시대에서 잠수함 스텔스 기술을 지키기 위한 경쟁”이라는 표제로 이를 논의했다. 노이즈 속에서 신호를 찾아내는 AI의 역량은 비밀을 밝혀내는 기술을 크게 발전시킬 가능성이 있다.
2025년 전망
2025년은 AI와 사이버보안이 지배적인 위치를 차지하면서, 혁신과 도전이 공존하는 한 해가 될 전망이다. 혁신 애플리케이션 개발이든 인공일반지능(AGI)으로의 자연스러운 진화든, 2025년에는 획기적 발전과 중대한 리스크를 동시에 마주할 가능성이 높다. 지금까지 분리돼 있던 데이터 세트가 점차 하나로 모이면서, 암호화를 뚫지 않고도 새로운 사실을 밝혀낼 수도 있을 것이다. 암호화폐 믹서를 통한 거래 추적부터 의료 분야의 혁신적 발견까지, 그 가능성은 무궁무진하다. 예를 들어 겉보기에 관련 없어 보이는 의료 증상 사이에서 미묘한 패턴을 발견해 질병을 조기에 감지하게 될 수 있다. 하지만 이는 양날의 검이 될 수 있다. 해커들이 수년간 수집해 온 유출 데이터 세트와 다크웹 콘텐츠를 통합해 악용 목적의 기업 프로필을 만드는 데 활용할 가능성도 있다.
AI와 사이버 보안이 전례 없는 속도로 발전함에 따라 실험하고, 배우고, 적응해야 할 필요가 그 어느 때보다 커졌다. 이런 기술을 실제로 경험하는 것은 기회와 리스크를 모두 파악하는 데 필수다. 마지막으로 “모든 분야에서 배울 점을 찾고, 한 분야에서는 모든 것을 배워라”라는 토마스 헉슬리의 말을 인용한다.
2025년에는 이 조언이 어느 때보다 적절하다. 우리는 AI에 대해 “모든 것을 배워야” 한다. AI에 깊이 파고들어 잠재력을 이해하고, 빠른 진화에 앞서나가기 위해 지식과 실무 기술로 무장해야 한다.
dl-ciokorea@foundryco.com
