머신러닝과 인공지능(AI)이 위협 탐지 및 대응 도구의 핵심 기술이 되고 있다. 즉석에서 학습하고 변화하는 사이버 위협에 자동으로 적응하는 능력은 사이버 보안 팀에게 긴요하다. 반타(Vanta)의 의뢰로 사피오 리서치(Sapio Research)가 실시한 설문조사에 따르면 조직의 62%가 향후 12개월 동안 AI 보안에 더 많은 투자를 할 계획이라고 답했다.
그러나 일부 위협 행위자들도 머신러닝과 AI를 사용한다. 사이버 공격면을 확장하고 보안 제어를 회피하며 새로운 취약점을 찾아내는 용도다. 문제는 이 같은 행태가 전례 없는 속도로 늘어나고 있다는 점이다. 10월에 발표된 버그크라우드의 연례 해커 설문조사에 따르면 해커의 77%가 해킹에 AI를 사용하고 있으며, 86%는 해킹에 대한 접근 방식이 근본적으로 바뀌었다고 답했다. 2023년에는 AI 기술이 해킹에 가치가 있다고 응답한 비율 21%에 불과했지만, 현재 71%로 증가했다.
사이버 보안 회사인 시큐어옵스(SecureOps)에 따르면 사이버 범죄 용도의 생성형 AI 도구들도 등장했다. 프러이드GPT(FraudGPT)와 웜GPT(WormGPT) 등이 대표적이다. 보스턴 컨설팅 그룹의 사이버 및 디지털 리스크 글로벌 리더인 바네사 라이언은 “AI가 공격을 개발해 배포하는 능력의 기준을 낮추고 있다”라며, 특히 생성형 AI의 비결정적 특성은 기존의 규칙 기반 방어를 무력화하곤 한다고 말했다.
실제로 키퍼 시큐리티(Keeper Security)의 10월 보고서에 따르면 IT 및 보안 리더의 51%는 AI 기반 공격이 조직이 직면한 가장 심각한 위협이라고 답했다. 해커들이 AI와 머신러닝 기술을 활용하는 일반적인 10가지 방법을 소개한다.
1. 스팸, 스팸, 스팸, 스팸
머신러닝은 지난 수십 년 동안 스팸을 탐지하기 위해 사용되어 왔다. 옴디아의 페르난도 몬테네그로 애널리스트는 “머신러닝의 초기 사용 사례 중 특히 유용한 분야가 스팸 방지였다”라고 말했다.
하지만 스팸 필터가 이메일 메시지를 특정 규칙에 기반해 차단하면 공격자는 이를 반영해 자신의 행동을 수정할 수 있다. 더 성공적으로 공격하기 위해 AI 도구를 사용하는 것다. “방어 자료를 제출하면 공격자가 모델을 재구성한 다음 이 모델을 우회하도록 공격을 미세 조정할 수 있다”라고 몬테네그로는 말했다.
스팸 필터만 취약한 것이 아니다. 각종 점수나 기타 결과물을 제공하는 모든 보안 벤더의 각종 보고서가 잠재적으로 악용될 수 있다. 몬테네그로는 “업체에 따라 다르지만, 조심하지 않으면 공격자에게 유용한 결과를 제공할 수 있다”라고 말했다.
2. 피싱 이메일 개선
공격자들은 머신러닝 보안 도구를 스팸 필터를 무력화하는 데에만 사용하지 않는다. 이러한 이메일을 만드는 데에도 머신러닝을 활용하고 있다고 전 EY 파트너인 아담 말론은 말했다. “이미 범죄 포럼에서 이러한 서비스에 대한 광고가 노출되고 있다. 즉 더 나은 피싱 이메일을 생성하는 데 인공지능이 사용된다. 사기 캠페인을 유도하기 위해 가짜 페르소나를 생성하는 데에도 사용된다”라고 말했다. 그 “머신러닝 활용이 단지 마케팅용 문구에 그치지 않는다. 확실히 더 나은 결과를 보인다”라고 말했다.
공격자는 머신러닝을 통해 피싱 이메일을 창의적인 방식으로 맞춤화하여 참여와 클릭을 유도하도록 최적화할 수 있다. 이메일의 텍스트에 그치지 않는다. AI를 사용하여 사실적인 사진, 소셜 미디어 프로필 및 기타 자료를 생성하여 커뮤니케이션이 가능한 한 합법적으로 보이도록 만들 수 있다.
생성형 AI는 한 단계 더 발전했다. 오픈텍스트에서 발표한 설문조사에 따르면, 45%의 기업이 AI로 인해 피싱이 증가했다고 답했다. 특히 55%의 고위 의사 결정권자는 공격자의 AI 사용 확산으로 인해 회사가 랜섬웨어의 위험에 더 많이 노출되어 있다고 답했다. 키퍼 시큐리티의 또 다른 연구에 따르면 IT 및 보안 리더의 84%가 AI 도구로 인해 피싱 공격 탐지가 더 어려워졌다고 답했다.
3. 더 나은 비밀번호 추측
범죄자들은 또한 머신러닝을 사용하여 비밀번호를 더 잘 추측하고 있다. 말론은 “비밀번호 추측 엔진의 빈도와 성공률이 증거다”라고 말했다. 범죄자들은 훔친 해시를 해킹하기 위해 더 나은 사전을 구축하고 있다. 또한 머신러닝을 사용하여 보안 제어를 식별함으로써 시도 횟수를 줄이고 더 나은 비밀번호를 추측한다”라고 말했다.
4. 딥페이크
인공지능의 소름끼치는 용도 중 하나는 실제 사람과 구별하기 어려운 비디오나 오디오를 생성할 수 있는 딥페이크 도구다. 몬테네그로는 “누군가의 목소리나 얼굴을 시뮬레이션하는 능력은 인간을 상대로 매우 유용하다. 쉽게 속아 넘어갈 수도 있다”라고 말했다. 실제로 지난 몇 년 동안 가짜 오디오로 인해 수십만 달러 또는 수백만 달러의 손해를 입은 몇 가지 유명한 사례가 있었다. 텍사스 대학교의 컴퓨터 과학 교수였던 무라트 칸타르시오글루는 “사람들이 상사로부터 가짜 전화를 받고 있다”라고 전했다.
더 일반적인 활용 사례를 AI를 사용하여 실제와 같은 사진, 사용자 프로필, 이메일, 심지어 오디오 및 비디오를 생성하여 메시지의 신뢰성을 높이는 경우다. 이는 이미 큰 문제다. FBI에 따르면 지난 10년간 비즈니스 이메일 유출 사기로 인해 550억 달러 이상의 손실이 발생했다. 2021년에도 홍콩의 한 은행이 이전에 통화한 적이 있는 회사 이사의 전화를 받고 속아서 범죄 조직에 3,500만 달러를 이체했다는 언론 보도가 있었다. 피해자는 목소리를 믿고 송금을 승인했다. 오늘날 해커는 실제 사람과 구별하기 어려운 줌 영상을 만들 수 있다.
9월 말에 발표된 보험회사 네이션와이드의 설문조사에 따르면 중소기업 소유주의 52%가 딥페이크 이미지나 동영상에 속은 적이 있다고 인정했으며, 10명 중 9명은 생성형 AI 사기가 점점 더 정교해지고 있다고 답했다. 대기업도 예외가 아니다. 텔레포트(Teleport)의 조사에 따르면 AI 사칭은 가장 방어하기 어려운 사이버 공격 벡터다.
5. 상용 보안 도구 무력화
오늘날 널리 사용되는 많은 보안 도구에는 인공지능 또는 머신러닝이 내장되어 있다. 예를 들어, 바이러스 백신 제조사들은 의심스러운 행동을 식별하기 위해 기본 서명 이상의 기능을 물색하고 있다. 칸타르시오글루는 “온라인, 특히 오픈소스에서 사용할 수 있는 모든 것은 악의적인 공격자들에 의해서도 활용될 수 있다”라고 말했다.
공격자는 이러한 도구를 사용하여 탐지를 회피할 수 있을 때까지 맬웨어를 조정할 수 있다. 칸다르시오글로는 “AI 모델에는 사각지대가 많다. 전송하는 패킷 수나 공격하는 리소스 등 공격의 특징을 변경하여 모델을 변경할 수 있다”라고 말했다.
공격자의 악용 대상은 AI 기반 보안 도구에 그치지 않는다. 이미 AI는 다양한 기술의 일부다. 예를 들어 피싱 이메일에는 특정 문법 오류가 담긴 경우가 많다. 그래머리와 같은 AI 기반 문법 검사기는 공격자의 글쓰기를 개선하는 데 도움을 줄 수 있다. 챗GPT와 같은 생성형 AI 도구는 처음부터 설득력 있는 피싱 이메일을 작성하는 데 유용하다.
6. 정찰
공격자는 AI와 머신러닝을 연구 및 정찰에 사용할 수 있다. 공개적으로 사용 가능한 정보와 공격 대상의 트래픽 패턴, 방어 체계, 잠재적 취약점을 살펴보는 식이다. 카네기멜론 대학교 소프트웨어 엔지니어링 연구소의 CERT 부서의 수석 연구원 겸 기술 관리자인 토마스 스캔론은 해커들이 항상 이 부분에서 시작한다면서 “AI를 활용하면 이러한 모든 활동을 더 스마트하고 빠르게 수행할 수 있다”라고 말했다.
오늘날 많은 조직이 자사의 데이터를 온전히 파악하지 못하고 있다. 다크웹에 유포된 해킹된 비밀번호 목록이나 직원들의 소셜 미디어 게시물뿐만이 아니다. 예를 들어, 기업이 채용 공고나 제안 요청을 올릴 때 기업 내 기술 정보를 흘릴 수 있다. 스캔론은 “예전에는 각종 데이터를 수집하고 분석하는 데 많은 노동력이 필요했지만 지금은 상당 부분이 자동화될 수 있다”라고 말했다. 버그크라우드 해커 설문조사에 따르면 62%는 데이터 분석에, 61%는 작업 자동화에, 38%는 취약점 식별에 AI를 사용한다고 답했다.
7. 자율 에이전트
기업이 공격을 받고 있다는 사실을 파악하면 영향을 받는 시스템에 대한 인터넷 액세스를 차단하는 것이 일반적이다. 맬웨어가 명령 및 제어 서버에 다시 연결하여 못하도록 하기 위해서다. 칸타시오글루는 “이런 상황에 대비해 공격자들은 직접 제어할 수 없더라도 더 오래 지속할 수 있는 지능적인 모델을 만들려고 할 수 있다”라고 지적했다.
이제 이러한 종류의 자율 에이전트는 이미 누구나 만들 수 있다. 마이크로소프트의 몇몇 도구, 가드레일이 없는 여러 오픈소스 플랫폼 덕분이다. CMU의 스캔론은 “과거에는 대부분의 공격이 여러 단계를 거치기에 사람과의 접점이 필요하곤 했다. 이를 대체할 수 있는 에이전트를 배치할 수 있다면 이는 분명 잠재적인 위협이 될 수 있다. AI로 인해 현실화되는 위협 중 하나다”라고 말했다.
8. AI 포이즈닝
공격자는 머신러닝 모델에 새로운 정보를 주입하여 모델을 속일 수 있다. “학습 데이터 세트를 조작하는 것이다. 의도적으로 편향된 정보를 입력하면 머신러닝은 잘못된 방식으로 학습하게 된다”라고 글로벌 리스크 연구소의 선임 연구원 알렉세이 루브소프는 말했다. 예를 들어, 도용된 사용자 계정이 매일 새벽 2시에 시스템에 로그인하여 무해한 작업을 수행하면 시스템은 새벽 2시의 작업이 의심스럽지 않다고 생각하고 사용자가 통과해야 하는 보안 허들을 줄일 수 있다.
이는 2016년 마이크로소프트의 테이 챗봇이 인종 차별주의자로 학습된 것과 유사다. 동일한 접근 방식을 사용하여 특정 유형의 맬웨어가 안전하거나 특정 봇 동작이 완전히 정상이라고 시스템에 가르칠 수 있다.
9. AI 퍼징
합법적인 소프트웨어 개발자와 모의 침투 테스터는 애플리케이션을 다운시키거나 취약점을 찾기 위해 무작위 샘플 입력을 생성하는 퍼징 소프트웨어를 사용하곤 한다. 이 소프트웨어에 머신러닝을 적용하면 보다 집중적이고 체계적인 방식으로 입력을 생성할 수 있다. 문제를 일으킬 가능성이 가장 높은 텍스트 문자열에 우선순위를 부여하는 방식이다. 즉 퍼징 툴은 기업에게 유용하지만 공격자에게도 마찬가지일 수 있다.
이는 패치, 피싱 방지 교육, 마이크로 세분화와 같은 기본적인 사이버 보안 위생이 중요한 이유다. 포레스터 리서치의 앨리 멜렌 애널리스트는 “심층 방어가 중요한 이유 중 하나이기도 하다. 한 가지가 아닌 여러 가지 차단 장치를 마련해야 한다”라고 말했다.
10. AI 맬웨어
지난 9월, HP 울프 시큐리티는 생성형 AI를 활용해 작성되었을 가능성이 “매우 높은” 맬웨어 캠페인을 발견했다고 보고했다. “생성형 AI가 공격을 가속화하고 사이버 범죄자들이 엔드포인트를 감염시킬 수 있는 문턱을 낮추고 있다”라고 저자들은 말했다. 반타(Vanta) 보고서에서도 조사 대상 조직의 32%가 AI 기반 맬웨어의 증가를 목격하고 있다는 내용이 있었다. 심지어 제로데이 취약점을 발견하는 데 생성형 AI를 사용할 수 있음을 입증한 연구도 있다.
그리고 합법적인 개발자가 AI를 사용하여 코드의 문제를 찾을 수 있는 것처럼 공격자도 AI를 사용할 수 있다고 CMU의 스캔론은 전했다. 공개 리포지토리에서 사용할 수 있는 오픈소스 코드, 여타 경로를 통해 입수한 코드가 대상일 수 있다. 스캔론은 “해커가 코드를 가져와 챗GPT 또는 다른 기본 모델을 통해 실행하여 악용할 수 있는 코드의 약점을 찾도록 요청할 수 있다”라며 연구와 악의적인 목적 모두에서 이러한 사용 사례가 등장한 바 있다고 전했다.
전문성을 보태는 생성형 AI
과거에는 국가 차원의 조직과 같은 지능적인 위협 행위자만이 머신러닝과 AI를 공격에 활용할 수 있었다. 하지만 지금은 누구나 할 수 있다. 또 AI가 그 어떤 기술보다 빠르게 진화하고 있다는 점에서 심각성이 커진다. 보스턴 컨설팅 그룹의 리옹은 “이것은 움직이는 표적이다. 기업은 위협 환경에 대한 이해 수준을 유지하고 기술 세트를 적응하는 데 우선순위를 두어야 한다”라고 말했다.
dl-ciokorea@foundryco.com
