실망스러운 통계를 멀리서 찾을 필요는 없다. 가트너는 AI 구현의 85%가 기대에 미치지 못하거나 완료되지 않은 것으로 추정한다. 필자의 경험도 마찬가지다. 프로젝트는 시작되었다가 중단되고, 대부분 다시는 부활하지 못한다. 기업이 돈을 쓰는 데는 익숙하지만 AI를 구축하고 배포하는 데는 서툴다는 사실은 보여주는 보고서는 구글 검색만 해도 쉽게 찾을 수 있다.
익숙한 이야기
여러 보고서에 따르면, 집약적인 컴퓨팅 요구사항을 가진 생성형 AI에 대한 수요로 인해 클라우드 기술 배포 방식에 큰 변화가 일어나고 있다. AI 모델을 호스팅, 학습 및 배포하기 위해 클라우드 서비스에 대한 의존도가 높아진 것은 AI 혁신과 클라우드 인프라 간의 공생 관계를 잘 보여준다. 기업은 고급 AI 모델의 복잡한 요구사항을 수용하기 위해 클라우드 기반 솔루션에 막대한 투자를 해왔으며, 클라우드 용량과 기능의 한계를 뛰어넘고 있다.
하지만 안타깝게도 AI는 모든 곳에서 실패하고 있다. 프로젝트 포기율은 잘못된 자원 할당과 전략적 감독의 부재라는 광범위한 추세를 반영한다. AI 기능의 급속한 발전과 함께 데이터 요구사항의 복잡성과 특수성이 증가했다. 많은 기업이 성공적인 AI 배포를 위해 고품질 데이터를 소싱하고 관리하는 데 도움이 필요하며, 이는 대부분 기업이 극복해야 하는 장애물이 됐다.
문제의 핵심은 데이터
열악한 데이터 품질은 프로젝트 실패의 핵심 요인이다. 기업이 더 복잡한 AI 애플리케이션에 뛰어들면서 맞춤형 고품질 데이터 세트에 대한 수요가 증가함에 따라 기존 엔터프라이즈 데이터의 결함이 드러나고 있다. 대부분 기업은 데이터가 개선될 수 있다는 것을 알고 있었지만, 얼마나 나쁜지 알지 못했다. 수년 동안 기업은 데이터 문제를 해결하지 않고 방치해 왔으며, 그 사이 기술 부채는 쌓여만 갔다.
AI는 우수하고 정확한 데이터를 필요로 하는데, 많은 노력을 기울이지 않고는 확보하기 어렵다. 이 때문에 많은 기업이 생성형 AI를 포기하고 있다. 데이터 문제를 해결하기에는 비용이 너무 많이 들고, 무엇이 자신의 경력에 도움이 되는지 잘 알고 있는 CIO는 이 일을 맡기를 원하지 않는다. 학습 모델에 대한 관련성을 유지하기 위해 데이터를 라벨링, 정리 및 업데이트하는 일이 점점 더 복잡해지면서 기업이 해결해야 할 또 다른 복잡성이 드러나고 있다.
일반적으로 데이터 문제는 많은 프로세스와 주요 데이터 요소를 ERP 시스템으로 밀어 넣거나 데이터 웨어하우스와 같은 과대광고 중심의 트렌드를 쫓는 등 전임자들이 저지른 과거의 실수로 인해 발생한다. 현직 CIO라면, “다른 사람의 잘못된 결정으로 피해를 보지는 않으려 할 것”이다.
클라우드로 해결되지 않는 문제
이런 어려움에도 불구하고 AI와 클라우드 컴퓨팅의 통합은 여전히 핵심 영역으로 남아 있으며, 클라우드는 AI 이니셔티브 확장을 위한 필수 인프라를 제공한다. 기업은 AI 야망을 지원하기 위해 클라우드 솔루션을 계속 탐색하고 있다. 하지만 ROI 실현이 예상보다 느리다는 것을 알고 있다.
생성형 AI 프로젝트의 잠재력과 실용성 사이의 불균형으로 인해 조심스러운 낙관론과 AI 전략에 대한 재평가가 이뤄지고 있다. 이로 인해 기업은 강력한 데이터 거버넌스와 전략적 계획 등 AI 성공에 필요한 기본 요소를 신중하게 평가해야 하는데, 이런 요소들은 기업이 단순히 AI를 구현하기 위해 구축하기에는 너무 비싸고 위험하다고 생각하는 것들이다.
여기서 중요한 것은 이런 문제가 클라우드로는 해결되지 않는다는 것이다. 이는 플랫폼의 문제가 아니라 기업에서 생성형 AI를 작동시키는 데 필요한 데이터 자산과 자원에 대한 지식의 문제이다.
필자는 이것이 AI의 세계에서 가진 자와 가지지 못한 자로 이어질 것이라고 생각한다. 데이터를 잘 정리하고 AI를 효과적으로 활용할 수 있는 기업은 생성형 AI를 전략적 차별화 요소로 활용해 기업을 한 단계 더 도약시킬 수 있다. 그렇지 않은 기업들은 이를 지켜보다가 도태될 것이다.
클라우드 서비스 업체는 지금과 마찬가지로 향후 몇 년 동안 성장할 것이다. 하지만 수많은 실패를 극복할 수 있는 AI 전략을 정의하는 방법을 고객에게 가르치지 못한다면, 시장은 다시 위축될 것이다.
기업이 생성형 AI에 실패하고 프로젝트를 망치는 이유는 잘 알려져 있다. 애널리스트와 CTO가 설명할 수 없는 실수가 아니다. AI 프로젝트가 부진한 이유는 누구나 알고 있지만, 기업은 이를 해결하기 위해 투자할 의지도, 능력도 없는 것 같다. 하지만 언제까지 미룰 수는 없을 것이다. 이제 CIO가 클라우드든 클라우드가 아니든 정면으로 문제를 해결할 수 있는 정치적 용기를 갖기 바란다. 그래야만 이 문제를 해결할 수 있을 것이다.
dl-ciokorea@foundryco.com
