2023년에 모든 조직이 2024년에 최소 한 개 이상의 프로젝트를 시도해야 할 정도로 과대 포장된 생성형 AI가 지난해 기술계의 핵심 화두였다. IT 부서는 개념 증명(PoC)을 진행했고, 수익성 관리가 필요한 IT 부서 외의 비즈니스 리더도 IT에 알리지 않은 채 독자적인 실험을 진행했다. AI 기반 서비스 가입만으로도 쉽게 시도할 수 있었기 때문이다. 미국 DX 컨설팅 기업 UST의 기술 서비스 사업 부문 CIO 크리슈나 프라사드는 “어느 정도의 섀도 IT는 예상했지만, 지난해에는 그 규모가 훨씬 컸다”라고 전했다.
문제는 비즈니스 부서에서 독자적으로 움직일 경우 IT가 통제력을 잃게 되고, 데이터와 지적 재산의 손실을 방지하는 일이 더 큰 과제가 된다는 점이다. UST는 이를 해결하기 위해 AI 리더십 협의회를 구성하여 모든 프로젝트에 동일한 통제가 적용되도록 하고, 독단적인 실험으로 지나치게 벗어나는 일을 방지하고자 했다. 또한, AI 거버넌스를 대폭 강화했다.
2024년에는 수많은 PoC가 진행됐으나 대부분 기대에 미치지 못했다. 핵심 문제는 AI 알고리즘의 신뢰성 부족이었다. 모델이 5%의 오류를 보이더라도 대부분의 사용자는 이를 쓸모없다고 판단했다. 또한 IT 부서가 새로운 기술을 지원할 역량을 갖추지 못했다는 점도 문제였다. 필요성을 미리 예측하지 못해 예산 확보가 늦어졌고, 외부 인력 채용도 어려웠다.
모든 변화가 급속도로 진행됐다. IT 리더는 일반적으로 기술이 가트너의 과대광고 주기를 따를 것으로 예상했지만, 생성형 AI는 이보다 더 빠르게 발전했다. 서던플로리다대학교(USF)의 CIO 시드니 페르난데스는 “작년에 가장 놀란 점은 AI의 과대광고 사이클이 너무 빨리 환멸기에 접어들었다는 것”이라고 설명했다.
그럼에도 성공 사례는 충분했고, 이는 경영진이 언론 보도를 통해 접하면서 자사의 IT 부서가 왜 그러한 성과를 내지 못하는지 의문을 제기할 정도였다. 선견지명이 있는 CIO는 비즈니스 리더에게 AI 교육이 필요하다는 점을 빠르게 인식했고, 이를 통해 현재의 알고리즘이 창출할 수 있는 비즈니스 가치에 대한 오해를 해소할 수 있었다.
프라사드는 생성형 AI의 주요 활용 사례를 세 가지로 분류했다. 첫째는 개인과 조직의 생산성 향상이며, 둘째는 비즈니스 프로세스의 혁신, 셋째는 AI를 활용한 새로운 수익 창출 제품과 서비스 구축이다.
대부분의 IT 리더는 두 번째와 세 번째 유형에서 성과를 입증하는 데 어려움을 겪었다. 그러나 2024년 말에는 개인 생산성 애플리케이션이 정기적으로 성과를 보이면서 많은 애플리케이션이 표준 오피스 툴킷의 일부가 됐다. 예를 들어 현재 대부분이 회의록 작성에 AI를 활용한다. 페르난데스는 이러한 성공이 과대광고 주기의 가속화를 보여주는 증거라며 “놀랍게도 올해 말에는 이미 생산성의 정점에 도달했을 수 있다”고 언급했다.
2024년의 교훈을 고려할 때, CIO가 내년을 준비하기 위해 다음 세 가지에 집중하지 않는다면 큰 실수가 될 것이다.
비즈니스 부서에 AI를 교육하고 스스로 비즈니스를 학습하자
실망을 최소화하기 위해 기술 담당자는 비즈니스 리더의 기대치를 관리해야 한다. 동시에 새로운 기술의 가치를 알리는 전도사 역할도 수행해야 한다. 페르난데스는 “CIO는 전도자, 교육자, 현실주의자가 되어야 한다”며 “IT 리더는 과대 포장보다는 과소 포장을 선택하고, 비즈니스 사례의 맥락에서만 기술을 홍보해야 한다”고 강조했다.
세이브더칠드런 재단의 CTO 론 게리어는 비즈니스 리더가 실현 가능한 것을 이해하도록 돕는 방법으로 AI 관련 도서 추천을 제시했다. 게리어는 “구글 검색과 유튜브 동영상에만 의존하게 하고 싶지 않다”고 설명했다.
프라사드는 IT 리더가 비즈니스를 이해하기 위해 노력해야 한다고 본다. 비즈니스 리더와 더 자주 만나고, 팀원들도 비즈니스 파트너와 정기적으로 소통하도록 장려해야 한다. IT 리더는 기술적 능력만으로는 더 이상 가치를 창출할 수 없다는 점을 인식하고, 위험 감소, 비용 절감, 수익 증대라는 세 가지 비즈니스 관점에서 프로젝트를 논의하는 방법을 습득해야 한다.
도시바 아메리카 비즈니스 솔루션 및 도시바 글로벌 커머스 솔루션의 CIO 레온 로버지는 기술 리더가 비즈니스에 더 적극적으로 참여하고 팀의 모범이 되어야 한다고 본다. 로버지는 “비즈니스의 목소리를 듣기 위해 매월 모든 최고 경영진의 비즈니스 회의에 참석하기 시작했다”며 “우리의 방향성, 수익 창출 방식, 비즈니스 리더의 과제 해결과 목표 달성을 지원하는 방법을 고민한다”고 전했다.
2025년에 IT 리더는 AI에 투자하되, 측정 가능한 가치를 입증할 수 있는 사례에 집중한 후 점진적으로 발전시켜야 한다. 페르난데스는 “AI에 대한 대규모 투자를 너무 일찍 결정하면 환멸의 늪에 빠질 수 있으며, 이를 극복하기 어려울 것”이라고 경고했다. “다른 프로젝트처럼 중간 규모로 투자하고 장단기적 ROI를 보여줘야 한다”고 강조했다.
USF는 비즈니스가 프로젝트 실행을 결정하고 위험을 분담하도록 하는 방식이 효과적이었다. 페르난데스는 IT 지출의 블랙홀을 피하기 위해 비즈니스가 투자하는 영역에만 투자한다는 원칙을 세웠다고 설명했다.
AI의 일반적 사용을 준비하자
기업용 AI 도입이 가속화되는 가운데, IT 조직은 체계적인 준비가 필요한 시점이다.
공급업체가 주요 애플리케이션에 AI를 통합하면서 기존 패키지 사용자는 이러한 변화에 대비해야 한다. 프롬프트 엔지니어링 학습뿐 아니라 일부 응답에 대해 비판적 시각을 유지하는 것도 중요하다. AI의 환각 현상은 당분간 계속될 것이기 때문이다.
AI 기반 엔터프라이즈 애플리케이션은 업무 방식을 혁신할 것이다. 서던플로리다대학교(USF)의 CIO 시드니 페르난데스는 IT 리더가 직원과 비즈니스 인력이 공동 파일럿을 활용하기 위해 새로운 방식의 업무 수행 준비가 돼 있는지 확인해야 한다고 보며 “이는 매우 중요한 과제가 될 것”이라고 강조했다.
CIO는 업계와 지역, 기업, 특정 부서의 요구사항을 충족하는 맞춤형 도구를 위한 플랫폼을 구축해야 한다. AI 모델은 산업별로 다르게 개발되며, 물류와 의료 산업은 서로 다른 데이터로 학습된다. 각 기업은 고유한 비즈니스 방식과 데이터를 보유하고 있으며, 기업 내에서도 마케팅과 고객 서비스는 서로 다른 데이터를 사용한다.
세이브더칠드런 재단의 CTO 론 게리어는 2024년 가장 놀라운 점으로 많은 IT 리더가 데이터 토폴로지, 즉 데이터 수집과 형식화, AI 모델 공급 방식을 제대로 이해하지 못한 채 AI를 추진했다는 점을 꼽았다. 게리어는 “한 번 들어온 쓰레기는 다시 버려야 한다는 격언과 같다”며 “최고의 AI 도구도 잘못된 소스의 데이터를 사용하면 나쁜 결과를 낳을 수 있어 IT 리더는 2025년에 데이터 관리를 강화해야 한다”고 지적했다.
페르난데스는 에이전트 AI의 보급 확대로 IT 리더의 데이터와 IP 보호가 중요해졌다고 본다. 페르난데스는 “에이전트 AI가 데이터 레이크의 정보를 습득하게 되면서 통제할 수 없는 속도로 데이터가 노출될 것이므로 데이터 거버넌스, 손실 방지 정책, 사이버 보안 프로세스를 더욱 강화해야 한다”고 설명했다.
대부분의 IT 부서는 생성형 AI에 방심한 나머지 프로젝트 실행에 필요한 기술을 확보하지 못했다. 내년의 도전에 대비하기 위해 IT 리더는 자체 기술 구축, 외부 인력 채용, 기술 보유 기업과의 전략적 파트너십 구축 중 하나를 선택해야 한다.
도시바의 로버지는 IT 조직을 위한 혁신 및 전략 부서를 신설하고 있다. 로버지는 “조직 내외부에서 데이터 엔지니어와 데이터 과학자를 발굴하고 채용해 경쟁력을 확보할 것”이라고 전했다.
기본적인 IT 운영을 잊지 말자
생성형 AI 열풍으로 많은 IT 리더가 기본적인 업무에 소홀했다. 유에스티(UST)의 크리슈나 프라사드는 “효율적인 운영 강조가 필요하다”며 “업무의 기본을 잊으면 그 피해가 고스란히 돌아올 것”이라고 강조했다.
월그린 부츠 얼라이언스의 수석 부사장 겸 CIO 닐 샘플은 IT 리더가 시스템 운영 유지(KTLO)를 성공의 토대로 여겨야 한다고 본다. AI는 매력적이지만 KTLO가 더 확실한 성과를 제공한다. 시스템 현대화, 플랫폼 통합, 구형 솔루션 폐기는 복잡성을 줄이고 민첩성을 높인다. 샘플은 “이러한 단계는 비용 절감과 생산성 향상뿐 아니라 IT 부서의 AI 지원 역량도 강화한다”고 설명했다.
AI는 신뢰할 수 있는 데이터를 기반으로 작동하므로 데이터 거버넌스와 통합 같은 전통적 IT 관행이 필수다. 품질이 낮은 데이터는 최고의 AI 모델도 약화시키므로 기초 IT 작업이 더욱 중요하다. 샘플은 “안정적인 IT 운영은 AI 내장 도구의 정상 작동을 보장해 중단을 최소화하고 신뢰를 유지한다”며 “AI의 잠재력은 KTLO라는 탄탄한 기반 없이는 실현될 수 없다”고 강조했다.
샘플은 IT 리더가 최신 IT 환경의 복잡성 관리를 위해 기술 부채도 정리해야 한다고 본다. 구형 시스템, 과도한 맞춤화, 파편화된 아키텍처는 발전을 저해하고 위험을 높이며 혁신 확장을 어렵게 만든다. 기술 부채를 지속적인 투자로 간주하면 IT의 탄력성과 적응력을 유지해 미래의 도전에 대비할 수 있다.
샘플은 “AI가 주목받는 동안 KTLO는 꾸준하고 측정 가능한 결과를 제공한다”며 “강력한 운영 기반 투자와 기술 부채 감소는 혁신 성공의 토대가 된다. CIO는 지루하지만 필수적인 우선순위에 집중함으로써 IT 환경을 단순화하고 2025년 이후의 발전을 자신 있게 추진할 수 있다”고 전했다.
