생성형 AI가 그 어떤 기술보다 빠르고 광범위하게 채택되고 있다. ROI를 확인한 수많은 기업이 활용처를 확대하고 있다. 기술 벤더들은 자사의 엔터프라이즈 소프트웨어 제품에 생성형 AI 기능을 추가하고 있고, AI 개발사들도 맹렬히 움직이는 중이다. 에이전틱 AI, 멀티모달 AI, 추론 AI(reasoning AI), 다양한 오픈소스 AI 프로젝트 움직임이 나타나고 있다.
9월 발표된 뱅크 오브 아메리카의 글로벌 리서치 애널리스트 및 전략가 대상 설문조사에 따르면 2024년은 ROI 확인의 해였으며, 2025년은 엔터프라이즈 AI 도입의 해가 될 전망이다. 뱅크 오브 아메리카 연구소의 콘텐츠 전략가인 바네사 쿡은 “향후 5~10년 동안 생성형 AI가 기업 효율성과 생산성의 진화를 크게 촉진하여 세계 경제는 물론 우리 삶을 변화시킬 것으로 예상한다”라고 말했다.
소규모 언어 모델과 엣지 컴퓨팅
2023년과 2024년의 경우 대부분의 관심은 일부 대형 언어 모델에 집중됐다. 오픈AI의 여러 챗GPT 모델, 앤트로픽의 클로드, 메타의 라마 등이 대표적이다. 그러나 현실의 비즈니스 사용 사례 다수에서 LLM은 가격과 속도 문제를 일으킨다.
업워크(Upwark)의 AI 및 ML 책임자인 앤드류 라비노비치는 “2025년을 내다보면 소규모 언어 모델(slm, 특히 맞춤형 모델이 많은 기업에게 더 일반적인 솔루션이 될 것”이라고 예상했다. LLM은 큰 비용을 요구할 뿐 아니라 산업별 활용 사례에 적합하지 않을 수 있기 때문이라는 설명이다.
“반면에 소규모 모델은 더 맞춤화하기 쉽다. 정확하고 효율적인, 그러면서도 기업 고유의 요구 사항에 맞게 구축된 AI 시스템을 만들 수 있게 한다”라고 그는 덧붙였다. 업워크는 이미 20년 이상 축적된 회사의 데이터를 소규모 언어 모델과 조합하기 시작했다. “우리의 맞춤형 모델은 이미 더 나은 제안서를 작성하거나 기업이 후보자를 평가하는 데 유의미한 효과를 보여주고 있다”라고 그는 설명했다.
소규모 언어 모델은 엣지 및 모바일 배포에도 더 적합하다. 최근 애플의 모바일 AI에서도 드러나는 부분이다. 월마트 글로벌 테크놀로지의 수석 부사장 겸 COO인 안슈 바르드와즈는 모바일 AI의 혜택을 누릴 수 있는 사람은 소비자만이 아니라고 평가했다.
그녀는 “기업, 특히 대규모 직원과 고객 기반을 보유한 대기업들이 온디바이스 AI 채택을 본격화할 전망이다. 대기업을 우선적으로 고려하는 온디바이스 AI 기술 개발 움직임이 증가할 것이기 때문”이라고 말했다.
인간의 추론 능력에 근접하는 AI
지난해 9월 중순, 오픈AI는 “사람처럼 문제를 생각하는” 새로운 모델 시리즈를 출시했다. 이 모델들이 물리학, 화학, 생물학 분야의 까다로운 벤치마크 테스트에서 박사급 성능을 달성할 수 있다는 주장도 펼쳤다. 일례로 이전의 최고 모델인 GPT-4o는 국제 수학 올림피아드 문제의 13%만 풀 수 있었지만, 새로운 추론 모델은 83%를 풀었다고 회사는 전했다.
“실제로 이 모델은 논리 유형의 문제를 추론하는 데 매우 뛰어나다”라고 퍼블리시스 사피엔트의 최고 제품 책임자인 셸던 몬테이로는 평가했다. 이는 기업이 어려운 코드 문제나 위험을 서로 비교해야 하는 대규모 프로젝트 계획에 이 모델을 사용할 수 있다는 의미로 이어진다.
가트너의 애널리스트 아룬 찬드라세카란은 AI가 더 잘 추론할 수 있게 되면 AI 에이전트가 인간의 의도를 이해하고, 이를 일련의 단계로 변환하여 인간 대신 작업을 수행할 수 있게 된다고 설명했다. 그는 “또 AI를 의사 결정 지원 시스템으로 사용하는 데에도 유효하다. 이 모든 것이 2025년에 이뤄지지는 않겠지만, 장기적인 방향은 그렇다”라고 덧붙였다. 가트너의 최신 AI 하이프사이클 보고서에 따르면 일반 인공지능이 도래하기까지는 아직 10년 이상의 시간이 남아 있다.
실제 사용의 급증
2024년에는 ROI가 입증된 사용 사례가 일부 출현했다. 2025년에는 이러한 사용 사례가 대규모로 채택될 전망이다. 기업이 이미 사용하고 있는 소프트웨어 플랫폼에 AI 기술이 통합된다는 점이 이러한 추세를 가속화한다. 몬테로 부사장은 “고객 서비스, 마케팅, 고객 개발 분야에서 대규모 도입이 이뤄진다. 가치를 입증한 참조 사례가 충분히 등장하고 있다”라고 말했다.
그는 특히 사용자 요구 사항 조사부터 프로젝트 관리, 테스트 및 품질 보증에 이르기까지 소프트웨어 개발의 모든 영역에서 이러한 현상이 일어날 것으로 예상했다. “우리는 수많은 레퍼런스 구현을 보았다. 대규모 채택을 보게 될 것”이라고 몬테로는 말했다.
애자일 개발의 진화
애자일 선언문은 2001년에 발표됐다. 그 이후 애자일 개발 철학은 이전의 워터폴 소프트웨어 개발 방식과 비교해 꾸준히 발전해 왔다. 그러나 몬테로에 따르면 애자일 기법은 인간적 한계를 중심으로 구성된 특징을 지닌다. 코딩 속도, 팀을 조직하고 관리하는 방법, 종속성 조율 등의 측면에서다.
그는 “오늘날의 생성형 AI는 생산성을 높이는 데 사용되는 보조적인 수단이다. 하지만 전체 프로세스를 재창조하면 이 기술을 좀더 적극적으로 활용할 수 있게 된다”라고 말했다. 동료와 상호 작용하는 방식과 AI와 상호 작용하는 방식을 생성형 AI를 활용해 쇄신하면 애자일 개발이 한층 더 진화할 수 있는 이야기다. 몬테로는 “아직까지는 코드 개발 측면에만 관심이 집중돼 있다. 코드 개발은 전체 소프트웨어 개발 프로세스의 일부에 불과하다”라고 말했다.
규제 강화
9월 말, 캘리포니아 주지사 개빈 뉴섬은 인공지능 개발자가 시스템 훈련에 사용한 데이터를 공개하도록 요구하는 법에 서명했다. 이 법은 캘리포니아 주민을 대상으로 하는 인공지능 시스템 개발자에게도 적용된다. 개발자는 2026년 초까지 이를 준수해야 하는데, 이는 1년이 조금 넘는 기간 동안 학습 데이터의 출처를 추적할 수 있는 시스템을 구축해야 한다는 의미다.
로펌 깁슨 던 앤 크러처 LLP의 AI 실무 공동 의장인 비벡 모한은 “세계 유수의 기술 기업 중 상당수가 캘리포니아에 본사를 두고 있으며, 이들 중 상당수가 캘리포니아 거주민에게 자사의 도구를 제공하고 있다”라고 말했다. 하지만 캘리포니아 외에도 데이터 프라이버시 및 알고리즘 의사 결정과 같은 문제를 다루는 다른 많은 규정이 다른 지역에서도 이미 제정됐거나 제정되고 있다. 생성형 AI 또한 이러한 규제들의 적용 대상이다.
모한은 “AI에 대해 비판적으로 생각해야 한다는 관점이 폭넓은 공감대를 확보하고 있다. 무책임한 기계에 의해 고용되거나 해고되기를 원하는 사람은 아무도 없다. 아마도 변호사들이 주시할 만한 사용 사례 중 하나일 것”이라고 말했다.
딥페이크, 안면 인식 등의 사용에 대한 규정도 있다. 지난 여름에 발효된 포괄적인 법안인 EU의 AI 법도 2026년 중반부터 기업들이 준수해야 한다. 즉 2025년은 기업들이 준비해야 할 해이다. 가트너의 찬드라세카란은 “EU AI법 이후 다른 지역에서도 더 많은 규제가 출현할 가능성이 높다. AI의 사회적 유익성을 위한 거버넌스 측면에서 한 걸음 더 나아가는 셈”이라고 말했다.
접근성과 편재성을 갖춰가는 AI
인터넷이 처음 등장했을 때 사이트를 만들려면 HTML을 배워야 했다. 사용자는 모뎀과 특수 소프트웨어, 인터넷 제공업체의 계정이 필요했다. 언스트앤영의 대표인 라케시 말호트라는 “그러나 이제는 원하는 단어를 입력하기만 하면 된다”라며, “오늘날 존재하는 생성형 AI의 진입 장벽이 낮아질 것이다. 생성형 AI가 오늘날 인터넷처럼 어디에나 존재하고 워크플로우에 자연스럽게 녹아들 것”이라고 말했다.
에이전트가 여러 서비스를 대체하기 시작
소프트웨어는 메인프레임에서 실행되는 대규모 모놀리식 시스템에서 데스크톱 앱, 분산형 서비스 기반 아키텍처, 웹 애플리케이션, 모바일 앱으로 진화해 왔다. 이제 다시 진화를 앞두고 있다는 진단이다. 언스트앤영의 말호트라는 “다음 단계는 에이전트다. 에이전트는 서비스보다 더 느슨하게 연결될 수 있기에 더욱 유연하고 탄력적이며 스마트한 아키텍처가 출현할 수 있다. 그리고 이는 완전히 새로운 도구와 개발 프로세스 스택을 가져올 것”이라고 말했다.
아직까지는 AI 에이전트 관련 비용이 상대적으로 높다. 또 대규모 시스템을 구축하는 경우 추론 비용이 빠르게 증가할 수 있다. 말호트라는 “하지만 앞으로는 달라진다. AI 에이전트 비용이 낮아지면서 사용 사례가 폭발적으로 증가할 것”이라고 말했다.
에이전트 어시스턴트의 부상
말호트라는 에이전트가 소프트웨어 구성 요소를 대체하는 동향과 더불어 에이전트 어시스턴트의 부상도 보게 될 것이라고 예측했다. 예를 들어 규정을 준수해야 하는 업무를 들 수 있다. 오늘날 상담사들은 새로운 법률을 파악하기 위해 지속적인 교육을 받거나 이미 해당 분야의 전문가인 동료에게 문의한다. 새로운 지식이 직원들에게 전파되고 완전히 안착하기까지는 시간이 걸린다.
“하지만 AI 에이전트는 모든 업무가 새로운 법률을 준수하도록 즉각적으로 업데이트할 수 있다. 공상 과학 소설이 아니다. 우리 또한 이미 다소 미숙한 버전으로 작업 중이다. 내년에는 매우 일상화될 것”이라고 그는 말했다.
에이전트 어시스턴트의 활용처는 규제 변화 대응에 그치지 않는다. 공급업체가 새로운 소프트웨어 제품을 출시한 경우도 해당된다. 기업 고객은 신제품이 자신의 요구 사항을 준수하는지 확인해야 하는데, 공급업체의 에이전트가 고객의 에이전트와 대화하는 자동화된 방식으로 이 작업이 이뤄질 수 있다
말호트라는 “오늘날 이러한 작업은 회의와 보고서를 통해 진행되곤 한다. 하지만 곧 이 모든 것이 디지털 방식으로 이루어질 것”이라며, 조만간 AI 비서는 회계사의 엑셀(Excel)과 같은 존재가 될 것이라고 설명했다. 말호트라는 “적절한 도구를 사용하지 않는다면, 당신이 그 업무에 적합한 사람이 아니라는 첫 징후다”라고 표현했다.
디지털 의료 회사 어그먼트 테라피(Augment Therapy)의 클라우드 및 신흥 기술 실무 책임자이자 IEEE 회원인 카르멘 폰타나는 AI 에이전트가 아직 초기 단계라고 진단하면서도. 바쁜 업무를 줄이는 데 매우 유용할 존재로 보고 있다. 그녀에 따르면 다음 단계의 에이전트는 이메일, 채팅, 문자, 소셜 미디어 등 다양한 채널의 커뮤니케이션을 한데 모으는 작업까지 수행한다.
폰타나는 “그저 더 나은 스프레드시트를 만들어 내는 것 자체로는 헤드라인을 장식하기 어려울 수 있다. 그러나 업무용 AI 에이전트의 생산성 향상은 미디어에 오르내리는 일부 AI 애플리케이션보다 더 큰 현실적 영향을 미칠 수 있다”라고 말했다.
멀티 에이전트 시스템
AI 에이전트 자체로도 흥미로운 존재다. 그러나 에이전트들이 서로 대화하기 시작하면 상황이 더욱 흥미로워질 것이라고 코그니전트의 AI CTO 바박 호자트은 말했다. 물론 하루아침에 이루어지지는 않을 것이며, 기업은 이러한 에이전트 시스템이 오동작 여부에 주의를 기울여야 한다고 그는 지적했다.
오동작을 막기 위해 기업은 첫째, 에이전트가 작업을 수행할 수 있는지 여부와 해당 작업이 에이전트의 권한 범위 내에 있는지 여부를 인식할 수 있어야 한다. 오늘날의 AI는 완전히 믿기 어려운 결과를 내놓곤 한다. 기업은 사람의 감독으로 보완된 가드레일을 구축함으로써 에이전트가 허용된 작업만 제대로 수행할 수 있도록 조치할 수 있다.
둘째, 기업은 이러한 업무의 실행을 모니터링하여 법적, 윤리적 경계를 벗어나지 않도록 하는 시스템을 구축해야 한다. 셋째, 기업은 에이전트의 업무 수행에 대한 신뢰도를 측정할 수 있어야 하며, 신뢰도가 낮을 경우 다른 시스템이나 사람을 투입할 수 있어야 한다. 코그니전트의 호자트는 “이러한 모든 관문을 통과한 후에야 에이전트가 자율적으로 업무를 수행할 수 있다”라고 말했다.
한편 그는 회사가 각 에이전트의 수를 가능한 한 작게 유지할 것을 권장했다. 호자트는 “에이전트 한 명에게 영업 부서에서 모든 일을 하라고 하면 실패할 확률이 높다. 하지만 많은 상담원을 두고 각 상담원에게 더 작은 책임을 부여하면 더 많은 업무가 자동화되는 것을 볼 수 있다”라고 설명했다.
전문 개발 조직인 치프 오브 스태프 네트워크(Chief of Staff Network)의 라훌 데사이 제너럴 매니저는 세일즈(Sailes)나 세일즈포스 등의 벤더들이 이미 멀티 에이전트 워크플로우를 개발하고 있다고 전했다. “이러한 멀티 에이전트 워크플로우에 챗GPT-o1 모델에 통합된 연쇄 추론 또는 다단계 추론 기능을 결합하면 누구나 사용할 수 있는 도메인 전문가 AI가 등장할 것”이라고 그는 말했다.
멀티 모달 AI
현실의 인간과 조직은 멀티 모달이다. 우리는 텍스트를 읽고 쓸 뿐 아니라 말하고 듣고, 보고, 그리기도 한다. 그리고 우리는 시간 측면에서 어떤 일이 다른 일보다 우선한다는 것을 이해한다. 반면 오늘날의 AI 모델은 대부분 단편적이다. 어떤 것은 이미지를 생성할 수 있고, 어떤 것은 텍스트만 처리할 수 있으며, 최근에 나온 것 중 일부는 비디오를 이해하거나 생성할 수 있다.
찬드라세카란은 “아직까지는 음성 생성을 하고 싶을 때는 텍스트 음성 변환을 담당하는 전문 모델이 이용된다. 이미지 생성을 위한 전문 모델도 있다”면서 진정한 일반 지능이 구현되기 위해서는 AI가 다양한 양식에 걸쳐 작동해야 한다고 설명했다. 오늘날에도 멀티 모달이 부분적으로 구현되어 있지만, 본질적으로 멀티 모달리티는 먼 이야기다. 실제 작업은 다른 특수 단일 모드 모델에 의해 뒤에서 처리된다.
찬드라세카란은 “구조적으로 각 모델이 분리되어 있다. 공급업체는 여러 전문 기능이 혼합된 아키텍처를 사용하고 있다”라고 설명했다. 하지만 올해에는 멀티 모달리티가 중요한 트렌드가 될 전망이다. 그에 따르면 멀티 모달 AI는 노이즈와 누락된 데이터에 대해 더 정확하고 탄력적으로 대응할 수 있으며, 인간과 컴퓨터의 상호 작용을 향상시킬 수 있다. 실제로 가트너는 2023년의 1%에서 2027년에는 차세대 AI 솔루션의 40%가 멀티 모달이 될 것으로 예측하고 있다.
멀티모델 라우팅
멀티모달 AI와 혼동하면 곤란하다. 멀티모델 라우팅(Multi-model routing)은 두 개 이상의 LLM을 사용하여 차세대 AI 애플리케이션을 강화하는 것을 의미한다. 오늘날 여러 AI 모델은 저마다 잘하는 작업 분야를 가지며, 일부는 다른 모델보다 저렴하거나 지연 시간이 더 짧다. 여러 모델을 이용하면 달걀을 한 바구니에 담는다는 문제도 피할 수 있다.
유니시스의 글로벌 AI 실무 리더인 브렛 바튼은 “최근 대화를 나눈 많은 CIO들이 AI와 관련해 공급업체에 종속되어 있던 ERP 시절을 떠올리고 있다. 특히 클라우드 및 AI 기능과 관련된 애플리케이션 포트폴리오를 검토할 때 이 문제를 가장 중요하게 생각한다”라고 말했다.
dl-ciokorea@foundryco.com
