처음부터 시작하기
처음부터 자체 LLM을 구축하는 기업은 거의 없다. 오픈AI의 경우 1,750억 개의 파라미터를 가진 GPT 3에 45테라바이트의 데이터 세트를 학습시키는 데 460만 달러의 비용이 들었다. 오픈AI의 CEO 샘 알트먼에 따르면, GPT 4는 1억 달러가 넘는 비용이 들었다. 이 정도 규모를 투자해야 LLM이 어느 정도의 상식을 갖춰 인간의 언어를 처리할 수 있는 마법과 능력을 갖추게 된다.
인사이트(Insight)의 최고 데이터 책임자 캄 타글리엔티는“자체 LLM을 만들 수는 있지만, 이를 위해서는 상당한 데이터와 처리 능력을 투자해야 한다. 처음부터 모델을 학습시키려면 데이터를 기반으로 예상되는 LLM 작업을 실행할 수 있을 만큼 충분한 양의 데이터가 필요하다”라고 말했다.
그런 다음 모델이 기본 학습을 완료하면 모델이 사용자와 적절한 방식으로 상호 작용하는 데 필요한 인간 피드백을 통한 강화 학습 단계인 RLHF를 거쳐야 한다.
오늘날 거의 모든 LLM은 대형 하이퍼스케일러나 오픈AI, 앤쓰로픽과 같은 AI 스타트업에 의해 제공된다. 자체 모델 구축 경험이 풍부한 기업조차도 대부분 자체 LLM을 만들려 하지 않는다. 예를 들어 세일로프트는 이전 기술을 사용한 생성형 AI 모델을 포함해 수년간 자체 AI 및 ML 모델을 구축해 왔지만, 완전히 새로운 최첨단 기반 모델을 처음부터 구축하려는 시도는 삼가고 있다. 필즈는 “적어도 현 단계에서는 시작하기에 부담스러운 대규모 계산을 요구한다”라고 말했다.
모델로 채워진 정원(Model gardens)
성숙한 기업의 경우 단일 생성형 AI 모델만으로는 충분하지 않다. 각기 다른 모델은 각기 다른 종류의 사용 사례에 적합하며 비용과 성능 지표도 다르다. 그리고 새로운 플레이어들이 끊임없이 이 분야에 진입하고 있다. 일부 모델은 온프레미스 또는 코로케이션 데이터 센터에서 실행할 수 있어 기업의 비용을 절감하거나 추가적인 보안 또는 유연성을 제공하기도 한다.
이러한 옵션을 활용하기 위해 기업들은 맞춤형 모델이나 파인 튜닝 모델로 가득한 모델 정원, 신중하게 심사된 LLM의 비공개 컬렉션을 만들고 라우팅 시스템을 사용하여 적합한 모델에 요청을 전달한다. 커니의 토타는 “하지만 이 정도로 복잡한 작업을 진행하려는 회사는 아직 많지 않다. 단 미래에는 그렇게 될 것이라고 본다”라고 말했다.
dl-ciokorea@foundryco.com
