IBM에 따르면 그래니트 3.2 모델은 허깅 페이스(Hugging Face)에서 허용되는 아파치 2.0 라이선스에 따라 사용할 수 있다. 일부 모델은 IBM 왓슨x.ai(IBM watsonx.ai), 올라마(Ollama), 리플리케이트(Replicate), LM 스튜디오에서 27일부터 즉시 사용 가능하며, IBM은 곧 레드햇 엔터프라이즈 리눅스(RHEL) AI 1.5에서도 제공돼 기업과 오픈 소스 커뮤니티에 새로운 기능을 제공할 예정이라고 밝혔다. 주요 기능은 다음과 같다.
- 문서 해석 작업을 위한 새로운 비전 언어 모델(VLM, vision language model: 이미지와 텍스트를 모두 처리하도록 비전 모델과 언어 모델의 기능을 결합한 고급 AI 모델)로, 필수 엔터프라이즈 벤치마크인 DocVQA, ChartQA, AI2D 및 OCRBench에서 기존 LLM인 라마 3.2 11B 및 픽스트랄 12B와 동등하거나 그 이상의 성능을 입증했다. IBM은 풍부한 학습 데이터뿐 아니라 자체 오픈 소스 도클링(Docling) 도구를 활용해 8,500만 개의 PDF를 처리하고 2,600만 개의 합성 질문-답변 조합을 생성해 복잡한 문서 중심의 업무를 처리하는 VLM의 능력을 향상시켰다고 설명했다.
- 3.2 2B 및 8B 모델에서 제공되는 향상된 추론을 위한 ‘연쇄적 사고(Chain of thought)’ 기능으로, 추론 기능을 활성화하거나 비활성화해 효율성을 최적화할 수 있다고 IBM은 설명했다. 이 기능을 통해 8B 모델은 다른 곳의 안전성이나 성능 저하 없이 아레나하드(ArenaHard) 및 알파카이벨(AlpacaEval)과 같은 인스트럭션 추종 벤치마크에서 이전 모델보다 두 자릿수 개선을 달성했다. 또한 IBM은 그래니트 3.2 8B 모델의 경우 새로운 추론 확장(inference scaling) 방법으로 AIME2024 및 MATH500과 같은 수학 추론 벤치마크에서 클로드 3.5-소넷 또는 GPT-4o와 같은 대규모 모델의 성능에 필적하도록 보정 가능하다고 밝혔다.
- 그래니트 3.2 모델은 기존 그래니트 3.1 가디언 모델의 성능을 유지하면서 크기를 30% 줄인 그래니트 가디언(Granite Guardian) 안전 모델의 소형화 버전이다. 3.2 모델에는 안전 모니터링의 모호성을 인식하고, 보다 정교한 위험 평가를 제공하는 언어화된 신뢰도(verbalized confidence)라는 새로운 기능이 도입됐다.
IBM은 기업을 위해 작고 실용적인 AI를 제공하겠다는 포트폴리오와 전략에 있어 그래니트 3.2가매우 중요한 진전을 이뤘다고 밝혔다. 예를 들어, 추론을 위한 ‘연쇄적 사고’ 접근 방식은 강력하지만, 모든 작업에 필요한 것은 아니며 상당한 컴퓨팅 성능이 필요하다는 설명이다. 이에 IBM은 프로그래밍 방식으로 ‘연쇄적 사고’를 활성화 또는 비활성화할 수 있는 기능을 도입했으며, 간단한 작업의 경우 이 모델은 추론 없이 작동해 불필요한 연산 부하를 줄일 수 있다고 언급했다. 또한 그래니트 8B 모델은 추론 확장과 같은 다른 추론 기법을 통해 표준 수학 추론 벤치마크에서 보다 규모가 큰 모델의 성능과 동등하거나 이를 능가하는 것으로 나타났다. IBM 연구팀은 추론 확장 같은 발전된 방법에 역량을 집중하고 있다.
IBM은 그래니트 3.2 인스트럭트, 비전 및 가드레일 모델과 함께 최대 2년 후의 미래까지 장기 예측할 수 있는 기능을 갖춘 차세대 시계열 모델인 타이니타임믹서(TTM, TinyTimeMixers) 모델(1000만 개 미만의 매개변수)을 출시한다. IBM은 해당 솔루션이 금융 및 경제 동향, 공급망 수요 예측, 유통 업계의 계절별 재고 계획 등 장기적인 트렌드 분석에 강력한 도구가 될 수 있다고 밝혔다.
