IBM이 자사 하이브리드 언어 모델 시리즈 ‘Granite 4’를 오픈소스로 공개하며 자연어처리 경쟁에 본격 합류했다. 이 시리즈는 트랜스포머 기반 모델과 ‘맘바(Mamba)’ 아키텍처를 결합해 메모리 효율성과 성능을 동시에 강화한 것이 특징이다.

이번에 출시된 Granite 4 시리즈는 총 4개의 모델로 구성된다. 파라미터 수는 30억에서 최대 320억 개에 이르며, IBM에 따르면 동급 모델 대비 더 적은 메모리로 높은 계산 효율을 달성할 수 있다. 특히 가장 작고 빠른 `Granite-4.0-Micro`는 순수 트랜스포머 기반이며, 나머지 세 모델은 트랜스포머의 ‘어텐션 메커니즘’과 맘바의 ‘상태 공간 모델(state space model)’을 결합한 하이브리드 구조를…  더보기