AI 추론 기술이 점점 정교화되는 가운데, 기존 메모리 구조의 한계를 뛰어넘기 위한 엔비디아(NVDA)와 웨카IO(WekaIO)의 공동 전략이 주목 받고 있다. 두 기업은 슈퍼컴퓨팅 행사 ‘SC25’에서 인공지능 연산에 최적화된 차세대 메모리 확장 시스템을 공개하며, 급증하는 AI 워크로드에 대응할 수 있는 인프라 혁신 구상을 밝혔다.

웨카IO가 공개한 새로운 메모리 계층 아키텍처는 GPU 메모리와 외장 스토리지 사이에서 키-값(KV) 캐시 데이터를 실시간 수준으로 스트리밍함으로써 처리 속도를 끌어올리는 구조다. 이 시스템은 엔비디아가 제공하는 ‘다이너모(Dynamo)’와 ‘NIXL’과 긴밀히 통합돼, 분산 처리 환경에서 대형 언어모델(LLM)의 추론…  더보기