테크 산업의 진보는 인공지능(AI) 분야의 혁신을 통해 가속화되고 있다. 라이트비츠 랩스는 최근 대규모 AI 추론에서 발생하는 메모리 병목 현상을 해결하기 위해 새로운 아키텍처를 발표했다. 이 아키텍처는 ScaleFlux와 FarmGPU와의 협력을 통해 개발되었으며, 비휘발성 메모리 익스프레스 스토리지와 GPU 추론 인프라, 라이트비츠의 소프트웨어를 결합하여 AI 시스템이 추론 중 생성되는 데이터 캐시를 더욱 효율적으로 관리할 수 있도록 돕는다.

클라우드 운영업체들이 추론 작업을 처리하는데 있어 비용 부담을 느끼고 있는 가운데, 이번 발표는 희소식이 될 전망이다. GPU의 높은 비용은 운영의 많은 부분을 차지하는 문제가 되며, 이를…  더보기