차세대 인공지능(AI) 시스템의 설계에서 다시 주목받는 요소는 예상 밖으로 ‘기억’이다. 대규모 데이터 흐름과 복잡한 추론을 요구하는 AI 팩토리 시대에, 메모리 효율성은 성능 향상의 핵심 변수로 부각되고 있다. 델 테크놀로지스(Dell Technologies)의 데이비드 노이 제품관리 부사장은 최근 SC25 컨퍼런스에서 “AI 시스템이 학습이나 추론 과정에서 같은 문맥을 반복 계산하지 않으려면 기억의 일부를 메모리에 유지하는 방식이 필요하다”고 강조했다.

노이 부사장은 특히 대화형 챗봇과 같은 AI 활용 사례를 언급하며, 대화의 흐름이나 문맥을 계속해서 GPU로 재계산하는 것은 처리 자원을 낭비하는 결과를 초래한다고 짚었다. 그는…  더보기