"메모리 슈퍼사이클"에 대한 생각

 

AI Bi-weekly - "메모리 슈퍼사이클"에 대한 생각

 

 

 

[리포트] AI Bi-weekly - "메모리 슈퍼사이클"에 대한 생각 (미래에셋증권 한종목 김은지, '25.09.24.)
 - AI 패러다임의 재정의: 컴퓨팅을 넘어, 메모리가 왕이 되는 시대
  · AI 산업의 중심이 모델을 개발하는 '사전학습'단계에서, 완성된 AI를 실시간으로 활용하는 '추론' 단계로 넘어가면서 반도체 패러다임이 근본적으로 재편
  · 과거 AI의 성능을 좌우하던 연산(Compute) 능력의 시대가 저물고, 데이터 이동 속도가 성능을 결정하 는 '메모리 병목' 현상이 새로운 화두
  · 이 구조적 변화가 HBM을 넘어 DRAM과 NAND까지 아우르는 거대한 'AI 메모리 슈퍼사이클'을 촉발
  · 모델의 전체 규모는 거대해지면서도, 실제 연산에 사용되는 부분은 일부로 제한하는 MoE(Mixture of Experts)와 희소성(Sparsity)의 부상
  · 모든 데이터를 비싸고 용량이 제한적인 HBM에 상주시키는 것이 경제적으로 비효율적이라는 근거를 제시

 - HBM-DRAM-eSSD로 이어지는 계층형 메모리 아키텍처
  · 대화의 맥락을 기억하는 임시 데이터인 KV(Key/Value) Cache가 대화가 길어질수록 폭발적으로 증가하여 HBM의 물리적 용량 한계를 초과하는 문제

  · 이 때문에 데이터를 외부 저 장소로 옮기는 '오프로딩(Offloading)은 더 이상 선택이 아닌 필수
  · 이 구조의 핵심은 지능형 소프트웨어가 데이터 이동과 연산을 교묘하게 겹쳐(Overlap), 하위 메모리의 느린 속도를 체감할 수 없도록 숨기는 '지능형 오프로딩' 기술
  · 이 구조 안에서, 단순 저장장치로 여겨졌던 eSSD는 AI 연산 과정에서 '활성 스토리지(Active Storage)라는 새로운 지위 부여

  · 결과적으로 HBM 수요가 NAND 수요를 직접적으로 견인하는 강력한 선순환 구조가 완성

 - 엔비디아는 차세대 Rubin 아키텍처에서 HBM을 제거한 Prefill 전용 칩(CPX)을 제시하며 패러다임 전환을 공식화
  · 하이퍼스케일러들은 수십 엑사바이트(EB)라는 천문학적인 규모의 eSSD 주문을 체결하고 있고, 메모리 반도체 업체들은 폭증하는 수요에 대응해 가격을 대폭 인상하는 등, 시장은 공급자 우위로 전환
  · 며칠 전 발표된 마이크로소프트의 'Fairwater' 프로젝트는 가장 확실한 증거

  · 5개 규모의 스토리지와 지능형 관리 소프트웨어는 계층형 메모리 아키텍처가 이미 수십조 원 규모로 구축되고 있음을 의미
  · 결론적으로, 현재의 메모리 슈퍼사이클은 일시적 현상이 아닌, AI 추론 시대가 촉발한 구조적이고 장기적인 재편