Dnotitia, STAR-KV 공개…KV 캐시 최대 20배 압축·ICML 2026 Spotlight 선정
Yahoo Finance ·
Dnotitia는 저순위 기반의 KV 캐시 압축 기술인 "STAR-KV: Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control"의 논문과 소스코드를 공개했다. UC San Diego VVIP Lab과 공동 개발된 이 기술은 저순위 압축만으로 KV 캐시를 최대 75% 축소했으며, 본 논문에서 제안한 혼합 정밀도 양자화와 결합하면 전체 KV 캐시를 최대 20x까지 압축한다. 맞춤형 GPU 커널로 어텐션 계산 속도를 최대 6.9x, 전체 생성 처리량을 최대 3.1x까지 개선했고, 주요 기존 방법 대비 정확도도 높게 나타났다. 해당 논문은 ICML 2026의 Spotlight 논문으로 선정되었으며(검토 논문 중 약 2.2%, 채택 논문 중 약 8.4%), 논문은 arXiv에, 소스코드는 GitHub에 공개됐다. Dnotitia는 실서비스 적용과 vLLM 등 오픈소스 LLM 추론 프레임워크 적용을 추가로 추진할 계획이다. CEO MK Chung은 "더 긴 컨텍스트를 더 빠르고 저비용으로 처리하는 기술이 빠르게 발전하고 있다"고 말했다.
DYAX 투자자 예측
상승(롱) 62% · 하락(숏) 38%
총 395명 참여