Dnotitia、STAR-KVを公開…KVキャッシュを最大20倍圧縮、ICML 2026スポットライト論文に選出
Yahoo Finance ·
Dnotitiaは低ランク手法によるKVキャッシュ圧縮技術「STAR-KV: Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control」の論文とソースコードを公開した。UC San DiegoのVVIP Labとの共同研究で開発されたこの技術は、低ランク圧縮のみでKVキャッシュを最大75%削減し、論文で提案する混合精度量子化と組み合わせるとフルKVキャッシュを最大20x圧縮する。カスタムGPUカーネルによりアテンション計算を最大6.9x高速化、全体の生成スループットを最大3.1x向上させ、主要既存手法より高い精度を示した。論文はICML 2026のスポットライト論文に選ばれ、arXivで公開、ソースコードはGitHubで公開されている。今後は実環境への適用やvLLM等のオープンソースLLM推論フレームワークへの展開を目指すとしている。CEOのMK Chungは「長い文脈をより速く、より低コストで処理する技術が急速に進展している」と述べた。
DYAX投資家予測
上昇(ロング) 62% · 下落(ショート) 38%
合計395人参加