SvmuuTether AI は、オープンソースの TurboQuant 技術を正式にリリースし、QVAC SDK 0.12.0 バージョンに統合しました。本技術は Google Research のメモリ圧縮アルゴリズムに基づいており、出力品質をほぼ損なうことなく、大規模言語モデルの KV キャッシュを最大 5 倍圧縮し、デバイスのメモリ負荷を大幅に低減します。
TurboQuant は、ノートパソコン、スマートフォン、コンシューマー向け GPU、エッジデバイス、分散型推論ネットワークに対応しており、ローカル AI が複雑なタスクをスムーズに処理し、データプライバシーと使用効率の両立を実現します。現在、本技術は Fabric を通じて世界中の開発者に公開されています。Tether は、この取り組みにより、AI が中央集権型クラウドサービスの制限から脱却し、ローカルおよび分散型 AI エコシステムの実装を加速することを目指していると述べています。(Tether.io)