極限までコンテキストを伸ばす！KVキャッシュ計算機

Amazonのアソシエイトとして、当ブログは適格販売により収入を得ています。

Intel Arc A750はVRAM8GBなので、基本LLMで使うことはないのです。
それでもなんとか使おうと思った時、どのくらいまでコンテキスト長を設定したら良いか悩みどころです。

大きく設定すれば、会話が長く続けられる一方VRAMから溢れた途端に推論速度が急降下します。
小さく設定すれば、推論速度は担保されますが、前回の会話をすぐ忘れてしまいます。

そこでGeminiに作ってもらったのが、以下の「KVキャッシュ計算機」。

VRAM総容量 (GB)

モデルの重みサイズ (GB)

モデルのアーキテクチャ

レイヤー数

KVヘッド数

ヘッド次元数

KVキャッシュの量子化 (推論エンジン)

安全マージン (GB) ※OS等の予備

VRAMに収まる限界コンテキスト長

約 0 トークン

(1トークンあたりの消費量: 0 KB)

重み

空き

実はKVキャッシュはLLMによって違ってくるとのことです。
未知のモデルに出会った時、計算できないじゃん！と思ってしまいます。
でも、調べ方はあります。

以上から計算できるとのこと。
今回の場合は、

それぞれを入力し、KVキャッシュを量子化しなかった場合（つまりfp16）で計算。
「google/gemma-4-E4B-it」を「Q4_K_M」量子化するとモデルサイズは「5.3GB」。
結果は・・・、

48059トークン！

多少の安全マージンをとっていますが、結構割り当てられるんですね！
OpenVINO GenAIだと「fp16」ではなく「int8」に量子化されるので、倍の96000ほどとなります。

実際にテストしてみたところ、45000あたりで録画していたOBS.Studioがクラッシュしたのであながち間違いと言うわけではなさそうです。

参考にしてみてください。

もし、メインメモリが大量にあるって人は8700Gもおもしろいかも。

以下は自分が使っているCPUですが・・・。
今はコスパが悪いのでオススメはできないです。
LLM推論なら、モデル次第ではまぁ我慢できる？