Amazonのアソシエイトとして、当ブログは適格販売により収入を得ています。
Intel Arc A750はVRAM8GBなので、基本LLMで使うことはないのです。
それでもなんとか使おうと思った時、どのくらいまでコンテキスト長を設定したら良いか悩みどころです。
大きく設定すれば、会話が長く続けられる一方VRAMから溢れた途端に推論速度が急降下します。
小さく設定すれば、推論速度は担保されますが、前回の会話をすぐ忘れてしまいます。
そこでGeminiに作ってもらったのが、以下の「KVキャッシュ計算機」。
限界はどこだ!? Vキャッシュ計算機
VRAMに収まる限界コンテキスト長
約 0 トークン
(1トークンあたりの消費量: 0 KB)
実はKVキャッシュはLLMによって違ってくるとのことです。
未知のモデルに出会った時、計算できないじゃん!と思ってしまいます。
でも、調べ方はあります。


num_hidden_layers(レイヤー数)num_key_value_heads(KVヘッド数)head_dim(ヘッド次元数 ※書かれていない場合はhidden_size ÷ num_attention_headsで計算可能)
以上から計算できるとのこと。
今回の場合は、
num_hidden_layers= 16num_key_value_heads= 12head_dim= 64
それぞれを入力し、KVキャッシュを量子化しなかった場合(つまりfp16)で計算。
「google/gemma-4-E4B-it」を「Q4_K_M」量子化するとモデルサイズは「5.3GB」。
結果は・・・、
48059トークン!
多少の安全マージンをとっていますが、結構割り当てられるんですね!
OpenVINO GenAIだと「fp16」ではなく「int8」に量子化されるので、倍の96000ほどとなります。
実際にテストしてみたところ、45000あたりで録画していたOBS.Studioがクラッシュしたのであながち間違いと言うわけではなさそうです。
参考にしてみてください。
Amazon | 玄人志向 Intel Arc B580 搭載 グラフィックボード GDDR6 12GB 【国内正規代理店品】 AR-B580D6-E12GB/DF | 玄人志向 | グラフィックボード 通販
玄人志向 Intel Arc B580 搭載 グラフィックボード GDDR6 12GB 【国内正規代理店品】 AR-B580D6-E12GB/DFがグラフィックボードストアでいつでもお買い得。当日お急ぎ便対象商品は、当日お届け可能です。アマ...
Amazon | ASUS AMD Dual Radeon RX 9060 XT 16GB GDDR6ビデオカード DUAL-RX9060XT-16G 国内正規代理店品 | ASUS | グラフィックボード 通販
ASUS AMD Dual Radeon RX 9060 XT 16GB GDDR6ビデオカード DUAL-RX9060XT-16G 国内正規代理店品がグラフィックボードストアでいつでもお買い得。当日お急ぎ便対象商品は、当日お届け可能です。...
Palit RTX 5060 Ti 16GB GDDR7 PCIe 5.0 グラフィックボード
Palit(パリット) GeForce RTX 5060 Ti Infinity 3 16GB / NE7506T019T1-GB2061S / グラフィックボードがグラフィックボードストアでいつでもお買い得。当日お急ぎ便対象商品は、当日お...
もし、メインメモリが大量にあるって人は8700Gもおもしろいかも。

Amazon | AMD Ryzen 7 8700G プロセッサ(統合Radeon Graphics.Ryzen AI 8コア/16スレッド.TDP 65W.ソケットAM5, 24MBキャッシュ.最大5.1GHzブースト周波数.レイスステルスヒートシンク付属) | AMD | CPU 通販
AMD Ryzen 7 8700G プロセッサ(統合Radeon Graphics.Ryzen AI 8コア/16スレッド.TDP 65W.ソケットAM5, 24MBキャッシュ.最大5.1GHzブースト周波数.レイスステルスヒートシンク付属...
以下は自分が使っているCPUですが・・・。
今はコスパが悪いのでオススメはできないです。
LLM推論なら、モデル次第ではまぁ我慢できる?

AMD Ryzen 9 7900 Desktop Processor
AMD Ryzen 9 7900, with Wraith Prism Cooler 3.7GHz 12コア / 24スレッド 76MB 65W 100-100000590BOXがCPUストアでいつでもお買い得。当日お急ぎ便対象商品は、当日...

コメント