LLM推論速度シミュレータ

Amazonのアソシエイトとして、当ブログは適格販売により収入を得ています。

前回の記事で少し触れましたが、最近はCPUでLLMの推論をすることが多いです。
「Qwen3.6-35B-A3B」や「gemma-4-26B-A4B」ですね。

自分の使っている「Intel Arc A750(VRAM8GB)」では、これらのモデルはCPUより速度が遅いです。
モデルがVRAMに収まりません。

VRAMを使わない方法だと、「Ryzen7 8700G」なんかも面白そうですね。
メインメモリが大量に必要ですが。

推論速度はVRAM量も重要ですが、帯域幅も重要です。
以下は、Geminiに作ってもらった「簡単な理論速度」を算出する大まかなツールです。
正しいかどうかはわかりませんが、よかったら使ってみてください。

今回は、以上です。

Amazon | 玄人志向 Intel Arc B580 搭載 グラフィックボード GDDR6 12GB 【国内正規代理店品】 AR-B580D6-E12GB/DF | 玄人志向 | グラフィックボード 通販

玄人志向 Intel Arc B580 搭載 グラフィックボード GDDR6 12GB 【国内正規代理店品】 AR-B580D6-E12GB/DFがグラフィックボードストアでいつでもお買い得。当日お急ぎ便対象商品は、当日お届け可能です。アマ...

amzn.to

Amazon | ASUS AMD Dual Radeon RX 9060 XT 16GB GDDR6ビデオカード DUAL-RX9060XT-16G 国内正規代理店品 | ASUS | グラフィックボード 通販

ASUS AMD Dual Radeon RX 9060 XT 16GB GDDR6ビデオカード DUAL-RX9060XT-16G 国内正規代理店品がグラフィックボードストアでいつでもお買い得。当日お急ぎ便対象商品は、当日お届け可能です。...

amzn.to

Palit RTX 5060 Ti 16GB GDDR7 PCIe 5.0 グラフィックボード

Palit(パリット) GeForce RTX 5060 Ti Infinity 3 16GB / NE7506T019T1-GB2061S / グラフィックボードがグラフィックボードストアでいつでもお買い得。当日お急ぎ便対象商品は、当日お...

amzn.to

もし、メインメモリが大量にあるって人は8700Gもおもしろいかも。

Amazon | AMD Ryzen 7 8700G プロセッサ(統合Radeon Graphics.Ryzen AI 8コア/16スレッド.TDP 65W.ソケットAM5, 24MBキャッシュ.最大5.1GHzブースト周波数.レイスステルスヒートシンク付属) | AMD | CPU 通販

AMD Ryzen 7 8700G プロセッサ(統合Radeon Graphics.Ryzen AI 8コア/16スレッド.TDP 65W.ソケットAM5, 24MBキャッシュ.最大5.1GHzブースト周波数.レイスステルスヒートシンク付属...

amzn.to

以下は自分が使っているCPUですが・・・。
今はコスパが悪いのでオススメはできないです。
LLM推論なら、モデル次第ではまぁ我慢できる？

AMD Ryzen 9 7900 Desktop Processor

AMD Ryzen 9 7900, with Wraith Prism Cooler 3.7GHz 12コア / 24スレッド 76MB 65W 100-100000590BOXがCPUストアでいつでもお買い得。当日お急ぎ便対象商品は、当日...

amzn.to