Amazonのアソシエイトとして、当ブログは適格販売により収入を得ています。
以前、Ryzen9 7900のCPUでgemma-4-26B-A4B（Q4_K_M）を動かしてみたことがあったのですが、まあまあ動くという感じで14tokens/secといったところでした。
ですが、gemma-4-26B-A4Bのアクティブは3.8B。
自分のメインメモリの速度は4800MT/s。
こちらの記事で書いてあるようにLLMの推論速度の理論値を調べたところ、19〜25tokens/secは出るであろうことが予測できます。
14tokens/secはボトルネックがCPUの処理速度であると仮定するなら、8700GのRadeon 780Mならもう少し速くなるのでは？と思ってテストしてみました。
llama.cppでテスト
GitHub – toaru-ubuntu/simple-llama-studio
Contribute to toaru-ubuntu/simple-llama-studio development by creating an account on GitHub.
github.com
以前自分で作った、llama.cppをベースにGUI化したツールを使ってテストしてみます。
こちらで導入記事を書いています。
google/gemma-4-26B-A4B-it-qat-q4_0-gguf · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
モデルはこちらを使いました。
最後に
今回はボトルネックの確認だけしたかったので、これでお終いです。
MoEモデルならRyzen7 8700GのようなAPUでも結構速いですね。
でも実はDensuモデルだと「gemma-4-12B-it-qat-q4_0-gguf」くらい小さいモデルでもけっこう遅かったりします。
今回は以上です。
Amazon | AMD CPU Ryzen 7 8700G BOX With Wraith Stealth Cooler 100-100001236SBX CP1676 | AMD | CPU 通販
AMD CPU Ryzen 7 8700G BOX With Wraith Stealth Cooler 100-100001236SBX CP1676がCPUストアでいつでもお買い得。当日お急ぎ便対象商品は、当日お届け可能です。アマゾン配...
amzn.to
今回使った8700Gです。
が、付属クーラーがstealthの方ですね。
spireの方はちょっと値段が高めです。
AMD Ryzen 5 8600G CPU Wraith Stealth Cooler付属 AM5ソケット
【Amazon.co.jp限定】 AMD CPU Ryzen 5 8600G, with Wraith Stealth Cooler AM5 4.3GHz 6コア / 12スレッド 22MB 65W 正規代理店品 100-100001237...
amzn.to
こちらは8600G。
8700Gとどれだけ差があるのか気になるところです。
Amazon | 【Amazon.co.jp限定】 AMD CPU Ryzen 5 8500G, with Wraith Stealth Cooler AM5 3.5GHz 6コア / 12スレッド 22MB 65W 正規代理店品 100-100000931BOX/EW-1Y | AMD | CPU 通販
【Amazon.co.jp限定】 AMD CPU Ryzen 5 8500G, with Wraith Stealth Cooler AM5 3.5GHz 6コア / 12スレッド 22MB 65W 正規代理店品 100-100000931...
amzn.to
8500G。
Geminiの調査によると、CPU処理よりむしろ遅くなるという報告を見つけたとのこと。
本当のところはわかりません。
誰か知っていたら教えてください。
コメント