LLM

スポンサーリンク
Ubuntu

LLM推論速度シミュレータ

Amazonのアソシエイトとして、当ブログは適格販売により収入を得ています。前回の記事で少し触れましたが、最近はCPUでLLMの推論をすることが多いです。「Qwen3.6-35B-A3B」や「gemma-4-26B-A4B」ですね。自分の使...
Ubuntu

OpenVINO GenAIでローカルLLMチャット(Ubuntu編)

Amazonのアソシエイトとして、当ブログは適格販売により収入を得ています。前回の記事「話題のgemma-4を試してみた」で、llama.cppをvulkanで動かしたら「Radeon RX 470」に「Intel Arc A750」が負け...
スポンサーリンク