DeepSeek-V4-Flashを使ってみよう

Ubuntu
スポンサーリンク

Amazonのアソシエイトとして、当ブログは適格販売により収入を得ています。

この記事は、Geminiとの相談結果が多分に含まれています。
利用する場合は、自己責任でお願いします。

記事の内容は以下のシステムでテストされています。
Ubuntu24.04.4LTS
Ryzen7 8700G(Radeon 780M)
メインメモリ96GB(4800MT/s)


unsloth/DeepSeek-V4-Flash-0731-GGUF at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

今回はこのモデルをllama.cppで動かしてみます。
ただ、モデル自体は155GBほどあるので、メインメモリからは完全に溢れてしまいます。

どうやって動かすのか?Youtubeにヒントがあった

ではどうやって動かすのか?
以下の動画が参考になりました。

どうも、起動オプションに「–no-repack」を付ければOKとのこと。
試しにやってみました。

起動の様子が確認できます。動画はメチャ長いので、興味のある方だけどうぞ。

気づいたかもしれませんが、CPUで動かしています(理由は後述)。

プロンプトを増やしてみました

動画では、ユーザーが入力したプロンプトの長さ(入力トークン数)によって処理がより効率的になるとのこと。
ということで、ちょっと長文にしてみました。

以下の「架空の製品会議議事録」を読み、その後に続く【指示】に従って回答してください。

【議事録:次世代スマートウォッチ『Aegis Watch v2』開発会議】
日時:2024年10月15日
出席者:佐藤(PM)、鈴木(エンジニア)、田中(マーケティング)

佐藤:次世代モデル『Aegis Watch v2』の進捗について。バッテリー容量は現行の300mAhから500mAhに増設する方向で決定しました。これにより、連続使用時間は現行の10時間から15時間に伸びる計算です。
鈴木:バッテリー増設に伴い、筐体サイズがわずかに大きくなります。厚みは2mm増えますが、幅は従来通りです。また、新しいセンサー『Bio-Sense X』を搭載します。これにより心拍数測定の精度が20%向上しますが、消費電力も15%増加します。
田中:マーケティングの観点から言わせてください。バッテリーが持つなら、価格は現行の2万円から2万5千円に値上げしても受容されるはずです。ただし、デザインが「ゴツくなる」のは避けたいですね。
鈴木:デザインの変更については、素材にチタンを採用することで高級感を出し、厚みによる違和感を軽減する案が出ています。ただし、チタンを採用すると製造コストが1,000円上昇します。
佐藤:コスト面は要検討ですね。あ、それと、防水性能についてですが、現行のIP68から、さらに上のレベルを目指して水深3mでの使用を保証する設計に変更します。
田中:水深3m!? それは素晴らしい。でも、その分、防水パッキンのコストが上がりますよね?
鈴木:はい、それを含めると、製造コストはチタン採用分と合わせて計3,000円アップする見込みです。
【指示】

【情報抽出】 バッテリー容量、連続使用時間、新しいセンサーの名前、および製品の防水性能の変更点を箇条書きで抽出してください。
【矛盾チェック】 議事録の中で、コスト計算やスペックに関して、論理的に矛盾している点、または未解決のまま議論が流れている点があれば指摘してください。
【計算】 製造コストが「チタン採用で1,000円アップ」「防水強化で2,000円アップ」だった場合、最終的な製造コストの総上昇額を算出してください。
【要約】 この会議の内容を、決定事項と検討事項に分けて、3行以内で要約してください。

これをllama.cppに投げてみます。

vulkanでは現状クラッシュ

「–no-repack」を付けてのvulkanはダメそうです。

ドラフトモデルも使ってみました

# モデルのパスを設定
LOCATE="/media/test/semi_4TB/99_LLMモデル/quantize/DeepSeek-V4-Flash-0731-GGUF"
MODEL="DeepSeek-V4-Flash-0731-UD-Q4_K_XL-00001-of-00005.gguf"
MTP="dspark-DeepSeek-V4-Flash-0731-Q8_0.gguf"

# ドラフトモデルも併用しての起動コマンド
./llama.cpp/build-cpu/bin/llama-server -m $LOCATE/$MODEL --port 8080 --host 127.0.0.1 --jinja --reasoning off --spec-draft-model $LOCATE/$MTP --spec-type draft-dspark --spec-draft-n-max 1 --no-repack --parallel 1 -ctk q8_0 -ctv q8_0 -fa on -b 2048 -ub 2048 -c 4096

最後に

メモリ容量をはるかにこえるモデルがなぜ動くのか?
自分は原理についてはよく分かっていません。
llama.cppがデフォルトで「Repacking(再パッキング)」という最適化処理を行おうとするのを「–no-repack」オプションでスキップしてしまうとのこと。
モデルをSSDから読み出すために、モデル自体がSSDに収まっていればこの方法は使えるようです。

高性能だと話題の「Kimi-K3」も動くらしいですよ。
(SSDの性能にもよりますが、0.5tokens/secくらいの速度しか出ないみたい)

unsloth/Kimi-K3-GGUF · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

今回は以上です。


Amazon | AMD CPU Ryzen 7 8700G BOX With Wraith Stealth Cooler 100-100001236SBX CP1676 | AMD | CPU 通販
AMD CPU Ryzen 7 8700G BOX With Wraith Stealth Cooler 100-100001236SBX CP1676がCPUストアでいつでもお買い得。当日お急ぎ便対象商品は、当日お届け可能です。アマゾン配...
Amazon | Bornffinally MAXSUN インテル Arc Pro B60 デュアル 48G ターボグラフィックスカード。 | デュアルGPUデザイン、48GB GDDRメモリ、デュアルスロットフォームファクタ、PCIeインターフェイス、AIワークステーションGPU。 | Bornffinally | グラフィックボード 通販
Bornffinally MAXSUN インテル Arc Pro B60 デュアル 48G ターボグラフィックスカード。 | デュアルGPUデザイン、48GB GDDRメモリ、デュアルスロットフォームファクタ、PCIeインターフェイス、AI...
Amazon | SPARKL Intel Arc Pro B70グラフィクスカード ブロワーファン搭載モデル [SBP70W-32G] | スパークル(Sparkle) | グラフィックボード 通販
SPARKL Intel Arc Pro B70グラフィクスカード ブロワーファン搭載モデル がグラフィックボードストアでいつでもお買い得。当日お急ぎ便対象商品は、当日お届け可能です。アマゾン配送商品は、通常配送無料(一部除く)。
Amazon | ASRock Intel Arc Pro B65 クリエイター 32GB ワークステーショングラフィックスカード、Intel Xe2-HPG、32GB GDDR6、PCIe 5.0、4X DisplayPort 2.1、ブロワーファン、ベイパーチャンバー、Honeywell PTM7950 | ASRock | グラフィックボード 通販
ASRock Intel Arc Pro B65 クリエイター 32GB ワークステーショングラフィックスカード、Intel Xe2-HPG、32GB GDDR6、PCIe 5.0、4X DisplayPort 2.1、ブロワーファン、ベイ...

コメント

タイトルとURLをコピーしました