ComfyUIのカスタムノード、「QwenVL」をIntel Arcで使う

Ubuntu
スポンサーリンク

Amazonのアソシエイトとして、当ブログは適格販売により収入を得ています。

画像からプロンプトを作る時に、「LM Studio Nodes for ComfyUI」というカスタムノードがよく使われているようですね。

今回自分が紹介するのは「ComfyUI-QwenVL」です。

GitHub - 1038lab/ComfyUI-QwenVL: ComfyUI-QwenVL custom node: Integrates the Qwen-VL series, including Qwen2.5-VL and the latest Qwen3-VL, with GGUF support for advanced multimodal AI in text generation, image understanding, and video analysis.
ComfyUI-QwenVL custom node: Integrates the Qwen-VL series, including Qwen2.5-VL and the latest Qwen3-VL, with GGUF suppo...
github.com

ただし、このカスタムノードはそのままではIntel Arcで動きません。
ソースコードをちょっといじっていくことになります。
そんなに難しくないので大丈夫です。

それでは、いってみましょう。

まずはComfyUIのインストール

これらをインストールしておいてください。
今回は「ComfyUI-manager」を使って「ComfyUI-QwenVL」をインストールします。

わかる人は、上のリンクから「ComfyUI-QwenVL」をgit cloneしてもOKです。

「ComfyUI-manager」で「ComfyUI-QwenVL」をインストール

ComfyUIを立ち上げたところ。まずは赤丸部分をクリック。
赤丸部分をクリック。
「Missing」を「All」変更。
検索欄に「qwenvl」と打ち込むと候補のカスタムノードが現れます。赤丸の「ComfyUI-QwenVL」をインストールします。
インストールが済んだら、左下の「Restart」をクリック。
リスタートしたら、動作テストするので「QwenVL」を使うための単純なワークフローを作っていきます。初期のワークフローは必要ないので「Ctrl + マウスドラッグ」ですべて囲って削除します。
何もないところでダブルクリック。検索欄に「画像」と打ち込み「画像を読み込む」を選択。ノードを出します。
次は検索欄に「qwenvl」と打ち込み、「Qwen VL」を選択。ノードを出します。
次は「show text」と打ち込み、「プレビュー任意」を選択。
まずノードをつなぎます。
次に画像を選択。前回の記事で使った実写風の画像を使ってみましょう。ドラッグアンドドロップします。
モデルを選択。今回は「Qwen-VL-4B」を使ってみます。モデルは自動ダウンロードなので選択するだけでOKです。
「attention_mode」は「sdpa」を選択。Arcに「sageattention」はありません。

ここまでで、ワークフローの準備はできました。

が、ソースをいじらないと、このカスタムノードはIntel Arcでは動きません。

次は、pythonスクリプトをいじっていきます。
一旦、ComfyUIは閉じましょう。

「ConfyUI-QwenVL」のソースを書き換え

「ComfyUI」フォルダの中の「custom_nodes」の中に入ります。
「ComfyUI-QwenVL」の中に入ります。
「AILab_QwenVL.py」の中身を修正していきます。
赤丸の部分をクリック。

テキストエディタは「gedit」を使っています。「gedit」についてはこちらの記事で紹介しています。

「置換」をクリック。
検索する文字列に「cuda」、置換後の文字列に「xpu」と入力。」入力したら「すべて置換」をクリック。

変更はこれだけでOKです。
ただ、個人的には気になる部分があるので以下の変更もしてしまいます。

この部分を変更しないと、ログに「nvidia_gpu」で動いてるよ、みたいに表示されてしまうので、
「Intel Arc GPU」に変更してしまいます。別に「Intel Arc GPU」じゃなくてもなんでも良いです。

ソースの変更はここまでです。

では実際に動かしていきましょう

すでに作ったワークフローで、実行してみます。

初回起動時はモデルファイルのダウンロードから始まります。しばらく待ちましょう。
ダウンロード時間も含めると約２５６秒かかりました。
負荷状況はこんな感じ。4Bなので8GBのVRAMで収まるかと思ったんですが、B570でもつらいかも・・・。
生成されたプロンプトはこんな感じ。
A young woman with short, dark brown bob haircut featuring bangs stands indoors near a large arched window, smiling gently as she looks slightly upward toward the viewer’s left. Her skin glows softly under warm sunlight streaming through wooden-framed panes that reveal green foliage outside, suggesting late afternoon or early evening. She wears a loose-fitting, textured gray sweater with a round neckline, her arms relaxed at her sides while leaning subtly into the light. The sun illuminates one side of her face, casting gentle highlights on her cheekbones and lips, while creating a subtle shadow along the other side, enhancing depth in her features. Behind her, an ornate multi-paned window dominates the right portion of the frame, its arch top catching golden rays, complementing the beige walls and cream curtain partially drawn to the left. The camera captures her from eye level, framing her just above shoulder height within a medium close-up shot where natural light emphasizes both texture—her fabric and fine hairs—and warmth radiating off her smile. A faint lens flare hints at direct backlighting, adding ethereal quality without overpowering detail. Her posture feels casual yet composed, evoking comfort and quiet joy amidst serene surroundings.
前髪のある短めのダークブラウンのボブヘアの若い女性が、大きなアーチ型の窓のそばの室内に立っている。彼女は優しく微笑みながら、鑑賞者から見て左の方を少し見上げている。木枠の窓から差し込む温かい日差しが彼女の肌を優しく輝かせ、窓の外には緑の木々が見える。夕暮れ時か夕方頃だろうか。彼女は丸首のゆったりとした質感のあるグレーのセーターを着て、両腕を体の横にリラックスさせ、さりげなく光に身を委ねている。太陽の光が彼女の顔の片側を照らし、頬骨と唇に柔らかなハイライトを落とし、反対側には微妙な影を作り出し、顔立ちの立体感を際立たせている。彼女の背後には、装飾的な多連窓が画面右側を占め、アーチ型の窓の上部が金色の光を捉え、ベージュの壁と左側に部分的に引かれたクリーム色のカーテンと調和している。カメラは彼女の目線の高さから捉え、肩より少し上の位置をミディアムクローズアップでフレーミングしている。自然光が彼女の服の質感や細い髪、そして笑顔から放たれる温かさを際立たせている。かすかなレンズフレアは逆光を暗示し、細部を圧倒することなく、幻想的な雰囲気を醸し出している。彼女の姿勢は気取らないながらも落ち着きがあり、穏やかな環境の中で、心地よさと静かな喜びを感じさせる。

ちなみにモデルをダウンロード後のプロンプト生成時間は、

１０秒くらい。すぐ終わります。

「AILab_QwenVL_PromptEnhancer」はどうなのか？

QwenVLにはプロンプトを拡張させるノードもあります。

これですね。

このノードも、上で紹介したやり方（cudaをxpuに置き換える）で動くようになります。
置き換えたらComfyUIは再起動してください。

「QwenVL Prompt Enhancer」を選択。
この間に入れたいですね。
こんな感じ。
いろいろ指定し直します。「keep_model_loaded」は「false」にしておきましょう。２重でモデルを呼び出すとさすがにVRAMを圧迫しすぎます。
ここに受け取ったプロンプトの拡張内容の指示を書きます。
こんな感じ。
Enhance this description to be a highly detailed prompt for a photorealistic AI image generator. Add professional photography terminology, specify camera settings (like 85mm lens, f/1.8 aperture), detailed cinematic lighting (like rim lighting, volumetric rays from the window), and 8k resolution keywords. Keep the core subject and mood intact.
実行結果のプロンプト。余計な説明とかが入っていて、そのままでは使えませんね。

必要な部分だけ抜き出すか、指示プロンプトに、

You are an AI image prompt generator. Output ONLY the enhanced prompt. Do NOT include any introductory text, preambles, explanations, or conversational filler (e.g., "Here is the prompt", "We are crafting..."). Start immediately with the prompt text and end immediately after it.

を加えるとか、いろいろ工夫が必要そうです。
ちなみに、上の指示プロンプトを加えても余計な部分は完全には消えませんでした。

最後に

画像からプロンプトを生成するくらいなら、すぐにでも組み込めそうです。

ただ、「AILab_QwenVL_PromptEnhancer」を使う場合、そのまま自分のワークフローに組み込むには、もうちょっと指示プロンプトや設定の工夫が必要そうですね。

上手く使ってみて下さい！

今回は、以上です。

Amazon | 玄人志向 Intel Arc B580 搭載 グラフィックボード GDDR6 12GB 【国内正規代理店品】 AR-B580D6-E12GB/DF | 玄人志向 | グラフィックボード 通販
玄人志向 Intel Arc B580 搭載 グラフィックボード GDDR6 12GB 【国内正規代理店品】 AR-B580D6-E12GB/DFがグラフィックボードストアでいつでもお買い得。当日お急ぎ便対象商品は、当日お届け可能です。アマ...
amzn.to
Amazon | ASRock Intel Arc B580 Challenger PCIe 5.0対応 2.8GHz 12GB OC GDDR6搭載 ビデオカード 国内正規代理店品 B580 CL 12GO | ASRock | グラフィックボード 通販
ASRock Intel Arc B580 Challenger PCIe 5.0対応 2.8GHz 12GB OC GDDR6搭載 ビデオカード 国内正規代理店品 B580 CL 12GOがグラフィックボードストアでいつでもお買い得。当日...
amzn.to
Amazon | SPARKLE Intel Arc A60 搭載 グラフィックボード ロープロファイル 対応 【国内正規代理店品】 SBP60W-24G | スパークル(Sparkle) | グラフィックボード 通販
SPARKLE Intel Arc A60 搭載 グラフィックボード ロープロファイル 対応 【国内正規代理店品】 SBP60W-24Gがグラフィックボードストアでいつでもお買い得。当日お急ぎ便対象商品は、当日お届け可能です。アマゾン配送商...
amzn.to

スポンサーリンク

コメント

タイトルとURLをコピーしました