非常に重たい動画生成AIですが、今回は「SkyReels」を使ってComfyUIで動かしてみます。
Ubuntuで動作させていますが、Windowsでも同様だと思います。
以前、ComfyUIの導入方法を記事にしているのでそちらもご覧ください。
intel ARC B580でComfyUIを動作させる（Ubuntu編）
intel ARC B580でComfyUIを動作させる（Windows編）
SkyReels導入の参考サイト
https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy
まずはワークフローからダウンロード。
次はモデルです。
ダウンロードしたモデルを（./ComfyUI/models/diffusion_models）にコピーします。
あとは、適当なところから必要なものをダウンロード。
とりあえず、これで動いています。
テキストエンコーダ（ ./ComfyUI/models/text_encoders）
https://huggingface.co/calcuis/hunyuan-gguf/blob/main/clip_l.safetensors
https://huggingface.co/calcuis/hunyuan-gguf/blob/main/llava_llama3_fp8_scaled.safetensors
VAE（ ./ComfyUI/models/vae）
https://huggingface.co/calcuis/hunyuan-gguf/blob/main/hunyuan_video_vae_bf16.safetensors
動画生成を試してみる
商用利用できそうなモデル「BlazingRealDrive」を使ってstable diffusionで画像を生成。
これをベースのイメージにして、SkyReelsでプロンプト「FPS-24, The girl is spinning around happily.」を使って４秒の動画生成。
起動オプションに「–novram」を付けてます。
モデルが25.6GBもあるので「–novram」を付けないとARC B580はすぐクラッシュします。
動画を生成中
外付けディスプレイ
相変わらずメインメモリの使用量すごいです。
グラフィックスカードの消費電力も200W近くまで上がっています。
あ、外付けディスプレイについてはここの記事を見てくださいね。
自分はAI絵師ではないので詰めが甘く、動画の出来が良くないのは勘弁してください。
一度生成するのに３６分もかかりますが、小さいモデルの方だと４０分を超えてきます。
BattlemageのVRAM大容量、24GBくらい？いやもっと多くても良いんですよ。
Intelさんには新GPUを期待してます。
今回は以上です。
追記
モデルファイル等がVRAMに収まるとどのくらいスピードが上がるのか？
動画生成AIでもモデルファイルがVRAMに収まる場合は生成速度はどうなるのか？
こちらの記事で紹介しています。
モデルの進化とVRAMの増量。どちらにも期待したいですね。
コメント