Intel Arcで最新のvLLMを動かそう

#!/bin/bash

#ホームディレクトリに「installフォルダ」を作り、その中に「vLLM_mainフォルダ」を作ります。
mkdir -p ~/install/vLLM_main
cd ~/install/vLLM_main

#vllm-xpu-kernelsをダウンロード
git clone https://github.com/vllm-project/vllm-xpu-kernels.git

#CMakeLists.txtの変更箇所（１）
set(SYCL_SUPPORTED_ARCHS "intel_gpu_pvc;intel_gpu_bmg_g21;intel_gpu_bmg_g31")
この行を以下に書き換え
set(SYCL_SUPPORTED_ARCHS "intel_gpu_bmg_g21")

# CMakeLists.txtの変更箇所（２）
set(AOT_DEVICES "pvc,bmg-g21-a0,bmg-g31-a0")
set(XE2_AOT_DEVICES "pvc,bmg-g21-a0,bmg-g31-a0")
以下に書き換え
# Arc B60用のみ残す
set(AOT_DEVICES "bmg-g21-a0")
set(XE2_AOT_DEVICES "bmg-g21-a0")

cd ~/install/vLLM_main/vllm-xpu-kernels

#vllm-xpu-kernelsをビルドするために「oneAPIベースツールキット」を使えるようにします。
source /opt/intel/oneapi/setvars.sh

#仮想環境を用意します。
uv venv --python 3.12 --seed
source .venv/bin/activate

#vllm-xpu-kernelsをビルドするための依存環境をインストール。
pip install -r requirements.txt

#vllm-xpu-kernelsをビルドし、「distフォルダ」にwhlファイルを出力する。
export MAX_JOBS=8
time pip wheel -v --no-build-isolation --wheel-dir=dist . 2>&1 | tee vllm-xpu-build.log

cd ~/install/vLLM_main

# vLLMのダウンロード
git clone https://github.com/vllm-project/vllm.git
cd vllm

#仮想環境を構築
uv venv --python 3.12 --seed
source .venv/bin/activate

#依存環境をインストール
pip install -v -r requirements/xpu.txt

# 先程作った「whlファイル」を指定してインストール
pip install ../vllm-xpu-kernels/dist/vllm_xpu_kernels-*.whl

# 6. vLLMをIntel GPU用にビルド
export VLLM_TARGET_DEVICE=xpu
pip install --no-build-isolation --no-deps .

vllm serve Qwen/Qwen3-8B --dtype=auto --enforce-eager --port 8000 --host 0.0.0.0 --trust-remote-code --gpu-memory-util=0.3 --no-enable-prefix-caching --max-num-batched-tokens=4096 --disable-log-requests --max-model-len=4096 --block-size 64 -tp 1

import gradio as gr
import time
from openai import OpenAI

# ここを実際のモデル名に変更
#MODEL_NAME = "openai/gpt-oss-20b"
MODEL_NAME = "Qwen/Qwen3-8B"

client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy")

def chat(message, history):
    start = time.time()
    
    response = client.chat.completions.create(
        model=MODEL_NAME,
        messages=[{"role": "user", "content": message}],
        stream=True,
        stream_options={"include_usage": True}
    )
    
    reply = ""
    tokens = 0
    
    for chunk in response:
        if chunk.usage:
            tokens = chunk.usage.completion_tokens
        
        if chunk.choices and chunk.choices[0].delta.content:
            reply += chunk.choices[0].delta.content
            elapsed = time.time() - start
            tps = tokens / elapsed if tokens > 0 else 0
            
            if tokens > 0:
                yield f"{reply}\n\n---\n📊 {tokens} tokens in {elapsed:.2f}s ({tps:.1f} tok/s)"
            else:
                yield reply
    
    elapsed = time.time() - start
    tps = tokens / elapsed if tokens > 0 else 0
    yield f"{reply}\n\n---\n📊 {tokens} tokens in {elapsed:.2f}s ({tps:.1f} tok/s)"

# カスタムCSSでチャットエリアを広げる
custom_css = """
.chatbot {
    height: 70vh !important;
    max-height: 800px !important;
}
"""

with gr.Blocks() as demo:
    gr.ChatInterface(
        chat,
        title="vLLM Chat",
        chatbot=gr.Chatbot(height=600)
    )

demo.launch(css=custom_css)

uv venv --python 3.12 --seed
source .venv/bin/activate

pip install gradio openai

python ./chat.py

#修正前
if activation == "silu":
    torch.ops._C.silu_and_mul(act_output, gemm1_output)
elif activation == "gelu":
    torch.ops._C.gelu_and_mul(act_output, gemm1_output)
elif activation == "swigluoai":
    torch.ops._C.swigluoai_and_mul(act_output, gemm1_output, 1.702, 7.0)
else:
    raise ValueError(f"Unsupported FusedMoe activation: {activation}.")

#修正後
# 入力を文字列化して小文字にする（これで "MoEActivation.SWIGLUOAI" も "swigluoai" も扱えます）
act_str = str(activation).lower()

if "silu" in act_str:
    torch.ops._C.silu_and_mul(act_output, gemm1_output)
elif "gelu" in act_str:
    torch.ops._C.gelu_and_mul(act_output, gemm1_output)
elif "swiglu" in act_str:
    # swigluoai または swiglu が含まれていればこれを実行
    torch.ops._C.swigluoai_and_mul(act_output, gemm1_output, 1.702, 7.0)
else:
    raise ValueError(f"Unsupported FusedMoe activation: {activation}.")

vllm serve openai/gpt-oss-20b --dtype=bfloat16 --enforce-eager --port 8000 --host 0.0.0.0 --trust-remote-code --gpu-memory-util=0.3 --no-enable-prefix-caching --max-num-batched-tokens=4096 --disable-log-requests --max-model-len=4096 --block-size 64 -tp 1