llama-cpp-python

以前この記事で、ggufファイルをUbuntuで展開するのは無理だったと書きました。このときは、ggufをメインメモリに展開しxpuで推論するという処理を、ソースコードを変更して「--novram」を実現していたわけですが、このたびxpu（...