Open Interpreterというものを使ってみたいと考え、使い方を紹介してくれているサイトを参考にインストールを試していたのだけれども、ChatGPT-4を利用するのは嫌（というか、お金が惜しい）なので、Metaから提供されているLlamaを使う方法を採用。

結果、どうやってもうまくいかないなぁ、と。

とりあえず、Llamaというものを使ってみようということで、llama.cppをダウンロード、あ、これはコンパイルしなきゃダメか。ということで、makeしてみました。

参考にしているサイト通り実行してみるも、モデルを読み込めない。(モデルはHugging Faceからダウンロードしてきたもの。"llama-2-7b-chat.ggmlv3.q4_K_M.bin")
一度も使ったことがないと何が悪くてダメなのかわからないのがつらいですね。
結局のところ、今のllama.cppはggml形式のモデルは使えなくて、gguf形式に変換する必要があるとのこと。変換ツールもllama.cppについていますし、Hugging Faceにgguf形式のモデルも掲載されています。
lliama.cppでは8月以降、仕様変更が実施されたようで、参考にした７月半ばの記事ではカバーされていなかったというお話。この業界、わずかなタイミングの差で状況が変わりますから、面倒ですね。
（本業だったら、髪をかきむしるようなお話。いや、私程度だったらLlamaがどうのとかいう仕事はまわってこないか。業界から足を洗って１５年もたっているので、仮定のネタにもなりません。）

さて、原因は分かったところでいくつかサンプルを試してみるに最初の一回目がとても遅いのと、二回目以降も遅いのが気になりました。
一回目の遅い理由は、モデルを読み込むのに時間がかかっているんだなとは思います。モデル(ggufファイル)だけでも5GBとかありますからねぇ。HDDにおいてあるので、やむなしかなと。
で、二回目以降というのは一回目ほど遅くはないんですが、どうもGPUを使っていないような気が。

深く考えずmakeするとGPUを使わないかたちになるんですね。

落ち着いてcuBLASを利用するようにmake仕直したら、GPUを使うようになりましたが劇的に変わったという感じにはなりませんでした。数割増しくらい？こんなもんなんでしょうかね。
CPU負荷は気持ち軽くなったかも。

さて、llamaについて少しは理解したところで、Open Interpreterを．．．やっぱりよくわかりません。
でも、便利そうなんですよねぇ。もうちょっと頑張ってみるか。