Open Interpreter 0.2.3になった。活発に更新されているが、迷走しているような気が。
公開 2024/03/22 08:49
最終更新
2024/03/22 11:09
前バージョンでは--localにすると、問答無用でPhi-2が採用されていた。
で、今回は以下の4つが選べるようになったようだ。
1. Llamafile
2. Ollama
3. LM Studio
4. Jan
Llamafileを選ぶと、既にダウンロード済みのphi-2.Q4_K_M.llamafile、または以下からダウンロードしたいファイルを選べと出てくる。
TinyLlama-1.1B (0.76GB)
Rocket-3B (1.89GB)
Phi-2 (1.96GB)
LLaVA 1.5 (3.93GB)
Mistral-7B-Instruct (5.15GB)
WizardCoder-Python-13B (7.33GB)
WIzardCoder-Python-34B (22.23G)
Mixtral-8x7B-Instruct (30.03B)
とりあえず、LLaVa 1.5を選んでみた。Quadro P5000/VRAMは16GB (15GB程度はフリーの状態）なので、まあ動くだろう。CUDAは12.1を有効化している。(現行Pytorchの要求に合わせたんだっけかな。)
・・・
何を質問してもエラーを吐いて落ちるようになった。
改めて、コマンドプロンプトを起動しなおして、phi-2を選んでみるもエラーで落ちる。
まあ、Windowsしかも非英語圏は主要なターゲットではないのでしょうし？
Open Interpreterではよくあることですな。
(0.2.2ではphi-2ベースとはいえ、うまく動いたので期待していたのですけれども。）
Ollamaは使えるようになっていないので、エラーで落ちる。これは後で試すことにしよう。
LM Studioを選択した場合、"--api_base http://localhost:1234/v1"というようなオプションをつけていなくても自動で待機してくれるようだ。これは改善というほどではないが、まあ良しとしよう。普通に利用できた。
最後のJanってなんだ？ https://jan.ai/
LM Studioみたいなものか。試してみたが、うまくいかなかった。LM Studioが使えるから、こっちはいらないなぁ。
結論。いろいろ便利にしようと精力的に開発を続けてくれているのはわかるが、方向性がいまいち間違っているんじゃないなぁ。0.2.2とLM Studioの組み合わせで十分だと思う。
ところで、pythonプログラムを出力してはくれるんですが、実行しなくなりました？
Open Interpreter Desktop Appのほうで、Sandboxかなんか用意してくれるんですかね？
もともとのこの手のツールって、必要に応じてpackageをインストールしたり、プログラムを実行したりと不安定なAIに任せるには怖いプログラムではありますので。
何をやらかすのか、怖いもの見たさで実行してきた部分はありますが、環境が壊れても構わないところでしか実行できませんよね。
で、今回は以下の4つが選べるようになったようだ。
1. Llamafile
2. Ollama
3. LM Studio
4. Jan
Llamafileを選ぶと、既にダウンロード済みのphi-2.Q4_K_M.llamafile、または以下からダウンロードしたいファイルを選べと出てくる。
TinyLlama-1.1B (0.76GB)
Rocket-3B (1.89GB)
Phi-2 (1.96GB)
LLaVA 1.5 (3.93GB)
Mistral-7B-Instruct (5.15GB)
WizardCoder-Python-13B (7.33GB)
WIzardCoder-Python-34B (22.23G)
Mixtral-8x7B-Instruct (30.03B)
とりあえず、LLaVa 1.5を選んでみた。Quadro P5000/VRAMは16GB (15GB程度はフリーの状態）なので、まあ動くだろう。CUDAは12.1を有効化している。(現行Pytorchの要求に合わせたんだっけかな。)
・・・
何を質問してもエラーを吐いて落ちるようになった。
改めて、コマンドプロンプトを起動しなおして、phi-2を選んでみるもエラーで落ちる。
まあ、Windowsしかも非英語圏は主要なターゲットではないのでしょうし？
Open Interpreterではよくあることですな。
(0.2.2ではphi-2ベースとはいえ、うまく動いたので期待していたのですけれども。）
Ollamaは使えるようになっていないので、エラーで落ちる。これは後で試すことにしよう。
LM Studioを選択した場合、"--api_base http://localhost:1234/v1"というようなオプションをつけていなくても自動で待機してくれるようだ。これは改善というほどではないが、まあ良しとしよう。普通に利用できた。
最後のJanってなんだ？ https://jan.ai/
LM Studioみたいなものか。試してみたが、うまくいかなかった。LM Studioが使えるから、こっちはいらないなぁ。
結論。いろいろ便利にしようと精力的に開発を続けてくれているのはわかるが、方向性がいまいち間違っているんじゃないなぁ。0.2.2とLM Studioの組み合わせで十分だと思う。
ところで、pythonプログラムを出力してはくれるんですが、実行しなくなりました？
Open Interpreter Desktop Appのほうで、Sandboxかなんか用意してくれるんですかね？
もともとのこの手のツールって、必要に応じてpackageをインストールしたり、プログラムを実行したりと不安定なAIに任せるには怖いプログラムではありますので。
何をやらかすのか、怖いもの見たさで実行してきた部分はありますが、環境が壊れても構わないところでしか実行できませんよね。
