open interpreterがローカルLLMとしてMistral-7Bをデフォルトにした？
公開 2023/10/13 16:15
最終更新
-
open interpreterの新しいバージョンがリリースされたというので、ありがたくアップグレードしてみたら動かなくなりました。（ローカルLLMを選択した場合。）
また、ローカルLLMには、以前はllama2 7B/13B/34Bが選択できたのですが、現在はMistral 7B一択です。
この辺の変更が影響を及ぼしたんでしょうかね。
もともとLinux(WSL)環境でインストールしようとしても、GPUを選択しようとするとllama-cpp-pythonを別途インストールしないと利用できないなどローカルLLMを使用したいときにはフルオートで利用できるものでもなかったので、有識者の対応待ちでいいかなぁと。
もともとopen interpreterはllama2 7B/13Bあたりではなんとなくダメそうだという感じ。複雑な内容にしようとすると解決を図るたびに同じ処理を繰り返すようになるもので。
なので、GPT-4を利用できれば凄そうだとは思うものの、自分の環境で便利に使おうとするにはいまいち不足かなぁと。llama2 34B-Sなら、VRAM16Gの環境でも一応動くことは確認できたんですが、これもいまいちな感じなんですよねぇ．．．。
気長に待ちたいと思います。
また、ローカルLLMには、以前はllama2 7B/13B/34Bが選択できたのですが、現在はMistral 7B一択です。
この辺の変更が影響を及ぼしたんでしょうかね。
もともとLinux(WSL)環境でインストールしようとしても、GPUを選択しようとするとllama-cpp-pythonを別途インストールしないと利用できないなどローカルLLMを使用したいときにはフルオートで利用できるものでもなかったので、有識者の対応待ちでいいかなぁと。
もともとopen interpreterはllama2 7B/13Bあたりではなんとなくダメそうだという感じ。複雑な内容にしようとすると解決を図るたびに同じ処理を繰り返すようになるもので。
なので、GPT-4を利用できれば凄そうだとは思うものの、自分の環境で便利に使おうとするにはいまいち不足かなぁと。llama2 34B-Sなら、VRAM16Gの環境でも一応動くことは確認できたんですが、これもいまいちな感じなんですよねぇ．．．。
気長に待ちたいと思います。
