今のところ、Open interpreterとLlama3.1の組み合わせは?
公開 2024/07/30 10:11
最終更新
-
Llama3.1が賢いらしい。
というか、単なる知識レベルでは比較的小規模といわれるPhi3あたりでも私には勝てる気がしないですけどねぇ。それはそれとして。
いつものプロンプトを行うべくinterpreterを使用しようとしたところエラーが発生。ダメっぽい。
Open Interpreterのバージョン：Open Interpreter 0.3.4 Local III
Ollama: 0.3.0
interpreter -m ollama/llama3.1 -cw 8192
（Context Windowは適当です。llama3.1ですともっと大きいサイズでも大丈夫みたいですが、メモリを消費しますし、それほどの必要もないので。）
OllamaからLlama3.1にチャットを実行する範囲では、普通につかえました。
Llama3.1はOllamaのライブラリに登録されている8bを利用しています。
ただ、LM StudioのServer modeを使用すると普通に使えるんですね。
使っているのは以下：
< mradermacher/Meta-Llama-3.1-8B-Instruct-GGUF/Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf >
(使用できる場合、なるべくQ4_K_MかIQ4_XSを使っています。量子化に伴う劣化が少ないらしいので。)
LM Studioのバージョンは、0.2.29です。0.3が近くリリースされるそうなので、0.2系はここらで終わりかも。
で、Open Interpreterからの使い勝手は、優秀と思います。
いつもの：
カレントフォルダの"world_population.csv"を参照し、人口が最大の国名を一つ表示しなさい。
という処理についても回答までスムーズに行われました。
回答が英語になってしまうというのは、まあ、いつものことですけどねぇ。
受け答えが日本語に対応しないとの名目ではありますが、日本語で指示した内容はきちんと解釈してくれていますね。
Llama3.1ベースで日本語力を強化したモデルがすでにあるみたいですから、近いうちにそちらも試したいと思います。
というか、単なる知識レベルでは比較的小規模といわれるPhi3あたりでも私には勝てる気がしないですけどねぇ。それはそれとして。
いつものプロンプトを行うべくinterpreterを使用しようとしたところエラーが発生。ダメっぽい。
Open Interpreterのバージョン：Open Interpreter 0.3.4 Local III
Ollama: 0.3.0
interpreter -m ollama/llama3.1 -cw 8192
（Context Windowは適当です。llama3.1ですともっと大きいサイズでも大丈夫みたいですが、メモリを消費しますし、それほどの必要もないので。）
OllamaからLlama3.1にチャットを実行する範囲では、普通につかえました。
Llama3.1はOllamaのライブラリに登録されている8bを利用しています。
ただ、LM StudioのServer modeを使用すると普通に使えるんですね。
使っているのは以下：
< mradermacher/Meta-Llama-3.1-8B-Instruct-GGUF/Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf >
(使用できる場合、なるべくQ4_K_MかIQ4_XSを使っています。量子化に伴う劣化が少ないらしいので。)
LM Studioのバージョンは、0.2.29です。0.3が近くリリースされるそうなので、0.2系はここらで終わりかも。
で、Open Interpreterからの使い勝手は、優秀と思います。
いつもの：
カレントフォルダの"world_population.csv"を参照し、人口が最大の国名を一つ表示しなさい。
という処理についても回答までスムーズに行われました。
回答が英語になってしまうというのは、まあ、いつものことですけどねぇ。
受け答えが日本語に対応しないとの名目ではありますが、日本語で指示した内容はきちんと解釈してくれていますね。
Llama3.1ベースで日本語力を強化したモデルがすでにあるみたいですから、近いうちにそちらも試したいと思います。
