たくさんのLLM(というかVRAM16GBまでで試せる範囲のSLM)をダウンロードしてきました。量子化のおかげでRTX4090とかを使わなくてもそこそこ動く環境が得られます。
（プロとしてAIを利用することを宣言できるのであれば、最新のGPUを買ってもらうんですがね。LLMの動作原理も理解できないような立場ではちょっとね。）

Open Interpreterを利用して、お題を解く様子を確認して見た。
お題は「カレントフォルダの"world_population.csv"を参照し、人口が最大の国名を一つ表示しなさい。」

ここで"world_population.csv"は国連のが公開しているサイトから持ってきたファイル。
( https://population.un.org/wpp/Download/Standard/CSV/ )

2023年10月ごろにダウンロードしてきたので、2022年のデータが最新。

傾向としては、PythonでCSVファイルを読み取って、pandasのDataFrameに入れるところまでは大抵うまくいくんだけれども、人口というところで、"Population"を取得しようとして失敗、そして"Country"を取得しようとして失敗というのが大方のパターン。

日本語の解釈がいまいちなせいで、プログラムを作成しようとしないのは論外として、ハマっちゃった後のリカバリーがうまくないのも多い。ただ、LLMによってはコードの修正を受け入れるものと受け入れないものがあるようで、ここでも使い勝手が相当変わる。

個人的なお気に入りは"WizardLM2"というのは変わらない。LM StudioをサーバーモードにしてOpen Interpreterを使用すると、応答がほぼ英語になってしまうのが残念だけれども、修正は素直に受け付けてくれる。（選択しているモデルの量子化の程度にもよるのかも。）

WizardLM2を常用するようになって、自分自身Open Interpreterの利用方法が落ち着いたのかも、それで安定したと感じたとか？実際、他のLLMでは期待した形に収束しなくてイライラさせられることも多い。

このような実験にはLM Studioのサーバーモードが便利。

意外とElyzaはうまい感じに処理を進めてくれないので、助手として使うには弱いかなぁとか。Llama系は全般的にOpen Interpreterと相性が良いとは言えない気がする。
Codestralは印象が良かったので、Mistral系はいけそうか？
試してみたら"mistral-7b-instruct-v0.2.Q4_K_S.gguf"は賢かった。
自らDataFrameのcolumnsを調べて、Countryっぽい列を見つけてきた。("Country/Territory"が正解。)

Llama関係で、使ってみて印象が良かったのは、llama-3-Stheno-Mahou-8B-Q4_K_M-imat.gguf．．．あ～、ロールプレイLLM？なんらかのキャラクターを模倣したLLMらしいですけど、よくわかりません。
知識はあっても、それを活用する人格みたいなものによってはうまく使えたり使えなかったりということでしょうかね。