現状、ローカルLLMでOpen Interpreterを使うなら、Ollamaが楽かもしれない
公開 2024/04/03 14:21
最終更新 2024/04/04 09:25
単なるチャットで使うなら、LM Studioが使いやすいんですが、使えるmodelに制約があるもののOllamaのほうが使いやすいかもです。

ollama pull deepseek-coder
でモデルをダウンロードし、

ollama run deepseek-coder
でモデルを実行させる。

別のターミナル(コマンドプロンプト)から、
interpreter --model ollama/deepseek-coder
とやると実行できる。

Ollamaもcudaが利用できるようになっていれば、使ってくれるようだ。


サンプルプロンプトの"What time is it in Seattle?"を実行させると、何回目かには適切な回答が得られました。エラーメッセージが出れば、なんとか訂正をしながらも使えそうなコードに仕上げてくれます。
一度、ハマってしまうとなかなか同じエラーから抜け出せなくなりますけれども。

ただ、interpreterのオプションで-yはハマってしまうとただループするだけで無駄だから、あまり賢くないローカルLLMでは使わないほうがいいんじゃなかろうか。
コードを提示した後、"Would you like to run this code? (y/n)"に対して、問題がありそうなら"n"として、訂正内容を具体的に指示すれば、訂正版のコードを出力してくれる場合がある。

賢いLLMなら、エラーメッセージを適切に判断して修正してくれるんだろうが、そうでないなら人が部分的に手を入れることができるあたり、それはそれで賢いんじゃないかと思う。
最近の記事
llamafileって何だ?
落ち着いて考えてみたら、llamafileって何か知らなかった。 ggufとかggmlとかLLMの配布形式の一つかと思っていた。 Open In…
2024/04/05 10:40
現状、ローカルLLMでOpen Interpreterを使うなら、Ollamaが楽かもしれない
単なるチャットで使うなら、LM Studioが使いやすいんですが、使えるmodelに制約があるもののOllamaのほうが使いやすいかもです…
2024/04/03 14:21
Open Interpreterがうまく動かないのはパッケージ管理ができていないから、という疑惑(未解決)
Open Interpreterが0.2.4のままエラーがあっても放置されている状況なのは、開発者が適切にパッケージのバージョン管理をしてい…
2024/04/03 10:41
Windows11入れちゃいました。
第4世代のCore-i5(4460)、もちろんTPM2.0などないPCですが、Windows11を入れてしまいました。 メインストレージとして使って…
2024/03/27 09:47
LM StudioのMulti ModelってChatALLのローカルLLM版だねぇ。
いわゆるポップヒントでPlaygroundってあるから、意味不明な機能だなぁと思っていたら、バージョン0.2.17のトップ画面にMulti M…
2024/03/27 09:33
Open Interpreter 0.2.4 何が変わったのか?わかりません。
相変わらず、localでllamafileを使った処理はエラーで落ちる。 Ollamaを利用した方法は動く。 LM Studioを利用した方法は動…
2024/03/25 11:54
Open Interpreter 0.2.3になった。活発に更新されているが、迷走しているような気が。
前バージョンでは--localにすると、問答無用でPhi-2が採用されていた。 で、今回は以下の4つが選べるようになったようだ。 1.…
2024/03/22 08:49
Open Interpreter 0.2.2動くようになったけれども...
前回、Open Interpreterが動かなくなったって書きましたが、今日、upgradeしたら動きました。 けど、--localを指定するとPhi-2…
2024/03/19 10:19
Open interpreterってUpgradeのたびに困る
Open InterpreterってUpgradeのたびに動かなくなる→動くを繰り返している感じ。 正直なところ、困ったちゃんなプロジェクトだ…
2024/03/12 17:50
Geminiって信用できない?
Geminiの失態から、Google(Alphabet)の株価が急落したって話をみて、まあ、イメージの問題なんだろうけれどもAIにどれだけ期待…
2024/02/27 13:53
会社の仕出し弁当の契約先が変わったことで納得いかなくて...
いわゆる愚痴。決定したことなので、今更どうこういっても変わらないし。 うちの会社で契約している仕出し弁当を入れてくれ…
2024/02/05 11:20
やっぱりソフトバンクっておかしいと思うわ
近所のデパートでソフトバンクのキャンペーンをやっていて。 で、売りがiPhone15を月々1円で利用できるというお話。 ネット…
2024/01/29 08:11
この憤りは理不尽であることはわかっているんだが...
Dart(Flutter)ではUIのデザインが面倒であるということが分かったので、いったん保留にしてKotlinでAndroidアプリの作り方を…
2024/01/26 11:39
油断しているんでしょうかねぇ。。。
コロナの警戒が続いていたころ、たまに感染者は出たものの、大して業務自体に影響が出ていませんでした。 なのに、今になっ…
2024/01/18 10:13
パソコンが起動不能からの復旧で思ったこと。いわゆる愚痴。
会社で使用しているメイン機が起動できなくなり、Boot領域の修復にほぼ丸一日つぶれてしまいました。 結果として、Cドライブの…
2024/01/16 13:15
またTPMが行方不明になりましたが、回復したので一応メモ
いつの間にかTPMが見当たらなくなる問題が再発しました。(2023年の年末 25日ごろ) これって検索しても同様の症状がみられな…
2024/01/06 15:37
LM Studioを利用してOpen Interpreterが使えるようになりましたが
正直、実用レベルとは言えないなぁ...と。 以前、CodeLlamaしか使えなかったときにも思ったんですが、やりたいことをきち…
2023/12/26 11:38
Open Interpreter やっと試せました。
Open Interpreter、簡単に試せるという記事がいくつもあって、それらがだいたいmacというお話。 Windowsでは使えたという人は…
2023/12/25 16:12
ChatALLネタとしては面白いが
ChatALLというものを使ってみましたが... ものとしては、以下の記事にあるように、一回の質問で複数のAIから回答をもらうと…
2023/12/13 08:06
AIはホットな話題なので、尻馬にのって騒いでいるだけなら楽しいが
ChatGPT登場以降、その手のAIの話題が尽きないが、部分的にGPT-4を超えるとかいうネタが増えてきて振り回されてんなぁと思った…
2023/12/11 09:08
もっと見る
タグ
AI(14)
IT(8)
愚痴(5)
日記(3)
RPA(2)
アニメ(2)
ChatGPTで遊ぶ(1)
Windows11(1)
自動処理(1)
雑感(1)
もっと見る