LM StudioのMulti ModelってChatALLのローカルLLM版だねぇ。
公開 2024/03/27 09:33
最終更新 2024/03/27 09:42
いわゆるポップヒントでPlaygroundってあるから、意味不明な機能だなぁと思っていたら、バージョン0.2.17のトップ画面にMulti Modelって書いてあった。
Playgroundっていう表示が間違っているんだろうけれども。

Multi Modelっていうことなら、なんとなくわかる。
要は複数のモデルをロードしておいて、同じプロンプトに対して回答させるもの。
ChatALLのローカルLLM版ってわけですな。
ChatALLはネット上で提供されているサービスに直接アクセルするから、ローカルPCの性能に左右されないのがメリットだが、ローカルで使用できる軽量LLMに適用できないからなぁ。

Send Prompt to models ont-by-oneというチェックがプロンプト入力ボックスの下にあって、各モデルに順次プロンプトを送信して回答を待つようにするか、同時に送信して同時に回答を得るかも選べる。

軽量モデルなら、GPUのVRAMに余裕があれば2~3個ロードできるし、メモリのバランスをいじれば、ちょっと重めのモデルでも同時に使用することはできる。(この場合、メインメモリを圧迫するわけだが。)
例えば、RakutenAI-7bとGemma-7bを同時にロードしたらVRAM Usageは10GBくらい。
(ほかのモデルをロードするなら、どっちかをEjectしてくれとでた。)
RakutenAI+Gemma-2B+Elyza-7Bは同時に使えた。

同時にどんな回答が得られるかを見るだけで、大した用途はないんだけれども。
ローカルで使用するLLMって、Context Windowの問題か、連続して質問をしていくと狂ったように変な回答を連発してくるから、安定しているとは言えないんだけれども、設定なのか使い方なのか、コツってあるのかね?

あと、この画面でLocal Serverという機能があるんだけれども、Multi ModelでAPI処理が動くのかな。
あとで試したい。

----
今日はOpen Interpreterは更新されていません。最新は0.2.4です。
--localでllamafileがエラーとなり利用できません。Ollama, LM Studioは使えます。
(Janも使えると思いますが、LM Studioの出来が良いので、興味ありません。Ollamaは手軽なので時々使います。)

0.2.2ではllamafile(Phi-2)のみの対応でしたが、そこそこ動いていましたので、デグレってやつですかねぇ。Phi-2以外に対応させる流れで問題が起こっているように思いますけれども。
最近の記事
llamafileって何だ?
落ち着いて考えてみたら、llamafileって何か知らなかった。 ggufとかggmlとかLLMの配布形式の一つかと思っていた。 Open In…
2024/04/05 10:40
現状、ローカルLLMでOpen Interpreterを使うなら、Ollamaが楽かもしれない
単なるチャットで使うなら、LM Studioが使いやすいんですが、使えるmodelに制約があるもののOllamaのほうが使いやすいかもです…
2024/04/03 14:21
Open Interpreterがうまく動かないのはパッケージ管理ができていないから、という疑惑(未解決)
Open Interpreterが0.2.4のままエラーがあっても放置されている状況なのは、開発者が適切にパッケージのバージョン管理をしてい…
2024/04/03 10:41
Windows11入れちゃいました。
第4世代のCore-i5(4460)、もちろんTPM2.0などないPCですが、Windows11を入れてしまいました。 メインストレージとして使って…
2024/03/27 09:47
LM StudioのMulti ModelってChatALLのローカルLLM版だねぇ。
いわゆるポップヒントでPlaygroundってあるから、意味不明な機能だなぁと思っていたら、バージョン0.2.17のトップ画面にMulti M…
2024/03/27 09:33
Open Interpreter 0.2.4 何が変わったのか?わかりません。
相変わらず、localでllamafileを使った処理はエラーで落ちる。 Ollamaを利用した方法は動く。 LM Studioを利用した方法は動…
2024/03/25 11:54
Open Interpreter 0.2.3になった。活発に更新されているが、迷走しているような気が。
前バージョンでは--localにすると、問答無用でPhi-2が採用されていた。 で、今回は以下の4つが選べるようになったようだ。 1.…
2024/03/22 08:49
Open Interpreter 0.2.2動くようになったけれども...
前回、Open Interpreterが動かなくなったって書きましたが、今日、upgradeしたら動きました。 けど、--localを指定するとPhi-2…
2024/03/19 10:19
Open interpreterってUpgradeのたびに困る
Open InterpreterってUpgradeのたびに動かなくなる→動くを繰り返している感じ。 正直なところ、困ったちゃんなプロジェクトだ…
2024/03/12 17:50
Geminiって信用できない?
Geminiの失態から、Google(Alphabet)の株価が急落したって話をみて、まあ、イメージの問題なんだろうけれどもAIにどれだけ期待…
2024/02/27 13:53
会社の仕出し弁当の契約先が変わったことで納得いかなくて...
いわゆる愚痴。決定したことなので、今更どうこういっても変わらないし。 うちの会社で契約している仕出し弁当を入れてくれ…
2024/02/05 11:20
やっぱりソフトバンクっておかしいと思うわ
近所のデパートでソフトバンクのキャンペーンをやっていて。 で、売りがiPhone15を月々1円で利用できるというお話。 ネット…
2024/01/29 08:11
この憤りは理不尽であることはわかっているんだが...
Dart(Flutter)ではUIのデザインが面倒であるということが分かったので、いったん保留にしてKotlinでAndroidアプリの作り方を…
2024/01/26 11:39
油断しているんでしょうかねぇ。。。
コロナの警戒が続いていたころ、たまに感染者は出たものの、大して業務自体に影響が出ていませんでした。 なのに、今になっ…
2024/01/18 10:13
パソコンが起動不能からの復旧で思ったこと。いわゆる愚痴。
会社で使用しているメイン機が起動できなくなり、Boot領域の修復にほぼ丸一日つぶれてしまいました。 結果として、Cドライブの…
2024/01/16 13:15
またTPMが行方不明になりましたが、回復したので一応メモ
いつの間にかTPMが見当たらなくなる問題が再発しました。(2023年の年末 25日ごろ) これって検索しても同様の症状がみられな…
2024/01/06 15:37
LM Studioを利用してOpen Interpreterが使えるようになりましたが
正直、実用レベルとは言えないなぁ...と。 以前、CodeLlamaしか使えなかったときにも思ったんですが、やりたいことをきち…
2023/12/26 11:38
Open Interpreter やっと試せました。
Open Interpreter、簡単に試せるという記事がいくつもあって、それらがだいたいmacというお話。 Windowsでは使えたという人は…
2023/12/25 16:12
ChatALLネタとしては面白いが
ChatALLというものを使ってみましたが... ものとしては、以下の記事にあるように、一回の質問で複数のAIから回答をもらうと…
2023/12/13 08:06
AIはホットな話題なので、尻馬にのって騒いでいるだけなら楽しいが
ChatGPT登場以降、その手のAIの話題が尽きないが、部分的にGPT-4を超えるとかいうネタが増えてきて振り回されてんなぁと思った…
2023/12/11 09:08
もっと見る
タグ
AI(14)
IT(8)
愚痴(5)
日記(3)
RPA(2)
アニメ(2)
ChatGPTで遊ぶ(1)
Windows11(1)
自動処理(1)
雑感(1)
もっと見る