Open Interpreter続き。
公開 2023/09/14 15:31
最終更新
2023/10/10 08:27
同じエラーで対処していた方がおりましたので、ちょと前進。
Windows11でOpen InterpreterのLocalモデルを動かす方法
https://www.munenick.me/blog/open-interpreter-windows11
(結局のところ、Windowsマシンでllama-cpp-pythonをCUDAオプション付きで使えるようにできていませんけれども。使用モデルの形式がGGMLからGGUFに変わったタイミングでいろいろ変わってしまったんだろうとは思うんですが、わかりません。)
私はWindows10のマシンを使用していますので、Windows11だからエラーが出ているというわけではないんでしょうが、Build Tools for Visual Sudio 2022は入れていませんでした。(2019は入ってます。CUDAの環境をつくるときに入れたので。)
で、あらかじめllama-cpp-pythonをpipでインストールすることで利用できるようにはなったんですが、なかなかGPUを利用するように設定できなくて。
ちょっと考え直して、WSL2にubuntu linuxを入れてしまおうかと。
で、こちらもGPUを利用する方法をすったもんだした挙句に、利用できるようになりましたよ。
GPUが利用できるようになれば、速いですね。VRAMが8GBのQuadro M4000を使用しているのですが、13B/Smallなら何とか利用できるようです。
Windows11でOpen InterpreterのLocalモデルを動かす方法
https://www.munenick.me/blog/open-interpreter-windows11
(結局のところ、Windowsマシンでllama-cpp-pythonをCUDAオプション付きで使えるようにできていませんけれども。使用モデルの形式がGGMLからGGUFに変わったタイミングでいろいろ変わってしまったんだろうとは思うんですが、わかりません。)
私はWindows10のマシンを使用していますので、Windows11だからエラーが出ているというわけではないんでしょうが、Build Tools for Visual Sudio 2022は入れていませんでした。(2019は入ってます。CUDAの環境をつくるときに入れたので。)
で、あらかじめllama-cpp-pythonをpipでインストールすることで利用できるようにはなったんですが、なかなかGPUを利用するように設定できなくて。
ちょっと考え直して、WSL2にubuntu linuxを入れてしまおうかと。
で、こちらもGPUを利用する方法をすったもんだした挙句に、利用できるようになりましたよ。
GPUが利用できるようになれば、速いですね。VRAMが8GBのQuadro M4000を使用しているのですが、13B/Smallなら何とか利用できるようです。
