VSCodeからGithub CopilotみたいなことをローカルLLMを使ってやりたい
公開 2024/05/24 16:15
最終更新
2024/05/24 17:01
ここのところ、ローカルLLM(というかSLM?)が使いやすくなって、結構貧弱な環境でも使えるものになってきているのを実感してきたもので、Github Copilotの真似事もできるのでは？と思って調べてみた。
VSCodeにcontinueというプラグインを使えば行けそうということはわかった。
LLMの実行環境はOllamaを使う。
Ollamaが常駐している環境であれば、拡張機能から"Continue - Llama 3, GPT-4, and more"というものをインストールする。
Continueが有効化されるとサイドバーにContinueが追加されるので、それを開くとContinueのペインが開くのでその下部にあるセレクトボックスから使用したいLLMを選ぶ。
場合によっては、config.jsonを編集する必要があるかもしれない。
コードを選択（ハイライト）した状態から、Ctrl+Lを押せばContinueペインに表示され、その内容に対して問い合わせ（chat）ができる。config.jsonが適切に設定されていれば、Ctrl+Iでコード補完、Shift+Ctrl+Rでエラーメッセージの説明などが得られる。
コーディング中にGPUを使うことはあまりないですし、Ollama+WizardLM2ならVRAM5Gくらいあれば動きますから、プログラミングのコンパニオンとして動かしておくのも悪くないかなぁと。
Llama3-8bは優秀なのですが、すぐに英語になってくるので少々使いにくいです。
"starcoder2:3b"はチェックしていませんでしたが、やたらとおしゃべりな感じですね。どうでも良い内容も膨らませるので、Pythonの1行を説明させてもContinueペインがびっしり埋まります。
VSCodeにcontinueというプラグインを使えば行けそうということはわかった。
LLMの実行環境はOllamaを使う。
Ollamaが常駐している環境であれば、拡張機能から"Continue - Llama 3, GPT-4, and more"というものをインストールする。
Continueが有効化されるとサイドバーにContinueが追加されるので、それを開くとContinueのペインが開くのでその下部にあるセレクトボックスから使用したいLLMを選ぶ。
場合によっては、config.jsonを編集する必要があるかもしれない。
コードを選択（ハイライト）した状態から、Ctrl+Lを押せばContinueペインに表示され、その内容に対して問い合わせ（chat）ができる。config.jsonが適切に設定されていれば、Ctrl+Iでコード補完、Shift+Ctrl+Rでエラーメッセージの説明などが得られる。
コーディング中にGPUを使うことはあまりないですし、Ollama+WizardLM2ならVRAM5Gくらいあれば動きますから、プログラミングのコンパニオンとして動かしておくのも悪くないかなぁと。
Llama3-8bは優秀なのですが、すぐに英語になってくるので少々使いにくいです。
"starcoder2:3b"はチェックしていませんでしたが、やたらとおしゃべりな感じですね。どうでも良い内容も膨らませるので、Pythonの1行を説明させてもContinueペインがびっしり埋まります。
