Open Interpreter更新がないのとローカルLLM界隈、パッとしないので。
公開 2024/12/11 15:48
最終更新
2024/12/11 16:19
きちんとウォッチしていれば世の中は常に動いているんですけれども。
Ollamaが順調にアップデートされて0.5.1になっています。
あと、Llama3.3が出ましたけれど、70Bだとちょっと私の環境で試すには重いので。
LLMを動かすためにマシンのリソースの過半を使うというのは間違っていると思います。メインメモリを128GBとか積んだPCはなかなか要求できるものではないので。
(中古でいいから64GBのワークステーションをとかいうなら通るかも。私の仕事にはオーバースペックですのでやりませんけれど。)
ローカルLLMというのは学習した時点までの知識に縛られるから、同じ能力でもWEEKLYとかの頻度で知識を更新したバージョンがあればなぁとか思ったりするんですが、さすがに図々しいかなぁとは思うんです。
最新の知識とかいっても、倫理的、思想的にまずいものを除外したり、著作権などで訴訟案件にならないように取り込む内容にも気を使ったりと、公開することを考えるとむしろ問題ないことを検証するほうに時間がかかりそうですしね。
今の私にとってはLlama3.2(3B)で十分。大抵の作業にはWizardLM2でも足りるみたいな状況ではあるので、頻度はそれなりでも良いとは思います。
Ollamaが順調にアップデートされて0.5.1になっています。
あと、Llama3.3が出ましたけれど、70Bだとちょっと私の環境で試すには重いので。
LLMを動かすためにマシンのリソースの過半を使うというのは間違っていると思います。メインメモリを128GBとか積んだPCはなかなか要求できるものではないので。
(中古でいいから64GBのワークステーションをとかいうなら通るかも。私の仕事にはオーバースペックですのでやりませんけれど。)
ローカルLLMというのは学習した時点までの知識に縛られるから、同じ能力でもWEEKLYとかの頻度で知識を更新したバージョンがあればなぁとか思ったりするんですが、さすがに図々しいかなぁとは思うんです。
最新の知識とかいっても、倫理的、思想的にまずいものを除外したり、著作権などで訴訟案件にならないように取り込む内容にも気を使ったりと、公開することを考えるとむしろ問題ないことを検証するほうに時間がかかりそうですしね。
今の私にとってはLlama3.2(3B)で十分。大抵の作業にはWizardLM2でも足りるみたいな状況ではあるので、頻度はそれなりでも良いとは思います。