gpt-ossのメモリ要件って
公開 2025/09/03 16:53
最終更新
-
OpenAIのオフラインで使えるAIモデル「gpt-oss」を試して見えたこと：（ギズモードジャパン）
https://www.msn.com/ja-jp/technology/artificial-intelligence/openai%E3%81%AE%E3%82%AA%E3%83%95%E3%83%A9%E3%82%A4%E3%83%B3%E3%81%A7%E4%BD%BF%E3%81%88%E3%82%8Bai%E3%83%A2%E3%83%87%E3%83%AB-gpt-oss-%E3%82%92%E8%A9%A6%E3%81%97%E3%81%A6%E8%A6%8B%E3%81%88%E3%81%9F%E3%81%93%E3%81%A8/ar-AA1LLtn3?ocid=BingNewsSerp
この記事を読んでいて思ったんだけど、この筆者、メモリ要件を勘違いしているなぁと。GPUを使う場合、VRAMが16GBであって、macの場合、これがどうなるのかわからんけれども、16GBまたは18GBのメインメモリ*だけ*では足りないだろうということは、ローカルLLMを使い慣れてなくてもわかるんじゃないかなぁ？
gpt-ossって12GB以上あるし。これを動かすにはOSとOllamaなりLM studioなり、それなりの実行環境がいる。
M3 macといえど、32GBくらいはないと実用的でないと思うんだが。(18GBという構成があるということは、20GBとか24GBとかの構成もあったりするのかね？それなら、24GBあれば割と動くんじゃないのかね。)
ちなみに、Xeon W-2125、メインメモリ32GB+VRAM16GB(Quadro P5000)の環境なら十分実用的なスピードで使える。（体感速度だけれども。秒間トークン数とかは記録をとってない。）
ついでに、Core i7-9700、メインメモリ48GB+VRAM6GB(GeForce RTX3050)でも不満なく実行できた。
Core i5-4460(うろおぼえ、第4世代なのは確か)、メインメモリ16GB+VRAM8GB(RTX2060 Super)は遅くて実用に耐えないと感じた。
https://www.msn.com/ja-jp/technology/artificial-intelligence/openai%E3%81%AE%E3%82%AA%E3%83%95%E3%83%A9%E3%82%A4%E3%83%B3%E3%81%A7%E4%BD%BF%E3%81%88%E3%82%8Bai%E3%83%A2%E3%83%87%E3%83%AB-gpt-oss-%E3%82%92%E8%A9%A6%E3%81%97%E3%81%A6%E8%A6%8B%E3%81%88%E3%81%9F%E3%81%93%E3%81%A8/ar-AA1LLtn3?ocid=BingNewsSerp
この記事を読んでいて思ったんだけど、この筆者、メモリ要件を勘違いしているなぁと。GPUを使う場合、VRAMが16GBであって、macの場合、これがどうなるのかわからんけれども、16GBまたは18GBのメインメモリ*だけ*では足りないだろうということは、ローカルLLMを使い慣れてなくてもわかるんじゃないかなぁ？
gpt-ossって12GB以上あるし。これを動かすにはOSとOllamaなりLM studioなり、それなりの実行環境がいる。
M3 macといえど、32GBくらいはないと実用的でないと思うんだが。(18GBという構成があるということは、20GBとか24GBとかの構成もあったりするのかね？それなら、24GBあれば割と動くんじゃないのかね。)
ちなみに、Xeon W-2125、メインメモリ32GB+VRAM16GB(Quadro P5000)の環境なら十分実用的なスピードで使える。（体感速度だけれども。秒間トークン数とかは記録をとってない。）
ついでに、Core i7-9700、メインメモリ48GB+VRAM6GB(GeForce RTX3050)でも不満なく実行できた。
Core i5-4460(うろおぼえ、第4世代なのは確か)、メインメモリ16GB+VRAM8GB(RTX2060 Super)は遅くて実用に耐えないと感じた。
