Phi4が出たらしいけど、今のところ大きめのモデルでダメだなぁ
公開 2024/12/16 10:53
最終更新
2025/01/09 14:05
MicrosoftのAIモデル「Phi4」が出たみたいですけれども。
Hugging Faceに上がっている量子化モデル(Q4_K_Mとか)でも9GB前後。
Phiシリーズが出たときのコンセプトが小さいけど高性能であることだったと思えば、ちょっとこれはないなぁと。
パラメータ数が140億ということは、14bというわけなので、1B~8B程度のものばかり試している立場からすれば大きいと感じるのは当然で、14Bとしては小さいと言えるのかもしれない。実際、試したとする記事を見れば、コンパクトで高性能との評価は揺るがない様子。
8Bクラスに落としたモデルなら日常使いのお供になるんだがなぁ。
3Bとかは望まないにしろ。
あと、商用利用不可(Microsoft Research License Agreementの場合。HuggingFaceに上がった時点ではMITライセンスらしいので、商用可。)というので、これを使った展開というのは考えにくいのがネックだなぁ。Llama3とかそれをベースにしたELYZAとかでなんとかなる話でもあるし。
Hugging Faceに上がっている量子化モデル(Q4_K_Mとか)でも9GB前後。
Phiシリーズが出たときのコンセプトが小さいけど高性能であることだったと思えば、ちょっとこれはないなぁと。
パラメータ数が140億ということは、14bというわけなので、1B~8B程度のものばかり試している立場からすれば大きいと感じるのは当然で、14Bとしては小さいと言えるのかもしれない。実際、試したとする記事を見れば、コンパクトで高性能との評価は揺るがない様子。
8Bクラスに落としたモデルなら日常使いのお供になるんだがなぁ。
3Bとかは望まないにしろ。
あと、商用利用不可(Microsoft Research License Agreementの場合。HuggingFaceに上がった時点ではMITライセンスらしいので、商用可。)というので、これを使った展開というのは考えにくいのがネックだなぁ。Llama3とかそれをベースにしたELYZAとかでなんとかなる話でもあるし。