R1-1776: 賢いんだが．．．
公開 2025/02/28 16:46
最終更新
-
r1-1776-distill-llama-70b.i1-Q2_K_S.ggufがHugging Faceに上がってきたので、24.47GBは厳しいけれども試してみたいと思い、ダウンロードしてみた。
今、とりあえず確認したいことがなかったので、議論のプロンプトとやらを試してみた。
５人の役柄を与えて議論させ、なんらかの結論を得ようとするもの。
ChatGPTで見るような、会話風に進行する形にはならないものの、議事録風にまとまっていい感じ。
会話ではないので、途中でユーザが介入するというような流れをつくれないので、いまいち面白みに欠けるかなぁ。
ただね、GPUのメモリに載りきらないモデルというのがここまで遅いと実用的ではないなぁと思う。(自分のはVRAM16GB)
回答が出てくるまで、7分かかり、それが終わるまで数分かかった。
i-matrixとはいえQ2_K_Sまで量子化レベルを下げてもしっかりした回答が得られるというのは収穫ではあったけれども、こういうのを待つのはつらいなぁと。
残念だけれどもストレージの肥やしにするには重いので、削除した。
今、とりあえず確認したいことがなかったので、議論のプロンプトとやらを試してみた。
５人の役柄を与えて議論させ、なんらかの結論を得ようとするもの。
ChatGPTで見るような、会話風に進行する形にはならないものの、議事録風にまとまっていい感じ。
会話ではないので、途中でユーザが介入するというような流れをつくれないので、いまいち面白みに欠けるかなぁ。
ただね、GPUのメモリに載りきらないモデルというのがここまで遅いと実用的ではないなぁと思う。(自分のはVRAM16GB)
回答が出てくるまで、7分かかり、それが終わるまで数分かかった。
i-matrixとはいえQ2_K_Sまで量子化レベルを下げてもしっかりした回答が得られるというのは収穫ではあったけれども、こういうのを待つのはつらいなぁと。
残念だけれどもストレージの肥やしにするには重いので、削除した。
