LLMに一次方程式を解かせてみる
公開 2024/05/22 17:06
最終更新
-
LM Studioを利用すればHagging Faceで公開されているLLMが容易に検索できてダウンロード、Chatまでできる。(OpenAI互換のAPIもって至れり尽くせり）
で、自分の環境で使えそうなLLMをもらってきて、簡単な一次方程式を解かせてみると性格が出るみたいでおもしろい。
小学校レベルとはいえ、一次方程式を解くのは意外と難しいようで、正解できるのは少ないようです。
ChatGPTは無料で使える3.5でもだいたい正解しますから、やはり優秀ですね。
Google gemmaは2bのものでも正解しますので、かなり優秀。
MicrosoftおすすめのPhi3は悪くないんですが、正解にはたどり着けないようでした。
むしろ、WizardLM2のほうが優秀ですし、説明もなかなか詳しい。
WizardLM2が面白いのは、何回か同じ質問を繰り返すと、正解することがあるという点です。
LM StudioではTemperatureで「ゆらぎ」みたいなものを指定するわけですが、初期値が0.8なのでそのまま使っているんです。でも、正解できないモデルでは何回質問しても正解しません。
逆にgemmaなら、大抵正解します。でも、WizardLM2は正解と不正解が混ざるんですね。
-------------------------------
今のところ、gemmaとWizardLM2、DataPilot ArrowProのKujira/Robinhoodあたりが好感触ですねぇ。
で、自分の環境で使えそうなLLMをもらってきて、簡単な一次方程式を解かせてみると性格が出るみたいでおもしろい。
小学校レベルとはいえ、一次方程式を解くのは意外と難しいようで、正解できるのは少ないようです。
ChatGPTは無料で使える3.5でもだいたい正解しますから、やはり優秀ですね。
Google gemmaは2bのものでも正解しますので、かなり優秀。
MicrosoftおすすめのPhi3は悪くないんですが、正解にはたどり着けないようでした。
むしろ、WizardLM2のほうが優秀ですし、説明もなかなか詳しい。
WizardLM2が面白いのは、何回か同じ質問を繰り返すと、正解することがあるという点です。
LM StudioではTemperatureで「ゆらぎ」みたいなものを指定するわけですが、初期値が0.8なのでそのまま使っているんです。でも、正解できないモデルでは何回質問しても正解しません。
逆にgemmaなら、大抵正解します。でも、WizardLM2は正解と不正解が混ざるんですね。
-------------------------------
今のところ、gemmaとWizardLM2、DataPilot ArrowProのKujira/Robinhoodあたりが好感触ですねぇ。
