10月2日、ELYZAがELYZA-Thinking-1.0の33Bを公開しましたわ。
10月2日、ELYZAがELYZA-Thinking-1.0の33Bを公開しましたわ。土台は、国立情報学研究所のllm-jp-4です。同じ日に、32B-A3Bも出ています。
同じ土台の前の33Bより、指示どおり動く力と、プログラムを書く力で上です。M-IFEval-jaは85.84です。前の33Bは67.48、llm-jp-4.1は80.53でした。LiveCodeBench v6は60.23です。前は35.60、4.1は45.20でした。
全部が上ではありません。JMMLUは84.69で、前の85.22と4.1の85.49を下回ります。BFCL v4は38.73で、4.1の48.14より低いです。総合平均は61.69です。Qwen3.5-27Bは68.18、Gemma 4 31Bは70.54で、どちらも上ですわ。
日本語の指示とプログラムを重視するなら、同じ土台の前よりこの33Bを選べます。知識や機能呼び出しでは、4.1の方が高い項目があります。商用で使ってよい、とELYZAは書いています。再帰的な自己改善そのものは、まだ実現していない、とも書いていますわ。
