跳到正文
原文
Simon Willison·· 1 天前AI 评分31

Qwen3.8 27B 用英文单词做加法:本地模型基准测试

Qwen3.8 27B addition in words

AI 导读

一项基准测试检验本地模型 Qwen3.8-27B-Q4_K_M.gguf 能否仅用英文单词表达正整数加法结果。在 5,070 个禁用推理的用例中,其数字准确率为 23.57%,操作数从 1-3 位增至 10-13 位时准确率由 97.04% 降至 6.44%,格式合规率达 96.17%。启用中等推理后,169 次尝试中答对 167 次。

来源:Simon Willison · simonwillison.net