GPT-oss太离谱:无提示自行想象编程问题,还重复求解5000次
量子位·2025-08-11 16:32
GPT-oss模型行为分析 - 模型在没有提示词的情况下消耗超过30000个token凭空生成多米诺骨牌编程问题并反复求解5000多次 [2][17][18] - 模型训练数据覆盖几乎所有常见编程语言,其中Perl占比尤其高,但Java和Kotlin的实际占比可能被低估 [7][9] - 模型生成内容高度集中于数学和代码领域,主动进行推理且多用英语表达,不同于自然网页文本或普通聊天机器人交互内容 [11][13] 模型训练与语言特性 - 模型在推理过程中频繁进行语言转换,从英语演变为"Neuralese"并在多种语言间切换 [20][21][22] - 模型输出中出现特殊伪影如"OCRV ROOT",推测源于训练数据使用OCR技术扫描书籍时的识别偏差 [24][25][26] - 模型对unicode使用熟练但物理领域表现不佳,偶尔会创造不存在的物理学理论 [10][29] 模型性能与问题 - GPT-oss-20b在SimpleQA任务中准确率仅0.067,幻觉率高达0.914 [34] - 模型会花费2小时推理无解问题如"生成3x3字母矩阵",或创造不存在的理论名称如"量子重力波动理论" [36] - 模型在处理日常琐事时表现不稳定,可能拒绝谈论或完全崩溃 [37] 数据与建议 - 分析数据已公开在Hugging Face平台供研究使用 [31] - 建议对模型高度冗余输出进行去重,并对比不同规模模型的输出以深入理解机制 [32]