Workflow
模型训练
icon
搜索文档
GPT-oss太离谱:无提示自行想象编程问题,还重复求解5000次
量子位· 2025-08-11 16:32
GPT-oss模型行为分析 - 模型在没有提示词的情况下消耗超过30000个token凭空生成多米诺骨牌编程问题并反复求解5000多次 [2][17][18] - 模型训练数据覆盖几乎所有常见编程语言,其中Perl占比尤其高,但Java和Kotlin的实际占比可能被低估 [7][9] - 模型生成内容高度集中于数学和代码领域,主动进行推理且多用英语表达,不同于自然网页文本或普通聊天机器人交互内容 [11][13] 模型训练与语言特性 - 模型在推理过程中频繁进行语言转换,从英语演变为"Neuralese"并在多种语言间切换 [20][21][22] - 模型输出中出现特殊伪影如"OCRV ROOT",推测源于训练数据使用OCR技术扫描书籍时的识别偏差 [24][25][26] - 模型对unicode使用熟练但物理领域表现不佳,偶尔会创造不存在的物理学理论 [10][29] 模型性能与问题 - GPT-oss-20b在SimpleQA任务中准确率仅0.067,幻觉率高达0.914 [34] - 模型会花费2小时推理无解问题如"生成3x3字母矩阵",或创造不存在的理论名称如"量子重力波动理论" [36] - 模型在处理日常琐事时表现不稳定,可能拒绝谈论或完全崩溃 [37] 数据与建议 - 分析数据已公开在Hugging Face平台供研究使用 [31] - 建议对模型高度冗余输出进行去重,并对比不同规模模型的输出以深入理解机制 [32]
腾讯申请模型训练及信息投放相关专利,提高投放预测模型的准确性
金融界· 2025-08-07 11:21
腾讯科技专利技术 - 公司申请了一项名为"模型训练方法、信息投放方法、装置、设备及介质"的专利,公开号CN120430833A,申请日期为2024年02月,属于计算机技术领域 [1] - 专利方法包括获取正样本、负样本和无标签样本,训练标签预测模型,预测无标签样本的伪标签,并最终训练投放预测模型用于预测对象的投放分数 [1] 腾讯科技公司概况 - 公司成立于2000年,位于深圳市,主要从事软件和信息技术服务业,注册资本200万美元 [1] - 公司对外投资了15家企业,参与招投标项目263次,拥有商标信息5000条,专利信息5000条,行政许可527个 [1]
周鸿祎:360最近都采购华为芯片,国产性价比高
南方都市报· 2025-07-23 22:03
国产芯片与英伟达竞争 - 360集团近期采购华为芯片产品,认为国产芯片与英伟达存在差距但必须坚持使用以推动产品改进[1] - 英伟达H20芯片获准销往中国,更适合模型推理场景,而华为芯片在推理场景性价比高于H20[2] - 国产AI芯片在模型推理市场存在机会,因技术要求低于模型训练[2] DeepSeek模型发展 - DeepSeek在推理模型领域贡献显著,但6月首次出现月活用户负增长[2] - DeepSeek创始人专注AGI和大模型研发,未重点投入To C应用或流量运营[2] - 尽管应用流量下降,DeepSeek开源基座模型仍被云厂商和AI应用公司广泛调用[2] AI智能体发展趋势 - 开源模型性能提升推动AI智能体发展,智能体具备任务推理、规划和执行能力,成为AI落地关键方向[3] - AI Coding是智能体热门垂直方向,工程化能力如上下文工程和提示词工程发挥关键作用[3] - 智能体应走向专业化,结合行业建立技术壁垒,避免与大模型通用性竞争[3] - 360计划通过智能体优化市场部效率,未来不掌握智能体技术的人员可能被淘汰[3]
中国移动山东公司及总公司申请模型训练与问答方法专利,可得到训练完成的问答模型
金融界· 2025-05-24 12:49
专利申请 - 中国移动通信集团山东有限公司与中国移动通信集团有限公司联合申请了一项名为"模型训练方法、问答方法"的专利,公开号为CN120030353A,申请日期为2025年03月 [1] - 专利涉及多模态模型训练技术,通过模态参数平衡不同模态的贡献度,根据第一模态问题生成第二模态答案,并迭代调整参数直至模型训练完成 [1] - 技术核心包括模态参数动态调整、跨模态答案生成及预设答案比对优化模型 [1] 公司背景 - 中国移动通信集团山东有限公司成立于2000年,注册资本63418513万人民币,主营电信、广播电视和卫星传输服务,注册地位于济南市 [2] - 该公司对外投资1家企业,参与招投标5000次,持有商标21条、专利617条、行政许可18个 [2] - 中国移动通信集团有限公司成立于1999年,注册资本30000000万人民币,注册地位于北京市,同属电信服务行业 [2] - 集团公司对外投资51家企业,参与招投标5000次,持有商标2205条、专利5000条、行政许可51个 [2]