Workflow
AI Safety
icon
搜索文档
深夜炸场!Claude Sonnet 4.5上线,自主编程30小时,网友实测:一次调用重构代码库,新增3000行代码却运行失败
AI科技大本营· 2025-09-30 18:24
整理 | 苏宓 出品 | CSDN(ID:CSDNnews) 双节小长假将近,国内国外大模型公司闻风而动,赶在正式放假前让众人"小卷"一波。这不,继昨晚 DeepSeek 发布 DeepSeek V3.2-Exp 之后, Anthropic 又在今天带来了全新升级的 Claude Sonnet 4.5 版本,号称"世界上最好的编码模型"。 最强的编码模型 Claude Sonnet 4.5 来了:可自主持续运行 30 小时 根据官方测试结果显示,Claude Sonnet 4.5 在 SWE-bench Verified 评测里拿下了顶级成绩,这个测试主要看模型在真实世界里写代码的水平。 同时,Sonnet 4.5 在推理和数学等多项测试中也有大幅提升。从下图看出,在 Agentic Coding、Agentic Tool Use 等测试中 Claude Sonnet 4.5 远 超过更昂贵的 GPT-5、Gemini 2.5 Pro 等竞品模型。 实际测试中, Claude Sonnet 4.5 能在复杂的多步骤任务上坚持专注 超过 30 个小时。 相比此前 Opus 4 运行 7 小时左右的时间, Cla ...
深夜炸场,Claude Sonnet 4.5上线,自主编程30小时,网友实测:一次调用重构代码库,新增3000行代码却运行失败
36氪· 2025-09-30 16:43
模型性能提升 - Anthropic发布Claude Sonnet 4.5版本,号称“世界上最好的编码模型”[1] - 在SWE-bench Verified评测中取得顶级成绩,能在复杂多步骤任务上专注运行超过30小时,相比Opus 4的7小时有大幅优化[2] - 在OSWorld电脑操作测试中得分61.4%,相比四个月前Sonnet 4的42.2%有显著提升[4] - 在Agentic Coding测试中达到77.2%,超过GPT-5的72.8%和Gemini 2.5 Pro的67.2%[7] - 在Agentic Tool Use测试的电信领域达到98.0%,远高于Opus 4.1的71.5%和Sonnet 4的49.6%[7] - 在金融分析测试中得分55.3%,高于GPT-5的46.9%和Gemini 2.5 Pro的29.4%[7] 安全与对齐改进 - Claude Sonnet 4.5是公司迄今推出的最“对齐”的前沿模型,有效改进了“幻觉”、“谄媚”、“欺骗”等问题[9] - 模型接受广泛安全训练,增强了对即时注入攻击的防护,在自动化行为审计中评分最低[10] - 按照AI安全等级3标准发布,配备分类器过滤涉及化学、生物、放射和核武器的危险内容[12] - 误报率相比最初版本降低了10倍,与今年5月发布的Claude Opus 4相比下降了一半[12] 开发者工具更新 - 推出原生VS Code插件的Beta版本,用户可通过专用侧边栏面板实时查看代码修改和内联差异[13] - 终端界面新增更清晰的状态显示和可搜索的提示历史,方便用户重复使用或编辑指令[16] - 增加checkpoint功能,允许用户通过双击Esc或/rewind命令回退到先前代码版本[18] - 发布Claude Agent SDK,开放用于构建Claude Code的核心模块给开发者[15][16] 产品功能扩展 - Claude API新增上下文编辑和记忆工具,使智能体可运行更长时间、处理更复杂任务[20] - Claude应用中可直接在对话里运行代码和生成文件,包括表格、幻灯片和文档[20] - 推出限时实验功能“Imagine with Claude”,能实时生成软件,对Max用户开放5天[20] - Sonnet 4.5的API定价与4.0相同,每百万输入token收费3美元,每百万输出token收费15美元[20] 行业竞争动态 - 开发者实测显示Claude Sonnet 4.5能自主生成3D射击游戏的贴图和音效,引发对游戏开发者替代的讨论[22] - 有开发者反馈模型一次调用可重构整个代码库,调用25个工具,新增3000多行代码,创建12个新文件[27] - 行业出现新一轮竞争,DeepSeek推出新模型,推理成本降低10倍,API成本降低50%[29] - 据报道OpenAI未来两周将发布新产品,为Sora 2推出独立社交媒体应用,内容100%由AI生成[32]
Meta updates chatbot rules to avoid inappropriate topics with teen users
TechCrunch· 2025-08-30 01:04
公司AI安全政策调整 - Meta宣布调整AI聊天机器人训练方式 优先考虑青少年安全 停止与青少年用户就自残、自杀、饮食失调或潜在不当浪漫话题进行互动[1] - 公司承认此前允许聊天机器人就上述话题与青少年交流是错误做法 现已重新评估并加强保护措施[2] - 新增防护措施包括训练AI避免涉及敏感话题 转而引导青少年获取专家资源 并暂时限制其仅能访问促进教育和创造力的AI角色[3] 监管与舆论压力 - 政策调整源于路透社调查曝光内部文件 显示Meta曾允许聊天机器人与未成年用户进行性暗示对话 包括"你的青春形体是艺术品"等不当回应[4] - 该文件引发持续争议 44个州总检察长联合致信AI公司 谴责其"漠视儿童情感健康"的行为可能违反刑事法律[5] - 密苏里州参议员Josh Hawley已对该公司AI政策启动正式调查[5] 产品访问限制 - 除训练更新外 Meta将限制青少年访问某些可能进行不当对话的AI角色 包括Instagram和Facebook上用户制作的性暗示聊天机器人(如"Step Mom"和"Russian Girl")[3] - 公司发言人拒绝透露未成年用户数量及政策调整是否会导致AI用户基数下降[8] 行业活动动态 - TechCrunch Disrupt 2025大会将迎来Netflix、ElevenLabs、Wayve、红杉资本等科技与风投巨头 聚焦初创企业成长洞察[6][7] - 该活动为20周年纪念 早鸟票最高可节省675美元[7]
提升大模型内在透明度:无需外部模块实现高效监控与自发安全增强|上海AI Lab & 上交
量子位· 2025-06-23 12:45
大语言模型安全监控创新方法TELLME 核心观点 - 当前主流外部"黑盒"监控方法存在可靠性低、适应性差等局限,难以触及模型推理本质 [1][5][6] - 上海人工智能实验室与上海交大团队提出TELLME方案,通过表征解耦技术直接提升模型内部透明度,实现安全监控革新 [1][2][3] - 该方法使模型安全与不安全行为的内部表征清晰分离,同时意外提升输出安全性,且保持通用能力无损 [3][12][23] 技术原理 - **表征解耦手术**:通过对比学习损失函数(如InfoNCE Loss)驱动模型内部表征空间重构,将不同风险行为的表征强力分离 [7] - **双重约束设计**:KL散度约束确保解耦过程不损害模型原有能力,避免"精神分裂"现象 [8][9] - **理论支撑**:基于最优传输理论证明表征解耦可降低模型泛化误差上界,为性能提升提供数学基础 [25] 性能表现 - **透明度提升**:t-SNE可视化显示风险/行为表征形成独立聚类,安全监控准确率最高提升22.3% [10][14] - **监控效率**:仅需计算表征与安全锚点的相似度(Self-Sim),Llama-3模型监控准确率从68.3%升至83.2% [17] - **安全性能**:Qwen2.5-72B模型安全指标从95.4/91.5提升至98.31/99.15,平均提升7.5% [23][24] - **通用能力**:GSM8K数学能力保持稳定(Llama-3: 84.5 vs 82.2),MMLU知识掌握度基本持平(69.4 vs 69.2) [12][13] 行业意义 - **监控范式革新**:从依赖外部监控转向增强模型内在可监控性,适应模型能力持续演进 [26][27] - **可扩展监督**:模型能力越强,TELLME监控效果越好,为超级智能监管提供可行路径 [28] - **安全-能力平衡**:破解传统方法安全与性能难以兼得的困局,Gemma2-9B模型安全指标达99.1%同时能力无衰退 [20][23]
图灵奖得主Bengio再创业:启动资金就筹集了3000万美元
量子位· 2025-06-04 15:04
公司概况 - 深度学习三巨头之一Yoshua Bengio创立非营利组织LawZero 旨在构建下一代AI系统 明确不做Agent形态产品 [1] - 已通过慈善捐赠筹集3000万美元启动资金 首批支持者包括Future of Life Institute Open Philanthropy等机构 [2][9] - 总部位于蒙特利尔 由Mila-Quebec AI Institute孵化 现有超15名顶尖研究员 [8][15] 技术方向 - 采用"设计即安全"理念 将安全性置于商业利益之上 系统核心为理解学习世界而非采取行动 [3][4] - 基于Scientist AI方法论 包含世界模型和推理机两大组件 世界模型通过观察生成因果理论 推理机提供概率性解释 [21][22][23] - 系统输出仅限于可验证的真实答案 通过透明化外部推理规避自主行动风险 [4][23] 应用场景 - 作为安全护栏 对高能力Agent型AI进行双重验证和行为阻断 遏制欺骗性风险 [24] - 加速科学发现 在生物材料化学等领域生成可论证假设 规避目标对齐偏差 [25] - 构建强AI开发基建 通过透明推理框架建立可审计安全边界 阻断风险传导 [26] 创始人背景 - Bengio曾于2016年联合创立Element AI 4年内融资2.6亿美元 估值达12亿美元 后以2.3亿美元被收购 [28][29] - 2023年起调整研究方向 将职业生涯剩余时间全部投入AI安全领域 [32][33] 行业动态 - OpenAI早期投资方Open Philanthropy参与LawZero捐赠 显示行业对AI安全关注度提升 [10] - 网友对非营利模式持观望态度 担忧重蹈OpenAI商业化覆辙 [34][35]