Artificial Intelligence
搜索文档
通用的dLLM开发框架,让BERT掌握扩散式对话
机器之心· 2025-11-23 12:06
文章核心观点 - 伯克利与UIUC团队通过自研的扩散语言模型工具dLLM,仅需约50 GPU・小时的监督微调,即可让ModernBERT-large-chat-v0(0.4B参数)在多项任务中表现逼近Qwen1.5-0.5B,证明“离散扩散+轻量级指令微调”是高效、低成本激活经典BERT生成能力的可行方案 [2] - 团队已将训练、推理与评测的全流程代码完全开源,并封装为可直接运行的“Hello World”示例,旨在为社区提供一个易用、可复现的扩散式语言模型学习与研究平台 [3][6][16] dLLM框架特性 - dLLM是一个面向扩散式语言模型的统一开发框架,强调易用性与可复现性,框架结构清晰、脚本完善,使实验能够在单卡甚至笔记本环境复现 [6] - 该框架兼容当前主流的开源扩散语言模型(如Dream、LLaDA、RND),并实现了多个缺乏公开实现的研究算法(如Edit Flows),为社区探索提供了灵活且坚实的基础 [6] 基座模型选择依据 - 实验选择ModernBERT作为基座模型,因其上下文长度从原始BERT的512-token显著扩展至8,192 tokens,且在非生成式基准任务上表现更优 [8] - 在Wikitext-103-v1数据集上的预训练测试显示,ModernBERT达到了最低的训练loss,表明其在生成式训练中同样具备优势 [8] 训练路径探索与关键发现 - 实验发现,对ModernBERT进行额外的离散扩散语言建模预训练(MDLM)对后续指令微调带来的收益非常有限,其原始MLM预训练已编码足够语言知识 [10][11] - 关键结论是:对于BERT而言,扩散式监督微调本身就足以激活生成能力,决定最终性能的关键是指令微调,而非额外的生成式预训练 [11] 模型性能表现 - ModernBERT-large-chat-v0(0.4B)在LAMBADA、GSM8K、CEVAL-valid等多项主流评测任务中表现稳定,整体性能已接近Qwen1.5-0.5B [12][14] - ModernBERT-base-chat-v0(0.1B)仅使用约四分之一规模的参数,便能生成流畅自然的语言,证明扩散式训练在小模型规模下依然具备竞争力 [12][14] 项目定位与开源价值 - 该项目定位为教学与研究实验,旨在帮助研究者理解扩散式语言模型的训练与生成机制,而非追求商用系统级别的基准测试表现 [16] - 团队开放了完整的训练脚本、训练曲线、消融实验、参数设置与运行指令,保持了研究过程的透明与可复现性,为社区提供了完整的学习起点 [16][18]
企业如何控制AI大模型的应用风险
经济观察网· 2025-11-23 11:18
文章核心观点 - AI大模型在企业级应用中面临高失败率,超过95%的企业在AI试点中失败[2] - 企业应用AI大模型的主要矛盾在于风险控制而非成本问题[2] - 企业需通过技术改进和应用层治理双管齐下应对AI风险,并建立人机协同的问责框架[7][15] AI大模型的企业应用现状 - 绝大多数企业未能成功应用AI,超过95%的试点项目失败[2] - 中国企业在AI应用方面面临与美国企业类似的挑战[2] AI大模型的微观风险分类 - 幻觉风险:大模型生成看似合理但实际错误的内容,源于其基于统计模式匹配的核心机制[3][4][5] - 输出安全与价值对齐风险:模型可能生成偏见、歧视或有害内容,损害企业品牌声誉[5] - 隐私与数据合规风险:员工使用第三方服务可能导致敏感数据被服务商收集用于训练[5][6] - 可解释性风险:大模型决策过程如同黑箱,在高风险合规领域构成严峻挑战[6] 技术层面的风险应对措施 - 针对幻觉问题:GPT-5相比前代o3模型幻觉率大幅降低65%,通过提升推理能力和承认知识边界来缓解[7][8] - 针对输出安全:采用指令微调和人类反馈强化学习等对齐技术减少有害内容生成[8] - 针对隐私保护:结合差分隐私技术在训练数据中加入噪声保护个体信息[8] - 针对可解释性:DeepSeek R1通过思维链展示推理过程,Anthropic研究机制可解释性方法[8] 企业层面的风险治理策略 - 将AI视为数字化员工,借鉴人类员工管理经验进行风险管理[9] - 防范幻觉风险:选择基础能力强的大模型,采用RAG技术和提示词工程,进行多模型交叉验证[10] - 控制输出安全风险:为模型设置系统提示词作为数字员工手册,通过微调和过滤器管理内容[10] - 管理隐私合规风险:签署数据处理协议,遵循最小权限原则,采用私有化部署或可信执行环境技术[11] - 应对可解释性风险:要求模型输出思维链,使用注意力可视化技术,在高风险领域限制AI权限[12] AI与人类员工的本质区别及问责框架 - 大模型无法成为责任主体,责任永远追溯至人类管理者[15] - 企业需设计清晰问责框架,将AI部署使用效果纳入具体员工或团队KPI[15] - 最优解决方案是让人与AI协同作战,通过组织流程发挥各自优势[15]
第一批AI公司,已经开始破产了
虎嗅APP· 2025-11-23 11:00
Robin AI的兴衰历程 - 英国AI初创公司Robin AI从行业希望之星到融资失败濒临破产仅用半年时间[4][5] - 公司曾入选2025年《星期日泰晤士报》英国科技公司Top 10榜单[4][15] - 2025年初启动C轮融资失败后公司被挂上不良资产交易网站并裁员约50人[17] 公司业务与技术定位 - Robin AI专注于法律AI领域通过AI处理合同审查等法律文本工作[7] - 2022年与Anthropic达成战略合作将Claude大模型集成至产品中[8] - 产品可将合同审查时间缩短超过80%成本降低75%客户包括13家世界500强企业[14] 融资历史与投资者背景 - 2021年7月完成种子轮融资投资方包括谷歌[13] - 2023年2月完成A轮融资主要投资方为软银集团[18] - 2024年1月完成B轮融资由淡马锡领投7至11月完成B+轮融资投资方包括PayPal Ventures和剑桥大学[18] 失败原因分析 - 2024年收入约1000万美元但净亏损超过1400万美元增长被投资人评价为"远未达到AI级别的增长"[19][21] - 采用"SaaS + services"重模式内部雇佣律师进行质量复核导致公司人力密集且业务扩张依赖人力[20][21] - 投资人预期AI公司应实现每年3-5倍收入增长且毛利80%以上而Robin AI未能满足该标准[19] 法律AI行业竞争格局 - 竞争对手Harvey AI在2025年10月完成1.5亿美元融资估值达80亿美元年度经常性收入为5000万美元[23] - 瑞典法律AI公司Legora于2025年10月完成1.5亿美元C轮融资估值18亿美元[24] - 2025年全球法律AI领域投资额已达2024年全年的两倍显示赛道持续火热[24] AI行业整体发展趋势 - 截至2025年9月中国有764家AI公司获得投资总金额达830亿元人民币Agent领域融资尤为活跃[24] - 2025年中国AI代理行业融资披露金额超80亿元预计全年将突破150亿元[24] - 尽管部分AI公司业绩增长强劲如Palantir收入同比增长63%但股价仍大跌8%反映市场对增长预期苛刻[26]
AI Investors Want More Making It and Less Faking It
WSJ· 2025-11-23 11:00
The artificial-intelligence industry took Silicon Valley's hustle mentality to an extreme—and investors are catching on. ...
深度|马斯克独家访谈:6万亿参数Grok 5冲击AGI,Neuralink、Tesla及xAI的人类存续与宇宙探索使命
Z Potentials· 2025-11-23 10:06
Neuralink脑机接口进展 - 目前已有超过10位患者植入Neuralink脑机接口设备 这些患者原本无法移动或说话 现在能以接近正常对话速度进行沟通 [3] - 技术可实现读取运动皮层信号并接收感觉皮层信号 为失去双腿者提供仿生腿 使其获得超人类运动能力 改造费用将远低于60,000美元 [4][6] - 进展加速 目标是将人类改造成机械/生物混合体 实现比正常人更快的奔跑速度 [6] X平台收购与xAI数据优势 - X平台收购后估值经历下调70% 但后续因独特数据资产价值翻倍 投资额3.5亿美元当前价值达7亿美元 [10][13] - X平台拥有6亿用户互动产生的实时数据 这些实体数据是其他公司无法获得的独特资产 为Grok AI提供训练基础 [12][13] - 收购X的核心动机是建立言论自由的公共广场 而非最初就规划数据布局 [14][15] Grok 5与AGI技术突破 - Grok 5将成为参数规模达6万亿的模型 远超Grok 3/4的30亿参数 是多模态模型 可处理文本、图像、视频、音频 [25] - 该模型首次使公司有10%概率实现AGI 因智能密度和效率显著提升 具备优秀视觉理解和工具复用能力 [23][25] - 独特优势在于连接物理世界与数字世界 拥有实时数据源 并通过快速部署GPU算力 数据中心规模达他人4倍 [20][22] Tesla制造与自动驾驶 - 车辆生产效率从每35秒一辆提升至目标5秒一辆 通过将工厂视为"巨型芯片" 提升密度和容积效率实现 [30][33] - FSD全自动驾驶安全性已达手动驾驶4倍 基于超过100亿英里实际行驶数据 下一代AI5系统目标提升至10倍安全性 [5][42] - 自研AI5芯片推理效率预计达Nvidia芯片2-3倍 成本仅10% 计划自主建设芯片制造体系解决产能瓶颈 [35][36][39] 宇宙探索与长期愿景 - 计划通过每年发射100GW太阳能供电的AI卫星 为AI运行提供低成本能源 规模接近美国全国用电负载460GW [27][28] - 最终目标是扩张意识规模 探索外星文明 将知识库"Encyclopedia Galactica"分发至月球、火星以保存人类文明 [24][48] - 公司核心驱动力是好奇心与人类生存使命 而非个人财富积累 资源将用于推动星际探索与技术边界突破 [45][48]
Mid-Training 会成为未来的 Pre-Training 吗?
机器之心· 2025-11-23 09:30
OpenAI 一年前就布局「Mid-Training」了?Mid-Training 和预训练&后训练有什么关系?为什么 Mid-Training 定义不清晰却颇受关注?高校与企业研究者分别如何定义 Mid-Training?非公式 下 Mid-Training 有望成为下一个 Pre-Training 吗?... 2. 从 Apple M5 到 DGX Spark ,Local AI 时代的到来还有多久? 机器之心PRO · 会员通讯 Week 47 --- 本周为您解读 ③ 个值得细品的 AI & Robotics 业内要事 --- 1. Mid-Training 会成为未来的 Pre-Training 吗? DGX Spark 从 DGX-1 的「云端起点」走到「桌面回迁」,Local AI 的拐点已到?Apple Silicon 等硬件如何把本地工作负载变成可用体验?Ollama 等用户级运行时叠加 Gemma 3 等端侧模型 供给,会催生什么样的本地产品形态?SLM 和端侧芯片新架构的结合,会把消费终端 Local AI 的能力边界推到哪一步?... 3. 「人本主义超级智能」未来走得更远?微软为何选 ...
沈向洋解读AI演进五大维度!IDEA研究院发布“万物可抓取”模型,GPU渲染器打破国外垄断
量子位· 2025-11-23 09:00
衡宇 发自 深圳 量子位 | 公众号 QbitAI "机会不只来自技术本身。" 带领IDEA研究院 (粤港澳大湾区数字经济研究院) 走过第五个年头的 沈向洋 ,新鲜分享了他用来梳理智能演进的五个维度—— 作为IDEA 研究院创院理事长,相比给出一个技术路径路线图,他 更希望提出一个识别机会的思考框架 ,帮助创新者在智能演进中找到技 术、产品与商业的切口。 从 算法范式维度 出发,AI算法已经从构筑表达与生成能力的监督学习阶段,演进到引入因果与执行的强化学习阶段。 后面,将继续朝迈向高层认知的自主学习阶段探索。 算法范式 智能载体 交互范式 计算架构 数据 从 智能载体维度 出发,当下的关注点已从语言和多模态模型,转向世界模型与具身模型。 这个变化反映出智能载体正从抽象符号空间迈向物理空间。 在 人机交互维度 上,沈向洋强调交互创新的重要性。 过去70年,人机交互经历了命令行、图形界面、搜索、推荐到自然交互的多次范式迁移,每一次迁移背后都对应着底层技术浪潮的变化。 "今天的产品开发者必须看懂智能特性带来的交互机会。"他同时提到,自然交互内部也在分层: 被动响应——交互式执行——具备提议能力的主动模式,交互方式从 ...
青岛:国内首个支持全模态实时交互大模型发布
证券时报网· 2025-11-23 08:56
人民财讯11月23日电,日前,青岛虚拟智能体产业大会暨人工智能创新应用先导区第七届"百企百景"对 接洽谈会召开,会上启动青岛市智能体训练平台,并发布VisualGPT视觉语言大模型。该大模型是国内 首个支持全模态实时交互的大模型,打破传统AI"对话框"束缚,引领人工智能从单一"文字流"向沉浸 式"视觉界面直连"跨越。智能体训练平台将聚焦多领域场景,整合算力与数据资源,赋能产业升级与智 能应用落地。 ...
AI“搭子”在线下有了“家” “魔搭社区”(杭州)开发者中心正式启用
每日商报· 2025-11-23 06:23
其中,配套完善的Y/OUR SPACE共享办公空间已吸引60多位创业者入驻。"月租仅300元就能获得'大厂 同款'的办公条件,为我们这样的初创团队大幅降低了创业成本,可以更专注于技术研发。"杭州加密猴 科技有限公司创始人何得力感慨道,其团队依托"魔搭社区"的AI Agent技术,成功打造出数字人导游、 乡村非遗数字化等创新解决方案,并已与浙江省县域文旅景区项目开展实际合作。 值得一提的是,中心采用政企协同的全新运营模式,西湖区与阿里巴巴集团携手成立运营主体。西湖区 在资源、政策和场景上提供支持,包括算力补贴、人才政策和房租补贴等。阿里巴巴则通过自己所构建 的产业生态和专门的产业服务,帮助这些开发者和企业实现更好发展。 商报讯(通讯员陈冰欣滕俊斐瞿春春记者严佳炜)如果你是AI模型的玩家,想必对"魔搭社区"并不陌生。 作为国内规模最大的模型开源社区,从2022年创立至今,已汇聚了120万个模型和2000万名开发者。 如今,这些"搭子"们在杭州有了一个"家"——在昨天举行的杭州AI开源生态大会上,"魔搭社区"(杭州) 开发者中心正式启用。 为什么要从线上走到线下?阿里巴巴云谷中心负责人王闯表示,开发者除了在线上平台 ...
火了!这一国产AI应用4天下载量破100万,紧急扩容8轮!马云罕见现身
证券时报· 2025-11-22 22:44
产品市场表现 - 蚂蚁集团旗下AI助手“灵光”App上线4天累计下载量突破100万次[1] - 上线4天后该应用冲上App Store中国区免费榜第六名[1] - 首周百万下载速度超越ChatGPT(60.6万次)和Sora2(5天破百万)等全球主流AI产品[4] 产品功能与技术特点 - 产品定位为全模态通用AI助手,首批上线“灵光对话”、“灵光闪应用”、“灵光开眼”三大功能[4] - 在移动端首创“自然语言30秒生成小应用”功能,生成应用可编辑可交互可分享[4] - 是业内首个全代码生成多模态内容的AI助手,支持3D、音视频、图表、动画、地图等全模态信息输出[4] - 产品聚焦“创造式生产力”,通过支付宝生态场景数据满足用户工具开发需求[4] 公司资源投入与战略定位 - 上线4天内为保障“灵光闪应用”功能已紧急进行8轮扩容[5] - 项目由蚂蚁集团CTO何征宇直接负责,自今年3月立项[5] - 公司内部将其定位为纯粹的技术产品和大模型出口,致力于在技术能力与用户需求边界探索创新点[5]