Workflow
Scaling law
icon
搜索文档
训练自2.67亿个单细胞数据的AI虚拟细胞模型——STATE,无需实验,预测细胞对药物或基因扰动的反应
生物世界· 2025-07-07 11:17
近日, Arc 研究所 发布了其 第一代虚拟细胞模型—— STATE ,该虚拟细胞模型旨在 预测各类干细胞、癌细胞和免疫细胞对药物、细胞因子或基因扰动的反 应。 STATE 模型基于 1.67 亿个细胞的观察数据以及超过 1 亿个细胞的扰动数据进行训练,这些数据涵盖了 70 种细胞系。该论文已于近期发表在了预印本平台 bioRxiv 上。 撰文丨王聪 编辑丨王多鱼 排版丨水成文 人体是由 细胞 (Cell) 构成的马赛克,其中,免疫细胞通过增强炎症来对抗感染;干细胞可以分化成各种组织;癌细胞避开调控信号而无节制地分裂。然而,尽 管这些细胞之间存在显著差异,但这些看上去截然不同的体细胞都携带着 (几乎) 相同的基因组。 细胞的独特性不仅源于 DNA 的不同,更在于每个细胞对 DNA 的使用方式。换句话说,细胞的特性源自基因表达的变化,即基因在不同时刻的"开启"和"关闭"。 细胞的基因表达模式——以 RNA 分子的形式体现,而 RNA 分子本身又是从 DNA 转录而来,基因的表达不仅决定了细胞的类型,还决定了细胞的状态:细胞基 因表达的变化可以揭示细胞如何从健康状态转变为炎症状态,甚至癌变。通过测量有或无化学或基 ...
原来Scaling Law还能被优化?Meta这招省token又提效
机器之心· 2025-07-06 11:49
机器之心报道 编辑:Panda 2017 年,一篇《Attention Is All You Need》论文成为 AI 发展的一个重要分水岭,其中提出的 Transformer 依然是现今主流语言模型的基础范式。尤其是在基于 Transformer 的语言模型的 Scaling Law 得到实验验证后,AI 领域的发展更是进入了快车道。 现如今,这篇论文的引用量正向 19 万冲刺,而 Transformer 和注意力机制本身也已经历了很多改进和创新,比如我们前段时间报道过的「 Multi-Token Attention 」 和「 Multi-matrix Factorization Attention 」等。 随着 AI 的不断发展,现如今的一个重要挑战是如何获得足够多高质量的 token。又或者,该如何更高效地利用这些 token?为此,还必须对 Transformer 进行进一 步的升级改造。 该研究基于 RoPE 向三线性函数的泛化;而 2-simplicial Transformer 则源自 2019 年 Clift et al. 的研究《Logic and the 2-Simplicial Tran ...
深度|Sam Altman:创业者不要做OpenAI核心要做的事,还有很多领域值得探索,坚持深耕可长成比OpenAI更大的公司
Z Potentials· 2025-07-03 11:13
初心与人才汇聚 - 创立OpenAI的最关键决策是"决定要做"这件事本身 2015年时AGI被视为天方夜谭 团队几乎靠掷硬币决定是否启动[3] - 早期AI领域氛围与现状截然不同 当时连有效语言模型都未出现 团队仅8-20人 目标仅是写出像样的研究论文[4] - 聚焦AGI方向成功吸引1%顶尖人才 因"全世界只有你在做"的独特性形成人才聚集效应[5] - 伟大公司都始于微小起点 零收入创业公司与未来千亿估值公司初期形态相似[6] 产品与技术的未来 - 当前AI领域存在"产品滞后"现象 模型能力远超现有产品形态 即使性能停滞 仅推理成本下降就能催生大量创新[7] - 记忆功能是重要突破方向 指向未来AI将成为了解用户、主动帮助的个人助手 而不仅是被动问答工具[8] - 技术组合将创造强大体验 包括新设备、新浏览器、记忆功能和持久化模型的结合[11] - 计算负载将采用混合模式 部分本地运行减轻云端压力 但主要计算仍依赖云端[12] 机器人与工业复兴 - 机器人发展策略是先解决认知问题再连接机械 预计几年内可胜任实际工作 未来需求将远超当前供应链产能[15] - AI和机器人技术为重建美国工业能力提供新路径 可能实现制造业回流和复杂工业体系重建[16] - 建议创业者避开OpenAI核心业务 专注空白领域 如应用商店、个性化模型集成等方向[17] 界面革命与创业黄金时代 - 未来人机交互将"融化"为无感状态 AI像优秀人类助手仅在必要时出现 改变当前信息过载的交互方式[21] - 计算机交互正经历第三次革命 前两次是键盘鼠标和触控屏 本次由AI驱动将产生全新交互范式[22] - SaaS未来可能演变为API+数据库+LLM界面 UI将由大模型即时生成 当前是创业最佳时机[23] 能源与未来愿景 - AI发展与能源紧密相关 能源限制决定可运行的智能规模 需解决算力与地球散热的平衡问题[29][30] - 人均能耗与生活质量强相关 技术乐观主义相信"激进富足" 通过AI和无限能源创造美好未来[30] - AI推动科学进步是长期增长核心 未来10-20年可能出现超级智能 大幅加速科学发现速度[27] 早期经历与对年轻创业者的建议 - 创业需要长期坚持信念和韧性 即使遭遇失败也要继续前行 首个项目失败是常见经历[32] - 招聘应关注"斜率高的人"而非"y轴截距高的人" 即选择成长速度快、有好奇心的人才[26] - CEO工作挑战在于同时处理大量不相关但重要的决策 远超常人承受范围[26]
华泰证券:算力链高景气延续,下半年AI眼镜有望迎来拐点
快讯· 2025-07-02 08:01
电子板块2025年下半年展望 - 大模型架构持续迭代,Scaling Law有望再次加速叠加推理需求增长,算力链高景气度有望延续 [1] - 国内制造端先进工艺产能持续推进,新产能开出将提升国产设备商的国产化率 [1] - AI眼镜下半年或迎来拐点,智驾领域因价格带下探产业趋势有望加速 [1]
AI下半场,大模型要少说话,多做事
虎嗅· 2025-07-01 09:33
大模型性能与竞争格局 - DeepSeek模型性能快速提升 2024年4月排名靠后 8月进入TOP10 12月成为基础能力第一的开源模型[1] - 基础模型TOP10中中国占6个 美国占4个 包括通义千问 豆包 混元 文心等[3] - 模型排名轮动加速 GPT-4o曾保持200天第一 现在十几天就会变化[7] - 训练成本高企 每次至少几百万美元 保鲜期短导致玩家减少[8] 模型训练技术趋势 - 预训练与后训练并存 预训练提升基础能力 强化学习从实战中学习潜力大[14] - 下游企业减少参与训练 转向提示词工程 检索增强 工作流等工程化方法[9] - 智谱AI坚持预训练路线 技术团队实力和资源储备是关键[12] Agent发展与应用 - Agent成为运行在大模型上的软件 自主规划能力显著提升[21] - 提示词仍重要 精心设计的系统提示词可充分激发模型能力[22] - Agent可能不是单一产品 而是多功能集合 开发平台将成关键[29] - 未来或形成个位数基座模型+垂直行业应用平台的格局[30] 基准测试体系价值 - "方升"测试体系包含700万条数据 聚焦产业实战应用[1][44] - 测试方法标准化 题目非开源 每次抽取1-2万题后作废[47][48] - 基准测试是指挥棒 定义方向 中美差距缩小因目标一致[51] 技术路线与产业方向 - 谷歌DeepMind强化学习路线被低估 在生物 材料等领域价值巨大[34][37] - 当前模型缺乏世界模型能力 需突破空间关系 物理定律等[38] - AI下半场需减少信息过载 增强意图理解 任务规划等能力[52]
公布最新研究!这次1XWorldModel如何颠覆人形机器人领域?
机器人大讲堂· 2025-06-29 11:53
2024年9月,1X Technologies (以下简称 "1X")发布全球首个人形机器人世界模型 1X World Model首证 Scaling Law(人形机器人数据显著增强扩展定律) 。 前不久, 1X对外公布了其世界模型在技术迭代和应 用场景上取得的多项突破,再度成为行业焦点。 据具身智能大讲堂了解, 1X World Model 是一种可以模拟现实世界在智能体作用下如何演变的生成式视频 模型, 其基于视频生成技术( Sora)和自动驾驶世界模型(端到端自动驾驶,E2EAD)构建形成,能够 通 过输入图像状态与动作指令 模拟出机器人在不同动作下的未来场景,预测机器人和操作对象之间的交互效 果,帮助人形机器人完成精准交互,解决具身机器人评估难题。 本次 1X World Model 最新突破集中在 三个方面: ▍ 动作可控性:从基础动作响应到复杂物理场景精准模拟 首次公开的 1X World Model具备根据不同动作命令生成不同结果的能力 , 通过展示以四种不同轨迹为条件 对世界模型进行的不同生成过程,且每条轨迹都从相同初始帧起始,清晰地呈现了其多样化生成特性。 在模拟物体间交互这一核心价值体现上 ...
肖仰华教授:具身智能距离“涌现”还有多远?
36氪· 2025-06-27 19:30
人工智能技术发展路径 - 人工智能发展呈现两条清晰脉络:生成式人工智能(AIGC)和具身智能 前者聚焦机器认知能力 后者侧重感知与行动能力 [3][6][7] - 生成式大模型本质是让机器具备人类大脑的认知功能 包括语言生成和逻辑思考能力 具身智能则模拟人类身体感知与环境交互能力 [6][7] - 认知智能与具身智能的下一个里程碑是身心协同阶段 需实现身体与大脑的双向塑造 [3][8][9] 技术革命性特质 - 判断技术革命性的三大标准:基础性(如水电煤)、生产力指数级提升、对社会上层建筑的颠覆性影响 [9][10] - 生成式AI符合三大标准:成为新型基础设施 脑力工作效率提升百倍 渗透社会各领域 [10] - 具身智能对生产力的提升作用有限 80亿机器人产能仅相当于人口增长1-2倍 且受安全伦理制约 [11][12][13] 模型发展规律 - Scaling law主导生成式AI初期发展 依赖海量数据(万亿token)和大规模算力 [14] - 后训练范式崛起(如DeepSeek R1) 数据质量与训练策略取代规模成为关键 参数规模让位于算法设计 [15][16] - 行业大模型落地瓶颈在于数据 央国企需投入80%精力治理行业数据 高质量数据集建设成产业护城河 [18][19] 具身智能发展挑战 - 数据缺口显著:最大具身数据集仅百亿token 较语言模型差2个数量级 仿真/合成数据质量不足 [21][22] - 泛化能力受限:环境表达复杂性(如办公室场景需建模高维身体状态)导致数据采集困难 [31][32] - 突破路径包括增加训练量(虚拟试错) 借鉴人类类比/归纳机制 但需敬畏"不可言说"的交互复杂性 [33][34] 产业实现范式 - 三大技术路线并存:连接主义(神经网络)、符号主义(知识图谱)、行为主义(强化学习) 分别对应数据学习、知识学习和实践学习 [36][37][38] - 机器人应走场景化路径而非绝对通用 功能受限于物理构造 机械臂案例显示需任务与身体适配 [42][43] - 集约化需适度 扫地机器人通过附加刷头扩展功能 但强行植入多能力违背产业逻辑 [42][43] 技术风险与治理 - 物理伤害风险远低于认知风险 需警惕AI通过决策误导造成的系统性危害 [45][46] - 安全治理核心是发展AI监管师职业 建立"拔插头"机制 同时加强价值观对齐研究 [48][49] - 身体限制可成为安全保障 思想无边界才是最大风险源 [46][47] 行业影响与教育变革 - AI将冲击产业分工基础 未来工作意义转向体验而非谋生 物质极大丰富改变经济逻辑 [62] - 教育需破除内卷 在保留核心技能(写作/编程)基础上 培养AI难以替代的鉴赏/批判能力 [55][61] - 学科交叉与内心探索是重建价值体系方向 需拓展认知边界应对文明转型 [56][57]
肖仰华教授:具身智能距离“涌现”还有多远?|Al&Society百人百问
腾讯研究院· 2025-06-27 14:59
生成式AI与具身智能的发展路径 - 生成式AI以AIGC为代表,目标是让机器具备人类大脑的认知能力,包括语言生成和逻辑思考能力 [9] - 具身智能目标是让机器习得人类身体的感知和行动能力,实现与复杂世界的高效交互 [10] - 两条技术路线都是通往AGI的关键形态,下一个重要里程碑是身心协同阶段 [10] - 生成式AI已实现生产力成百上千倍提升,如合同审校、绘画制作等工作效率大幅提高 [13] - 具身智能对生产力的提升作用相对有限,可能仅相当于人口增长1-2倍的效果 [15] 技术革命的三重标准 - 基础性:技术需像水电煤一样成为基础设施 [13] - 生产力提升:需实现指数级效率提升,如AIGC极大提高论文生产力 [13] - 社会影响:需深度渗透社会各领域,改变上层建筑 [14] - 生成式AI完全符合这三重标准,是一场真正的技术革命 [14] - 具身智能对社会的影响力相对有限,更多是认知智能突破后的技术延伸 [16] 数据与模型的关系演进 - 业界观点:模型算法决定效果下限,数据决定上限 [20] - 大模型研发70-80%成本投入在数据上,剩余在算力运维和算法设计 [21] - 数据墙问题凸显:互联网公开高质量数据已接近枯竭 [22] - 后训练范式崛起:数据规模让位于质量,算力规模让位于算法设计 [18] - 数据不足可通过知识注入缓解,但培育高质量数据集仍是根本 [23] 具身智能的数据挑战 - 当前具身模型训练数据量仅百亿token级,与语言模型万亿级相差两个数量级 [24] - 数据采集面临个体体验表达困难和环境建模复杂双重挑战 [34][35] - 真机数据成本高昂,仿真数据质量有限,制约GPT时刻到来 [25] - 可能解决方案:穿戴设备普及形成动作轨迹数据 [26] - 训练策略调整:数据量不足时可增加训练量,借鉴人类泛化机制 [36][38] 产业落地逻辑 - 行业AI落地的关键在于行业数据治理和清洗 [21] - 央国企等大甲方应重点投入行业数据准备而非模型研究 [22] - 具身机器人应走场景化、任务化路径,而非追求绝对通用性 [48] - 身体构造决定功能边界,集约化需考虑物理可行性 [49] - 专用机器人价值明确,通用机器人是伪命题 [48] 技术范式演进 - 仍未跳出符号主义、连接主义和行为主义三大传统范式 [39] - 连接主义:模拟神经网络,处理感知任务 [40] - 符号主义:基于知识推理,处理认知任务 [40] - 行为主义:通过交互反馈进化,处理技能习得 [41] - 三种范式在完整AI解决方案中各有侧重 [43] 理性思维发展 - 人类能力分为知性、理性和感性三个维度 [28] - GPT4前主要训练知性能力,O1和DeepSeek R1开启理性能力 [29] - ToB应用需要专业理性思维,ToC需要共情感性能力 [31] - OpenAI布局完整:知性(GPT4)、感性(GPT-4o)、理性(O1) [31] - 国产大模型与国际差距主要在理性能力即知识应用水平 [29]
通往 AGI 之路的苦涩教训
AI科技大本营· 2025-06-26 19:10
核心观点 - Google DeepMind CEO Demis Hassabis预测未来5到10年内有50%概率实现通用人工智能(AGI)[1] - AI发展历程中最大的教训是过度依赖人类经验而非算力与数据规模[2][3] - 当前AGI探索面临技术路径的隐忧,包括强化学习的局限性、脑模拟的算力瓶颈以及NLP的认知边界问题[9][14] 技术路径分析 - **强化学习**:虽为早期突破性技术,但存在"短视"缺陷,需结合更宏观的智能框架[14] - **脑模拟**:受限于算力瓶颈与理论盲区,难以完全复现人类认知机制[14] - **自然语言处理(NLP)**:虽进展迅速,但语言能力不等同于认知能力,模型输出与真实思想存在本质差异[9][15] 行业趋势与反思 - **算力驱动**:历史表明AI突破的核心引擎是计算规模而非人类直觉[2][3] - **大模型争议**:Scaling Law下参数膨胀可能掩盖智能本质,引发"进化还是幻觉"的质疑[15] - **跨学科融合**:脑科学与AI交叉研究成为新方向,强调对世界理解与知识迁移的能力[7][13] 关键人物与事件 - **刘嘉教授**:从AI转向脑科学再回归,提出AGI需融合认知科学、心理学等多学科视角[7][13] - **AlphaGo事件**:标志性技术转折点,推动研究者重新审视智能的本质与构建路径[7] - **《苦涩的教训》**:Richard Sutton指出AI发展应放弃人类经验依赖,专注算力与数据扩展[2][3] 未来探讨方向 - AGI构建是否需突破语言模型的表层能力,实现真正的认知理解[9][15] - 技术路线选择如何平衡短期效果(如NLP)与长期智能本质(如脑模拟)[14] - 跨学科研究(脑科学+AI)对突破现有范式局限的潜在价值[7][13]
中信证券:系统级算力有望成为AI发展的下一站 建议关注国内产业链相关公司
智通财经网· 2025-06-26 08:29
系统级算力发展趋势 - AI大模型训练和推理需求持续旺盛,scaling law在后训练和在线推理方向持续演进 [1] - 底层基础设施向更大集群发展,单芯片算力提升受先进制程影响迭代速度可能放缓,系统级节点通过解决互连、网络、内存墙等问题成为重要方向 [1] - 系统级算力有望成为AI发展的下一站,国产GPU芯片公司可能通过高资源密度算力基础设施实现对海外产品的追赶和超越 [1] 系统级算力的技术需求 - 芯片层面涉及AI加速芯片、CPU芯片、Switch互连芯片、DPU数据处理芯片,国产AI加速芯片在峰值算力和软件生态上仍落后于海外旗舰产品 [2] - 互连层面NVLink5.0提供1.8TB/s双向带宽,远超传统PCIe方案十倍,国产芯片需自研技术方案助力系统集群发展 [2] - 网络层面采用RDMA技术实现远程内存访问,主流技术包括InfiniBand、RoCE等 [2] - 整机层面系统级算力需通过系统设计、规划、测试完成,与传统AI服务器相比更需垂直融合能力 [2] 系统级算力的技术示范 - 单芯片算力发展快于通信领域,通信效率成为集群效率提升关键因素 [3] - 构建大集群的两种方式:Scale up(纵向扩展)和Scale out(横向扩展),Scale up因更大带宽、更低时延和更大缓存一致性内存空间成为重要方向 [3] - 英伟达NVL72系统和华为CloudMatrix384超节点为行业发展提供示范 [3] 半导体行业的整合趋势 - 半导体行业通过收并购进行技术整合与市场拓展,头部企业通过并购获取市场机会并扩展技术能力 [4] - 英伟达收购Mellanox扩展NVLink至IB等RDMA网络,为下一代大规模计算集群做技术储备 [4] - AMD收购ZT Systems获取系统架构设计能力和数据中心解决方案交付经验,构建AI解决方案核心 [4] 未来基础设施的关键因素 - 底层通用性与技术前瞻性对未来基础设施搭建至关重要,应用发展将随之带来回报 [5]