Workflow
AI前线
icon
搜索文档
这些关于研发提效的深度实践分享,值得每一位开发者关注 | AICon
AI前线· 2025-06-18 14:06
AI赋能研发提效的技术演进与落地实践 核心观点 - AI编程正经历从Copilot辅助模式向具备自主推理能力的Agent模式跃迁,重构开发方式与人机协作[2] - 头部互联网公司在万人研发团队中已实现代码补全、技术对话、代码评审等多维度智能化落地[3][9] - Coding Agent的应用已从编码辅助扩展到研发流程优化,形成可持续的智能化体系[4] - 大模型与数字员工的深度融合正在文档设计、智能编码等场景实现可感知的效率提升[5] - 游戏开发等高复杂度场景通过知识图谱、多Agent协作等方案解决上下文限制与任务碎片化问题[6][10] 技术范式革新 - AI编程范式正从"提示-响应"的Copilot模式升级为具备自主推理、工具调用能力的Agent模式,实现从辅助执行到主动思考的转变[2] - 自然语言驱动开发将成为新趋势,Agent能感知任务上下文并重构传统开发流程[2] 规模化落地实践 - 腾讯在万人研发团队中验证了代码补全、技术对话、单元测试等场景的智能化路径,形成可复用的技术架构[3][9] - 同程旅行构建了包含代码补全、对话式编程的演进体系,通过MCP平台实现AI驱动的流程持续迭代[4] - 百度通过"大模型+数字员工"模式整合权限与工具链,在文档设计、测试生成等场景提升人机协同效率[5] 高复杂度场景突破 - 网易游戏开发出结合代码知识图谱与多Agent协作的解决方案,有效解决游戏开发中的上下文限制与知识碎片问题[6][10] - 通过自研工具链实现代码搜索、功能开发等场景的应用落地,提升团队协作效率与代码资产利用率[6] 行业应用趋势 - 头部企业已形成从单点工具到系统化流程的智能化升级路径,技术架构演进聚焦可持续迭代能力[3][4][5] - 游戏等垂直领域验证了复杂工程场景下大模型落地的可行性,为行业提供可借鉴的技术方案[6][10]
Claude时代终结?LMArena实测DeepSeek R1编程得分超Opus 4,但月暗称其新模型更胜一筹
AI前线· 2025-06-17 14:56
DeepSeek-R1(0528)性能突破 - 开源模型DeepSeek-R1(0528)在LMArena的WebDev Arena测试中以1408.84分超越Claude Opus 4(1405.51分),与Gemini-2.5-Pro-Preview-06-05(1433.16分)并列第一 [1][4] - 采用混合专家(MoE)架构,总参数量6850亿,单次推理激活370亿参数,支持128K tokens长上下文窗口,在数学推导和代码生成能力上显著提升 [9] - 在细分测试中表现:硬提示词第4、编程第2、数学第5、创意写作第6,多轮对话第7 [7] 开源与闭源模型竞争格局 - DeepSeek-R1以MIT许可证开源,性能对标Claude Opus 4和GPT-4.1,开发者社区认为其免费特性可能改变行业生态 [12][14] - 月之暗面同期发布开源模型Kimi-Dev-72B,在SWE-bench Verified测试中以60.4%得分创开源模型SOTA,超越R1(0528)的编码表现 [23][26] - Kimi-Dev-72B通过BugFixer与TestWriter双角色设计、1500亿数据中期训练及强化学习优化,实现真实仓库Docker修复能力 [28][30][31] 行业争议与动态 - LMArena测试平台被Cohere、斯坦福等机构指控偏袒科技巨头,Meta被指测试27个未公开模型变体以优化榜单排名 [17][19] - 社区对测试结果态度分化:部分开发者认为R1已具备碾压闭源模型的编程辅助能力,另一部分质疑WebDev Arena测试公正性 [16] - 月之暗面与DeepSeek的技术路线差异:前者侧重强化学习与自我博弈机制,后者聚焦训练后优化和计算效率 [26][31][32]
技术更新 or 组织重塑,企业如何用好“数据智能”?
AI前线· 2025-06-17 14:56
数据构建的挑战与趋势 - 数据构建方式正从割裂的范式向统一的训练框架演进,例如清华大学提出的直觉微调将监督微调与人类反馈强化学习融合,减少数据依赖并提升训练效率 [5] - 数据构建趋于轻量化和自动化,大量合成数据的出现,尤其是偏好标注的自动化,大大减少了人工介入 [5] - 数据量并非越多越好,越来越多团队开始重视数据蒸馏技术,从海量数据中筛选最具价值的部分,例如从50万条数据中可能仅10至20万条有效 [5] - 数据配比至关重要,训练垂直领域大模型不能完全舍弃通用数据,需合理融合通用与领域数据 [6] - 任务上的数据分布要均衡,构建模型应涵盖问答、多轮对话、文本质检等多种任务类型,从业务和任务两个维度保证数据全面性 [6] - 最关键的是数据质量,必须对数据进行筛选和清洗,剔除低质量样本,同时提升数据多样性和丰富度 [6] - 数据构建正从“重数量”转向“重质量”,对高质量标注数据的重视程度提升,对低质量、泛数据的依赖明显下降 [6][7] - 场景和领域适配的数据变得更为关键,企业级应用中通用模型常需融合特定行业知识,例如金融风控规则多样性需要精确标注,工业质检中缺陷样本稀缺 [7] - 数据相关工作“脏且累”,周期长、过程枯燥且缺乏直接成效呈现,在企业服务中真正涉及模型微调的客户比例很低,约十分之一到二十分之一 [9] - 企业内部存在大量非结构化数据,文档解析能力如表格识别、跨页拼接、段落标题识别与逻辑结构切分会直接影响大模型生成内容的准确性和可控性 [9] 数据质量与应用实践 - 高质量数据在单个样本层面信息量更大,对模型训练更有帮助,尤其是“难例”样本,即模型处理难度高、提升效果明显的样本 [24] - 整体数据集质量需任务覆盖全面,如问答、写作、对话、推理、计算等都需涵盖,且各类数据分布应均衡 [24] - 响应准确性要求高,事实错误率应低于1%,逻辑矛盾要尽量减少,通常需通过人工或交叉审核保障 [24] - 指令需具备泛化能力,训练数据应涵盖同一问题的多种提问方式,以提升模型稳定性和泛化能力 [24] - 从应用角度看,高质量数据需贴近真实业务,很多开源数据集与企业需求差距大 [24] - 结构清晰度是关键,有章节的文档比无结构文档更好,治理良好、服务于商业智能的数据库质量自然高于原始数据 [25] - 在智能问数场景中,企业底层数据治理质量不高,字段命名混乱,对语义层构建提出很高要求,导致流程复杂且调试成本高 [11] - 更务实的做法是将核心数据通过标准接口暴露,确保模型调用的是准确、可信的输入,以建立查数场景的稳定性与可控性 [11] - 货拉拉在数据准备阶段进行了大量前置工作,特别是在问题类型的分类上做了精细拆分,将问题细分为十几个类型,针对每一类准备对应数据样本 [12] - 货拉拉将训练数据构建分为训练集、验证集和测评集三类,其中训练集包含约三十万条自然语言到领域特定语言的转换样本 [13] 智能化数据管理技术演进 - Deep Research 不仅代表传统检索增强生成的扩展,更代表着大模型应用从检索辅助走向多阶段、可规划推理的质变 [4][18] - 基础大模型自身能力实现飞跃,推理深度显著增强,且对长上下文的处理能力有实质性提升,模型能真正“记住”长文档内容并在推理中利用 [17] - 当前阶段最关键的是先把效果提上来,只有当效果达到一定水平并解锁业务价值后,才有必要考虑优化成本 [19] - Deep Research 能力的另一重要意义在于显著降低构建门槛和实施成本,业务人员通过自然语言交互就能实现“七八十分”的原型效果 [20] - 在 Deep Research 框架中更强调基于标准作业程序的能力演进,通过收集和分析用户行为不断积累并优化标准作业程序,不依赖微调或大规模数据标注 [21] - 企业真正的利润来自于标准化和可规模化,大模型的角色应像水一样流向其能发挥作用的地方,而非硬性作为“主体”插入流程 [32] - 正确的方式是以业务流程为主,将大模型嵌入其中找到价值点,而非让其他人围着模型转 [32] - 货拉拉采用“场景驱动”方式,通过“智能数据实体四象限”模型辅助判断,根据数据标准化程度和是否是指标数据为不同场景制定相对“半流程化”的标准作业程序 [22][23] - 未来数据智能应用一定是“智能体 + 工作流”的模式,例如数据归因是一个有步骤、有逻辑的过程,工作流能固定复杂逻辑并具备灵活性 [30][31] 企业落地与组织影响 - 企业组织模式正从“以业务流程为中心”转向“以数据流为中心”,在数字时代企业越来越以信息的获取、加工与辅助决策为核心 [34] - 数据赋能业务越来越依赖跨部门协同与融合,业务和技术之间的界限在逐渐消融,未来有效的组织架构是业务与技术深度融合、扁平化、能快速协同的模式 [34] - 真正成功的案例中,大模型技术占比可能仅30%左右,更多价值来自于数据打通以及业务部门协同,完成一些原来“想做但做不了”的事 [35] - 过去是首席信息官推动数字化,现在是首席执行官推动智能化和大模型,以前推不动的项目现在能推得动 [35] - 大模型能力更多是一场技术升级,是改革而非革命,目前很难把所有原有业务和数据完全承接到人工智能系统里 [36] - 战略上应保持积极乐观,看到未来发展潜力;战术上则需保持一定悲观,做好边界管理,控制用户预期 [36] - 当前人工智能产品已过初期探索阶段,更大挑战是如何落地到有实际业务价值的场景中,查询数据只是第一步,真正价值是生成报表、完成数据任务或将数据分发服务业务 [29] - 很多成功的人工智能落地实践要求人工智能系统与业务共担关键绩效指标,但当前大模型幻觉难以彻底避免,要共担就必须投入大量精力降低误差 [29] - 货拉拉发现无论平台设计多简洁,用户仍觉得学习成本高,推广起来非常困难,业务用户如运营、商业智能或分析师自己去维护智能体逻辑存在挑战 [29]
特朗普AI计划在GitHub上泄露,网友怒喷用AI代码“治国”!
AI前线· 2025-06-16 15:37
AI.gov项目泄露事件 - 特朗普政府AI发展计划的核心代码库"AI.gov"在GitHub上意外泄露,后被移至归档项目[1] - 项目由美国总务管理局(GSA)与技术转型服务局(TTS)合作开发,负责人为马斯克盟友Thomas Shedd[1] - 泄露信息显示项目计划于7月4日美国独立日正式上线[2] AI.gov技术架构 - 包含三大核心组件:聊天机器人、一体化API(支持OpenAI/谷歌/Anthropic模型接入)、CONSOLE监控工具[4] - 通过Amazon Bedrock提供AI模型,部分模型已获FedRAMP认证,但Cohere模型未获认证[5] - 计划发布大模型排名,但排序标准未明确[5] 政府AI应用争议 - DOGE部门使用AI工具错误标记2000多份退伍军人事务部合同,错误率显著(3400万美元误判为3.5万美元)[9] - AI工具仅依据合同前2500词做判断,专家认为代码存在严重缺陷[9] - 开发者承认工具存在缺陷,称代码不应直接用于决策[10] 数据安全风险 - 政府整合敏感数据引发安全担忧,包括医疗记录、社会安全号等[12] - 国防部长办公室存在未加密设备连接私人网络的安全隐患[11] - Palantir构建的美国人隐私数据库被质疑采用"反向瑞士奶酪模型"[12] 行业AI应用现状 - 企业推广Copilot遭遇工程师抵制,CEO与开发者对AI认知存在断层[17] - AI代码维护性问题突出,修改时易导致系统崩溃[20] - 实际工作中AI仅减少部分编程时间(案例显示C转Java节省90%时间),但高管过度乐观[21] AI使用副作用 - 开发者出现"编程肌肉退化"现象,过度依赖Gemini导致基础能力下降[23][24] - AI生成代码存在脆弱性,需多次调试但管理层仅关注"成功"案例[19] - 非编程工作场景中AI效用有限,但企业决策层忽视这一现实[22]
游戏教父 John Carmack:LLM 不是游戏的未来
AI前线· 2025-06-16 15:37
公司背景 - Id Software成立于90年代,开发了《指挥官基恩》《德军总部3D》《毁灭战士》和《雷神之锤》系列,其中《雷神之锤》推动了GPU发展和普及,间接促成现代人工智能世界的形成[3] - Armadillo Aerospace致力于垂直起降(VTVL)火箭研发,相关工作持续十年[6] - Oculus为现代虚拟现实奠定技术基础,后被Meta收购[8] - Keen Technologies专注于AI研究,团队已有六名来自学术界和工业界的研究人员[11][12][13] 技术方向 - 不参与LLM相关工作,认为LLM"无所不知却又无所学",更倾向于通过交互式体验流进行学习[16] - 专注于游戏和虚拟环境,认为PC游戏中的超人类水平机器人作弊问题可通过云游戏流媒体解决[18] - 目标提供由混合被动和交互内容组成的虚拟学习环境,构成无限可滚动的"视频墙"[22] - 选择Atari游戏作为研究平台,因其无偏见且玩法多样,与大量研究成果可比性高[30][31] 技术挑战 - 连续高效终身单一环境多任务在线学习仍是未解决问题,现有系统无法复制猫狗的简单能力[20] - 强化学习框架存在近期偏差和灾难性遗忘问题,串行多任务学习中智能体难以保留旧技能[81][82] - 神经网络训练存在可塑性丧失现象,与生物大脑老化相似,需平衡初始学习速度与长期表现[93][94] - 离线强化学习效果不佳,因缺乏持续现实检验,可能陷入未经验证的连贯幻想世界[87][88] 算法优化 - 使用CUDA图和显式同步优化训练过程与环境交互的重叠,提高消费级硬件上的FPS[41] - 为动作添加延迟线解决现代高性能算法在延迟环境中的崩溃问题[43] - 提出新基准测试循环通过一组游戏,结合原始学习速度与避免遗忘能力[97] - 探索各向同性CNN、循环各向同性半密集CNN等新型网络架构提升图像处理性能[143][145] 实验设计 - 开发Atari 2600+游戏系统,包含摄像头、伺服电机操纵杆和运行强化学习智能体的笔记本电脑[47] - 测试八款不同游戏,关注摄像头观察、操纵杆动作、分数检测等物理硬件交互问题[50][51][55][62] - 开源相关工作,使用April Tags进行屏幕校正和分数识别[48][52] - 将硬探索游戏如《蒙特祖玛的复仇》和《Pitfall》作为长期研究课题[71]
推理、训练、数据全链条的工程挑战,谁在构建中国 AI 的底层能力?|AICon 北京
AI前线· 2025-06-16 15:37
大模型系统性问题与国产AI挑战 - 大模型发展面临推理慢、训练不稳、数据迁移难等系统性挑战 这些因素决定技术规模化落地能力 [1] - 国产AI需解决算力适配、系统容错、数据合规等现实问题 特别是摆脱对进口芯片的依赖 [1] - AICon大会将聚焦国产芯片推理适配、开源部署、训练容错机制等七大关键议题 覆盖基础设施建设全貌 [1] 国产算力与推理优化技术 - 清程极智开源赤兔推理引擎 实现在非英伟达Hopper架构及国产芯片上原生运行FP8精度模型 解决硬件成本高企问题 [4] - 华为昇腾推出DeepSeek大模型推理架构 提供性能优化方案与专家并行调度技术 加速国产算力平台部署 [5][6] - 京东零售分享LLM推理优化实践 通过请求调度与流水线执行技术 平衡高吞吐与低延迟的零售级需求 [7][8] 训练系统与开源生态 - 蚂蚁集团开源DLRover框架 解决万卡规模训练的稳定性问题 包含分布式容错与国产卡适配经验 [11] - SGLang推理引擎整合专家并行、推测解码等前沿技术 实现DeepSeek V3等开源模型低成本部署 [9][10] - 阿里巴巴探讨强化学习系统发展 涵盖RLHF架构、自对齐算法及开源生态建设方向 [8][9] 数据基础设施演进 - Zilliz推出向量数据库云原生方案 解决GenAI场景下的数据迁移、BYOC部署和Schema演进问题 [12] - 行业面临传统数据库架构不适应AI需求的问题 需构建企业级向量数据管理平台 [12] 行业动态与人才流动 - 百度大幅扩招AI人才 岗位数量增长超60% 反映行业对顶尖技术人才的激烈争夺 [12] - 阶跃星辰高管转投京东 显示头部企业间核心人才竞争白热化 [12] - ClaudeCode获企业青睐 日均使用成本达1000美元/员工 凸显高性能AI工具的商业价值 [12]
被骂“在乱讲”的专家,这次可能说对了:传统数据仓库正在被 Agentic AI 吞噬
AI前线· 2025-06-15 11:55
技术架构变革 - AI浪潮将深刻影响软件生态,传统DSS系统设计逻辑从以人为中心转向以Agent为中心,数据仓库和ETL链路将被重新设计甚至消失[1] - 传统数据仓库偏重结构与查询模式,将被Agentic Data Stack架构强调语义与响应模式取代[1][34] - Snowflake换帅事件隐喻数据仓库范式巨变,新CEO上任后公司战略关键词切换为AI-first、Agent-driven、语义导向[3] 行业演进历程 - 1970年Bill Inmon提出EDW概念奠定企业数据架构基石,主题域/数据分层/缓变维设计沿用至今[9] - 1983年Teradata引入MPP架构,处理效率较Oracle/DB2高出数倍,市值曾达102亿美元[11][12] - 2015年Snowflake以云原生分离存算架构颠覆传统DW思维,带动New Data Stack技术栈兴起[18] - 大数据时代Hadoop等技术动摇传统数据仓库地位,中国企业PB级数据平台普遍采用Hadoop/Iceberg而非MPP架构[17] Agentic AI冲击 - AI从聊天工具演进为具备感知/规划/执行能力的数字员工,2024年RAG技术普及使AI能融合企业私域知识[22][23] - 营销/客服/供应链等岗位将被Campaign Agent/Support Agent/Procurement Agent重构,传统SQL和分析报告将转为Agent的自动响应[25][27] - 数据仓库用户从人变为Agent导致传统DSS架构失效,系统需从"拉模式"转向"推模式"[30][33] 未来架构方向 - 提出Contextual Data Unit(CDU)概念:语义+数据组合单元,解决传统数据仓库对Agent不友好的问题[35] - Agentic Data Stack包含三大组件:语义交互层(Semantic Orchestrator)、数据存储层(Data Mesh)、数据处理层(Data Flow Agent)[39] - 预测Agentic Data Stack将显著降低数据仓库建设成本,使中小企业也能实现自由对话查询[40] 行业趋势判断 - 实时数据仓库层数减少反映传统模型设计跟不上业务变化,Agentic Data Stack在总账ROI上优于现有方案[44] - 技术采纳周期显示Agentic Data Stack完全普及需时,预计在实时数仓/数据湖被广泛接受后才进入主流[45][46] - 类比共享单车颠覆自行车行业,Agent时代将改变核心产品路线定义,需警惕范式转移风险[41]
阶跃星辰高管离职,跳槽京东;百度最大规模抢夺顶尖AI人才,岗位增超60%;阿里自曝:被DeepSeek逼急了 | AI周报
AI前线· 2025-06-15 11:55
阿里巴巴动态 - 阿里钉钉15年老员工元安离职前发布长文,反思阿里价值观变化并获马云回应,强调"阿里味"的核心是品德与价值认可 [2] - 阿里自曝因DeepSeek的AI模型突破感到压力,工程师春节无休加速研发,最终推出开源Qwen系列模型以推动云计算业务 [6][7] - 阿里云宣布比亚迪接入通义大模型,未来智能座舱可通过语音实现在线服务 [30] 人工智能人才与研发 - 百度启动最大规模AI人才招聘,岗位扩增超60%,AIDU计划提供万卡算力及亿级用户场景支持 [8][9] - Meta以7000万美元高薪挖角OpenAI/谷歌AI人才,部分offer达八位数年薪 [12][13] - 阶跃星辰Tech Fellow段楠离职加盟京东,负责视觉与多模态实验室 [3] 大模型与技术突破 - OpenAI发布最强推理模型o3-pro,支持复杂问题处理但限制图像生成功能,同时宣布o3降价80% [21][22] - Meta推出V-JEPA 2模型,提升AI物理世界推理能力并发布新评估基准 [28] - 字节跳动发布豆包大模型1.6及视频生成模型Seedance 1.0 pro,加速Agent应用落地 [29] 企业战略与合作 - 谷歌终止与Scale AI合作(原年采购额2亿美元),因Meta收购其49%股份致估值翻倍至290亿美元 [11] - 星巴克联合微软Azure推出AI助手"绿点助手",试点目标将订单处理时间缩短33%至4分钟 [30] - 老凤祥联合火山引擎推出AI眼镜,搭载豆包大模型支持老年人视觉/语音交互 [30] 产品与市场动态 - 云知声通过港交所聆讯,将成为"港股AGI第一股",创始人黄伟强调"做难而正确的事" [10] - 苹果WWDC25发布全系"26"操作系统,新增流光玻璃设计及端侧AI功能如实时翻译 [26][27] - 火狐AI助手Orbit因功能冗余将于6月停服,Mozilla转向浏览器内置AI开发 [18][19] 行业应用创新 - 百度爱采购发布B2B智能体,10秒生成百条多语言营销视频,已签约200家企业 [23] - 夸克推出高考志愿大模型,提供志愿报告生成等三大决策辅助功能 [24][25] - 微信"元宝AI"升级,可解析视频号内容并生成摘要与问答 [30]
智能投顾的大模型应用,为什么选择了“大小模型协同”?
AI前线· 2025-06-15 11:55
大模型在金融投顾领域的应用挑战与解决方案 - 大模型在金融投顾领域面临的最大技术挑战是如何在高合规门槛的业务中避免幻觉和误答,金融业务容错率低,错误输出可能带来法律风险 [1][2] - 大小模型协同架构通过限制大模型职责范围(任务扩写与流程编排)和核心内容交由小模型完成,在性能、准确性与合规之间找到平衡 [1][2] - 大小模型协同方案在更低算力消耗下实现更稳定、深入的回答效果,提高了回答深度/算力消耗的比率 [3][4] 大小模型协同架构的技术实现 - 架构采用模块化设计,每个环节的大小模型都是解耦且可快速替换的,例如资产配置场景可使用专训的3B或7B模型进行问题扩写 [5] - 通过专训小模型进行意图识别,精准调用对应的小模型完成任务,各环节的小参数LLM或传统小模型都可独立更新 [5] - 基础模型与应用层解耦设计提高了应用稳定性、成长性和私密性,避免过度依赖基础模型 [6] 解决幻觉问题的具体措施 - 采用大小模型映射方式和词向量匹配传统手段进行投顾任务分配 [7] - 产品设计中将不同场景(选股、配置等)分类处理,直接调用对应Agent提高命中率 [7] - 通过知识库约束回答范围、内容和黑名单词汇,避免不合规表述 [7] 实际应用效果与扩展性 - 大小模型协同方案在回答深度和合规性上优于DeepSeek 671B和Qwen72B等大模型 [8] - 方案支持基础模型无缝切换,在基础模型较差时保持专业性下限,强大基础模型时提高上限 [8] - 架构可扩展至保险、财富管理等其他金融领域,但需要为小模型建立特征向量和维护索引 [7][8] 未来AI应用架构趋势 - 未来金融行业AI架构将趋向"语言理解+工具调用"的组合形态,LLM+API将成为主流 [9] - Agent在AI架构的商业实现中越来越重要,复杂场景可能需要LLM+API+RPA组合 [9] - 新技术更可能通过LLM+API调用现有工具(如PS)而非完全替代,形成性价比更高的解决方案 [9]
“多模态方法无法实现AGI”
AI前线· 2025-06-14 12:06
生成式人工智能与AGI路径 - 当前生成式AI模型的成功被误认为通向AGI的路径 但实际是硬件规模扩展的结果而非智能问题的解决方案 [1] - 多模态方法通过组合模块化网络模拟通用智能 但本质是拼凑式策略难以实现人类水平AGI [1] - 真正的AGI需优先考虑具身性和环境互动 而非以模态为中心的拼合方式 [1] AGI的核心定义 - 完整AGI定义必须包含解决物理现实问题的能力 如修理汽车、准备食物等具体任务 [2] - AGI需要基于物理世界模型的智能形式 而非仅符号操作能力 [2][4] 大型语言模型的局限性 - LLMs通过预测token的启发式集合模拟理解 而非真实世界模型 [4] - 语言描述无法推断物理世界完整状态 奥赛罗游戏等符号领域任务与物理任务存在本质差异 [6] - LLMs将语义问题简化为语法规则 缺乏对物理世界的常识性理解 [8][10] 规模至上主义的争议 - 规模最大化方法在LLMs/LVMs中有效 但缺乏具身数据难以直接应用于AGI [17] - 多模态建模人为切断模态间自然联系 联合嵌入空间简化了真实概念关系 [17][18] - 当前模态划分可能阻碍基础认知结构的发现 人类认知由重叠结构引导多模态处理 [19] AGI的未来发展方向 - 需设计自然涌现多模态处理的架构 而非预设模态结构 [21] - 应通过具身互动过程融合模态 使用统一感知/行动系统处理文本、图像、动作等 [23] - 关键挑战在于概念整合而非数学能力 通用函数逼近器已具备但需系统性架构设计 [23] 认知科学对AI的启示 - 人类语言理解依赖独立认知系统融合 语法正确性不等于语义合理性 [10][12] - 语义学本质是理解世界本质 而LLMs仅通过语法规则模拟表面关联 [11][12] - 人类概念形成具有灵活性 能从少数样本创造新概念 当前模型仅复制已有概念结构 [20]