Workflow
学习
icon
搜索文档
LeCun团队揭示LLM语义压缩本质:极致统计压缩牺牲细节
量子位· 2025-07-04 09:42
语义压缩研究 - 人类具备将不同事物归类到高级概念(如"水果")的语义压缩能力,即使面对新词汇也能通过语义线索快速分类 [1][2][3] - 图灵奖得主LeCun团队提出信息论框架,对比人类与LLM在语义压缩中的策略差异:LLM偏向统计压缩,人类更注重细节与语境 [4][5][17] 研究框架设计 - 构建包含1049个项目、34个语义类别的人类概念分类基准,整合认知科学经典研究数据,包含典型性评分以反映人类概念结构 [5][6][7] - 选取30+种LLM(参数规模3亿至720亿),包括BERT、LlamA、Gemma等,从嵌入层提取静态词元表示以确保与人类分类实验基准一致 [8] - 引入信息论框架,结合速率失真理论和信息瓶颈原理分析压缩效率与语义保真度的权衡 [9][12] 核心研究发现 - LLM概念分类与人类语义分类的对齐度显著高于随机水平,验证其基本语义组织能力 [10][11] - LLM难以处理细粒度语义差异,其内部概念结构与人类直觉不符,典型性判断与余弦相似度的相关系数较弱且大多不显著 [14][16] - 关键差异:LLM追求最小化冗余信息的统计压缩,人类则保持适应性与上下文完整性 [17] 研究团队背景 - 由斯坦福大学与纽约大学联合开展,第一作者为斯坦福博士后Chen Shani,Yann LeCun作为合著者参与 [19][20][22] - LeCun是Meta首席AI科学家、CNN架构先驱,与Hinton、Bengio共获2018图灵奖,推动深度学习工业应用与自监督学习发展 [24][25][26][27][28] 补充信息 - 论文发布于arXiv(编号2505.17117),研究引发AI社区广泛讨论 [29]
民生实事稳推进,监督助推见实效,省人大常委会——以高质量人大监督守护群众“稳稳的幸福”
海南日报· 2025-07-04 09:14
民生实事项目进展 - 文昌市琼文中学热水供应系统基本建成 将于秋季学期为400多名住校学生提供洗浴热水 原系统仅能储存5立方米 [1] - 海南省计划2025年为不少于100所寄宿制中小学校的5000间宿舍提供热水洗浴供应 提高寄宿生活质量 [1] - 寄宿制学校宿舍热水洗浴供应是2025年十项省级民生实事项目之一 项目进度受群众高度关注 [1] 监督机制与资金管理 - 海南省人大常委会建立对口督办监督机制 围绕项目进度 资金管理 项目质量 效益等方面开展监督 [1] - 省人大常委会预算工委推动预算联网监督系统与财政预算一体化系统互联互通 对民生实事项目预算安排及支出实现精准识别 实时监控 [2] - 系统向常委会领导和代表工委报送专报反映资金执行情况 同时发函提醒职能部门加快支出 提高资金使用效益 [2] 调研与问题解决 - 省人大常委会组建"民生实事项目人大代表票决制研究"调研组 深入基层剖析问题 优化票决制工作 [3] - 调研聚焦项目投运时间 运维费用保障 票决制改进等核心问题 旨在推动项目可持续性 [3] - 人大代表表示将履行监督职责 提出符合实际发展的建议 推动项目快速见效 [3]
全省各地集中开展党员教育系列活动
大众日报· 2025-07-04 09:07
全省各地集中开展党员教育系列活动 榜样故事是最生动的教材,榜样人物是最好的师资。各地将"党课开讲啦"与"学习身边榜样"活动融 合开展,让榜样讲党课、让党课讲榜样。截至6月底,全省累计开展各类讲党课活动3.1万余次,受训党 员430余万人。 聊城市逐级开展党课评选,在7月1日当天,举办"向孔繁森同志学习30周年系列党课"第一讲,随后 在全市各级党组织全面展开。济宁市紧扣"我心向党 时代建功"主题,深入挖掘党员干部传承红色基 因、矢志拼搏奉献的生动事迹,形成党课近200部。枣庄市组织各级党组织书记、榜样人物走上讲台, 形成"人人讲党课、处处是课堂"的浓厚氛围。荣成市举办"党课开讲啦"微党课大赛,并将优秀党课送到 基层一线。一堂堂内容实、形式新、走心动情的党课在全省各地广泛开讲。 从榜样党员拓展到榜样支部,各地以"我和我的支部"活动为载体,策划开展经验交流、风采展示、 擂台比武等形式多样的支部活动。省委组织部在"灯塔-党建在线"平台开展"我和我的支部——支部工作 法"案例征集,收到支部主题图文、视频等作品420余部。 省生态环境厅充分挖掘鲜活支部实践案例,并在网上开设专栏进行展播,带动更多支部创新实践, 推动美丽山 ...
小米社招&校招 | 自动驾驶与机器人具身智能算法研究员 (VLA方向)
具身智能之心· 2025-07-03 21:36
职位概述 - 公司正在招聘研究员/科学家加入前沿探索团队 专注于构建下一代自动驾驶与机器人的"大脑" 研究方向为具身基座模型(Embodied Foundation Model) 深度融合视觉-语言-行动(VLA)能力并具备卓越空间感知与推理能力 [1] 核心职责 - 前沿算法研究:设计实现领先的具身多模态大模型 突破现有VLA框架 构建能理解复杂三维世界并进行长时序多步骤任务规划的世界模型(World Model) [2] - 核心模型能力攻关:主导多模态场景理解(融合视觉/语言/雷达信息) 复杂语义推理与决策(解析抽象指令生成可解释行动序列) 学习与适应机制(强化学习/模仿学习/自监督学习) [3] - 技术路线规划:构建可泛化高效率的具身智能基座模型 支撑未来1-3年技术演进 探索自动驾驶与通用机器人领域的统一应用潜力 [3] - 学术影响力建设:与全球顶尖高校合作研究表征学习/因果推理/世界模型等长期议题 在CVPR/NeurIPS/ICLR等顶级会议发表论文 [3] 任职要求 - 教育背景:需计算机科学/人工智能/机器人学/自动驾驶领域博士学位或同等深度研究经验 [4] - 研究经验:需满足以下至少一个方向——多模态大模型(VLM/VLA构建经验) 自动驾驶具身智能(熟悉Emma/Gemini Robotics等基座模型) 强化学习(精通PPO/SAC算法及RLHF应用) [5] - 三维视觉能力:需掌握3D计算机视觉/几何学/空间推理 熟悉NeRF/3D Gaussian Splatting等场景表示技术 [6] - 学术能力:需在NeurIPS/CVPR/ICCV等顶会以主要作者发表论文 或相关竞赛获奖 具备跨学科整合能力 [7] 加分项 - 技术基础:精通Python/PyTorch框架 具备大规模数据处理与高效模型训练能力 [10] - 专项经验:有World Model理论研究 亿级参数大模型预训练(含分布式训练) 真实机器人平台(Isaac Sim/MuJoCo/CARLA)算法部署经验 [11] - 社区贡献:在相关开源项目有广受认可的贡献 [11] 工作安排 - 工作地点以北京为主 少量上海职位 [9]
卡耐基梅隆大学!Human2LocoMan:通过人类预训练学习多功能四足机器人操控
具身智能之心· 2025-07-03 21:36
点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Yaru Niu等 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 出发点与工作背景 四足机器人虽在复杂环境中移动能力出色,但赋予其可扩展的自主多功能操作技能仍是重大挑战,为此本 文提出一种用于四足操作的跨实体模仿学习系统,该系统利用从人类和配备多种操作模式的四足机器人 LocoMan 收集的数据,通过开发远程操作和数据收集管道来统一并模块化人类和机器人的观察空间与动作 空间,同时提出高效模块化架构以支持不同实体间结构化模态对齐数据的联合训练和预训练,还构建了首 个涵盖单手和双手模式下各种家庭任务的 LocoMan 机器人操作数据集及相应人类数据集;实验在六个真实 世界操作任务中验证,与基线相比整体成功率平均提升 41.9%、分布外场景提升 79.7%,利用人类数据预训 练后整体成功率提升 38.6%、分布外场景提升 82.7%,且仅用一半机器人数据就能持续实现更好性能。 我们的代码、 ...
你被哪个后来知道很致命的BUG困扰过一周以上吗?
自动驾驶之心· 2025-07-03 20:41
作者 | hzwer 黄哲威 编辑 | 自动驾驶之心 原文链接: https://www.zhihu.com/question/535225379/answer/1919097852895958495 点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 本文只做学术分享,如有侵权,联系删文 来点强化学习笑话 鼓励一个走迷宫 AI 尽量去那些没见过的场景,结果 AI 找到了一个迷宫里的电视,不用动就能不断地 见到新东西 《智能体只想看电视》 模型训练很慢,随便写点 bug 很多天以后才会观察到迹象 我入门强化学习做的项目 NIPS2017-LearningToRunACE,是在虚拟环境训练一个机器人跑步,要在规定时 间跑得最远,模型输入就是各个机器人关节的速度位置,障碍物的位置等等,然后输出肌肉的舒张收缩控 制量 当年强化学习搭好框架以后,基本上就是要设计奖励或者说学习目标 先写个速度最快的学习目标 -> 学了两天一看,模型学会了跳远然后摔倒,因为蹦出去那一下挺快的摔倒惩 罚搞高点 -> 模型学会扎马步 换个惩 ...
中美AI差距有多大,AI竞争焦点在哪?《全球人工智能科研态势报告》全球首发
钛媒体APP· 2025-07-03 18:36
全球AI科研态势 - 报告基于2015-2024年96961篇AI领域文献分析,由联合国工业发展组织与东壁科技数据联合发布,采用东壁指数评价体系 [2] - 全球AI科研演进分为四个阶段:初始起步期(2015-2016年论文量4421→3628篇)、快速发展期(2017-2019年突破万篇)、成熟高峰期(2020-2023年达17074篇)、波动调整期(2024年回落至14786篇) [5][6] - 技术路径从传统机器学习(2015-2017)→深度学习/计算机视觉(2018-2020)→大语言模型/生成式AI(2021-2023)→可解释性AI/多智能体系统(2024-) [6] 中美AI人才对比 - 全球AI人才57.7%集中在中美两国,美国6.3万人领先,中国5.2万人以28.7%年复合增速追赶 [7][8] - 美国形成"人才旋转门"机制(高校企业流动率37%),中国互通率不足15% [10] - 华人学者在美表现突出:全球百人榜中20位在美学者里华人占10位,女性榜11位在美学者含3位华人女性 [3] 机构与企业表现 - 顶尖机构榜:中国占38席(中科院2386人才/4639篇论文),美国35席(总论文35117篇/被引228万次) [7] - 美国企业学术产出优势显著:谷歌(2895篇)+微软(1582篇)+Meta(1419篇)总量是中国TOP3企业(腾讯1354+阿里1034+华为885)的1.8倍 [9][10] - 中国企业应用导向突出:计算机视觉论文比美国高40.8%,知识图谱高50.1%,在自动驾驶/移动支付等场景落地强劲 [11] 技术发展趋势 - 深度学习关键词频率十年增长84倍,2018-2023年均增速217%,2024年进入平台期(增速30%) [14] - 计算机视觉形成"目标检测(78%热词)-语义分割-视觉应用"闭环,语义理解类关键词2022年后年均增45% [14] - Transformers技术2022年后崛起,工程化关键词如特征提取/优化持续升温 [15] 区域与性别特征 - 亚太创新中心崛起:北京/上海/深圳/新加坡/首尔进入全球20大人才聚集区,微软在华部署714人占其全球AI人才29% [13] - 中国AI女性人才占比仅9.3%(美国20.1%),头部企业女性占比6.1%远低于谷歌/微软的18.7% [12][13]
上海交通大学发表最新Nature论文
生物世界· 2025-07-03 17:38
热纳米光子学与机器学习结合的研究突破 - 热纳米光子学在能源技术和信息处理等领域实现了根本性突破 但光谱工程长期受限于反复试验的方法 而机器学习在纳米光子学和超材料设计中展现出强大能力 [2] - 开发通用设计方法面临重大挑战 包括预定义几何形状和材料的限制 局部优化陷阱以及传统算法的局限性 [3] 研究团队与论文发表 - 上海交通大学周涵教授、张荻教授 新加坡国立大学仇成伟教授 德克萨斯大学奥斯汀分校郑跃兵教授作为通讯作者 上海交通大学Chengyu Xiao为第一作者 于2025年7月2日在《Nature》发表相关研究论文 [3] - 论文标题为《Ultrabroadband and band-selective thermal meta-emitters by machine learning》 提出基于机器学习的通用框架设计超宽带和带选择性热元辐射源 [3] 机器学习框架的创新性 - 研究团队提出非传统机器学习范式 利用稀疏数据覆盖三维结构复杂性和材料多样性 实现多参数优化 [5] - 框架具备双重设计能力:1)自动逆向设计超结构和材料组合以实现光谱定制 2)通过三平面建模方法设计三维元辐射源 突破传统平面二维结构限制 [6] - 展示了七种概念验证型元辐射源 在光学和辐射冷却性能上超越当前最先进设计 [6] 研究意义与通用框架 - 提供了设计制造三维纳米光子材料的通用框架 通过扩展几何自由度和维度以及全面材料数据库促进全局优化 [7] - 论文链接:https://www.nature.com/articles/s41586-025-09102-y [8]
AI 编程十字路口:为什么说 Copilot 模式是创业陷阱?
机器之心· 2025-07-03 16:01
行业现状与公司定位 - 当前AI编程赛道普遍聚焦于提升程序员效率的"副驾驶"模式,如GitHub Copilot等产品[2] - 蔻町智能选择差异化路径,定位为端到端软件生成平台,直接解决"不写代码"问题[2][11] - 公司将AI编程划分为L1-L5五个阶段,主流产品处于L2阶段,而AutoCoder直接瞄准L3级能力[13][14] 技术架构创新 - 认为Transformer架构仍处"婴幼儿期",现有模型存在知识压缩效率低和黑盒问题[5] - 自研基座模型采用PLE架构,相比MoE/MMoE实现任务共性与个性的精细化提取[6] - AIGCoder模型通过解耦专家模块和定制化门控,训练效率比基线提升1.3倍[7][8] 市场竞争策略 - 反对"避开大厂赛道"论调,主张通过解决更复杂问题建立护城河[10][11] - 认为L2级Copilot产品是"低垂果实",大厂在IDE整合方面具有天然优势[15] - 端到端生成技术可规避与大厂在L2赛道的直接竞争[12][14] 市场机会判断 - 预测个性化应用市场将爆发,新增需求规模将数倍于存量替代[17][18] - 类比滴滴/美团案例,认为技术突破将释放被压抑的中小企业数字化需求[18] - 海外同类产品访问量已达GitHub的1/10,验证增量市场潜力[19] 产品定位与特性 - AutoCoder是全球首款前后端一体化软件生成平台,可同步输出前端+数据库+后端[19] - 目标用户包括非技术背景的小企业主和初创团队,降低开发门槛[19] - 采用"生成替代调试"理念,通过零边际成本实现快速迭代[20]
新时代终身学习体系构建视域下继续教育与职业教育融合发展路径探究
央视网· 2025-07-03 15:07
继续教育与职业教育融合发展 核心观点 - 继续教育与职业教育存在资源配置、培养目标和制度衔接的分离问题,制约终身学习生态构建 [1] - 推动二者深度融合是解决教育供给与需求结构性矛盾的关键途径 [1] - 需从顶层设计、资源整合、模式创新和制度保障四个维度推进 [1] 顶层设计 - 建立跨部门统筹协调机构,由教育行政部门牵头,联合人社部门、行业企业、院校等多方力量 [2] - 制定融合发展战略规划,明确指导思想、基本原则、主要目标和重点任务 [2] - 构建定期沟通协调机制,强化信息共享与协作配合 [2] 资源整合 - 构建师资共享机制,职业院校与继续教育机构互派教师交流任教 [3] - 联合开展教师培训和教研活动,共同开发课程与教学方法 [3] - 课程资源建设打破壁垒,组建开发团队设计针对性强的课程体系 [3] - 教学设施与实践基地统筹规划,共享实训基地、实验室和文献资源 [4] 模式创新 - 针对在职人员开设灵活教学形式,如周末班、晚间班和在线课程 [5] - 对应届毕业生强化职业技能培养,加强与企业协作引入实际项目 [5] - 采用项目式学习、案例教学和情景模拟等多样化教学方法 [5] - 推进订单式培养和现代学徒制,实现学校教育与企业培训结合 [6] 制度保障 - 建立跨机构协同管理机制,明确各方权责分工 [7] - 制定课程互认与学分转换制度,统一学分认定标准 [7] - 构建全过程质量监控体系,引入企业参与实践技能考核 [7] - 设立融合发展专项基金,资金来源包括政府拨款、校企合作收入和社会捐赠 [8]