学习

搜索文档
吉林监管局运输处党支部携手共建单位开展“七一”主题党日活动
中国民航网· 2025-06-25 12:42
党建共建活动 - 吉林机场集团运行指挥中心党委、南航吉林分公司运行指挥部党总支、吉林监管局运输处党支部共同开展"七一共学颂党恩,书香廉纪正党魂"主题党日活动 [1] - 活动通过沉浸式学习、互动式交流、情景式感悟等方式进行,包括参观数字阅读体验区、新语红色视听空间以及VR党建工作站 [2] - 党员借助VR技术"云游"红色教育基地,重走长征之路,并围绕中央八项规定精神展开探讨 [2] 活动内容 - 党员在党建学习园地面向党旗庄严宣誓,重温入党誓言,并开展"初心对话"活动,分享入党故事和工作实际 [2] - 集体观看中国共产党建党主题影片片段,回顾嘉兴南湖红船、革命年代和建设历程 [2] - 党员代表结合岗位实际分享观影感悟 [2] 活动意义 - 活动是三方党组织深化中央八项规定精神学习教育和党建共建的创新实践 [3] - 以文化浸润初心,以纪律锤炼党性,以担当践行使命,为党员上了一堂生动的"行走的党课" [3] - 吉林监管局运输处党支部将继续以党建共建为纽带,携手共建单位守牢安全运行底线,推动吉林民航在高水平安全前提下实现高品质运行 [3]
技术干货:VLA(视觉-语言-动作)模型详细解读(含主流玩家梳理)
Robot猎场备忘录· 2025-06-25 12:21
温馨提示 : 点击下方图片,查看运营团队2025年6月最新原创报告(共235页) 说明: 欢迎约稿、刊例合作、行业人士交流 , 行业交流记得先加入 "机器人头条"知识星球 ,后添加( 微信号:lietou100w ) 微信; 若有侵权、改稿请联系编辑运营(微信:li_sir_2020); 正文: 早期小编整理文章 【技术干货】"具身智能 "技术最全解析 , 本篇文章重点解读现阶段大火的 视觉-语言-动作 (VLA)模型, 一种整合视觉(Vision)、语言(Language)和动作(Action)的多模态模型 。 2022年,Google和CMU相继推出"SayCan"、"Instruct2Act" 工作,Transformer模型既看图、又读指令、还能 生成生成动作轨迹成为可能;2023年,随着谷歌DeepMind推出RT-2模型,机器人可以端到端地从给定的语言指 令和视觉信号,直接生成特定的动作,具身智能领域也迎来了一个新名词: VLA(Vision-Language-Action Model,视觉-语言-动作模型)。 如果说过去十年,机器人领域的焦点先后经历了「看得见」的视觉感知、「听得懂」的语言理解, ...
吴恩达担任董事长,这家公司面向K12学校推出AI智能体
搜狐财经· 2025-06-25 10:49
这家公司的名字,你也许没听过,但这家公司的董事长,想必你一定有所耳闻。 源:Kira Learning官网截图 美国的K12教室也正在通过AI助教进行技术升级。近日,美国教育科技初创公司Kira Learning面向K12学 校推出AI智能体。 图 从左至右:Kira董事长吴恩达、联创兼CEO Andrea Pasinetti、联创Jagriti Agrawal 据介绍,Kira能够高效处理各种教学数据,包括文本、音频、视频和图像,并提供即时反馈。无论是评 估学生的论文、分析课堂讨论,还是评估视频,Kira的AI智能体都能在几秒钟内提供分析,帮助教师做 出更快、更明智的教学决策。 Kira的董事长是机器学习和在线教育领域的先驱吴恩达,他还担任Google Brain创始人、Coursera董事长 兼联合创始人、DeepLearning.AI创始人、AI Fund董事合伙人、斯坦福大学教授和AI研究员。 美国教师也受日常繁琐任务的困扰,这些任务通常会占用教师数小时时间。据介绍,Kira的AI智能体会 执行重复性任务,包括打分、课程规划和课堂讨论分析,还会提供学生哪方面做得好、哪方面有困难的 分析,同时还支持一对 ...
一文读懂深度表格数据表示学习 | 南京大学
量子位· 2025-06-25 08:33
表格数据在AI应用中的重要性 - 表格数据在金融、医疗健康、教育、推荐系统及科学研究领域广泛应用[1] - 表格数据本质上是一种结构化的信息表示方式 在组织与表达复杂数据关系方面具有天然优势[3] 深度神经网络在表格数据建模中的发展 - 深度神经网络(DNN)凭借其强大的表示学习能力 在表格数据建模上展现出潜力[2] - DNN在表格数据相关应用中已取得显著进展 如点击率预测、异常检测、推荐系统与时间序列预测等[6] - 现代深度学习方法在多个方面的改进 推动了DNN在表格数据建模中的复兴 其性能已逐步接近甚至超过传统树模型[6] 表格表示学习方法分类 - 现有方法按泛化能力划分为三大类:专用模型(Specialized)、可迁移模型(Transferable)和通用模型(General)[2] - 专用方法是最早提出、使用最广泛的一类方法 围绕如何从特征层面和样本层面获得高质量表示展开讨论[9] - 可迁移方法基于预训练模型进行学习 能够提升学习效率并降低对算力资源和数据规模的依赖[12] - 通用模型是在可迁移模型基础上的进一步发展 将预训练表格模型的泛化能力扩展到多种异构的下游表格任务中[19] 表格数据建模的核心挑战 - 表格数据通常具有属性类型异质性 包含数值型、类别型或混合型等多种数据类型[4] - 表格数据面临测量噪声、缺失值、异常值、数据不准确以及隐私保护等问题 这些因素加大建模复杂性[4] - 表格数据缺乏空间或序列结构 使得传统深度学习架构难以直接适用[24] - 表格数据对不完整或错误的记录更加敏感 缺失值可能引入显著偏差 严重影响模型预测效果[25] - 许多表格数据集中存在类别分布不均的问题 尤其在分类任务中某些类别样本数量远少于其他类别[27] 表格数据建模的评估方法 - 单任务评估中分类任务常用准确率或错误率 回归任务常用均方误差(MSE)、平均绝对误差(MAE)和均方根误差(RMSE)[33] - 多任务评估早期主要依赖"平均排名"方法 常结合"临界差异比较"一起使用[34] - 近期研究提出更多多样化的评估指标 如算术平均指标、移位几何均值(SGM)误差等[35] - 基准测试应涵盖不同规模的数据集 包括样本量和特征数量较大的数据集以及较小规模的数据集[36] - 带语义的benchmark开始关注结合任务相关的元信息或整合属性名称 如UniTabE、OpenTabs等数据集[38] 模型选择与性能评估 - 模型选择通常在验证集上进行 包含超参数调优和提前停止两部分[41] - 为评估模型的泛化能力 常采用独立的训练/验证/测试集划分 典型比例为64%/16%/20%[42] - 近期研究表明基于固定验证集的超参数调优不够稳定 易导致对验证集过拟合[43] - 对于小规模数据集 已有多种替代评估策略 如重新打乱数据划分可提升泛化性能[43]
ToMAP:赋予大模型「读心术」,打造更聪明的AI说服者
机器之心· 2025-06-24 22:07
大语言模型的说服能力研究 - 顶尖大模型能生成条理清晰的说服语段 在Reddit等平台以假乱真 但缺乏心智感知能力成为发展瓶颈 [3] - 成功说服需精准洞察对方立场和思维过程 即心理学中的「心智理论」(ToM) 当前大模型在对话中缺乏心智感知导致两个缺陷:仅围绕核心论点讨论 无法根据论点联系提出新角度 仅重复己方观点 无法因应对方态度变化调整策略 [4][6] ToMAP模型架构创新 - 引入两大心智模块:反驳预测器通过提示词激活模型预判反对观点的能力 生成的反驳观点与真实被说服者语义高度相似 态度预测器动态评估对方对反论点的态度倾向 使用BGE-M3文本编码器与MLP分类器实现 [9] - 采用强化学习训练模型 说服力得分衡量对方态度变化 并引入格式奖励、重复惩罚等辅助信号优化生成质量 [11] 实验性能表现 - 基于Qwen-2 5-3B的ToMAP在CMV、Anthropic、args me数据集测试中 平均说服效果达17 48 显著优于基线模型和无心智模块的RL版本 超越GPT-4o与DeepSeek-R1等更大参数模型 [14] - ToMAP在10轮长对话中说服力保持稳定增长 而基准模型和常规RL模型说服力随轮次增加趋于饱和或下降 [17] - 训练轨迹显示ToMAP重复度惩罚保持低位 思考长度显著高于基线 更倾向使用理性策略而非情绪煽动 [15][16] 技术突破与行业意义 - ToMAP首次在大模型说服任务中实现对手建模与策略灵活性 通过心智模块使AI具备初步社会认知特征 [19][20] - 该框架证明小模型在适当训练和模块设计下可超越大参数模型 为构建可信AI交流系统提供新思路 [14][21]
生成式视角重塑监督学习!标签不只是答案,更是学习指南 | ICML 2025
量子位· 2025-06-24 21:36
PCL团队 投稿 量子位 | 公众号 QbitAI 生成式视角可以对监督学习重新思考乃至重新定义! 想象你在教一个学生解数学题——你会直接让他交卷对答案,还是会让他参考完整答案来理解解题思路? 如今,一种全新的监督学习范式正受到关注:标签不应只是用于对照回答的标准答案,更可能成为学习过程中的辅助参考。 受生成式一致性模型的启发,来自上海交大、SII、MIT、港中文深圳等机构的研究团队在ICML 2025最新提出预测一致性学习(PCL, Predictive Consistency Learning)。 PCL通过扩散模型的扩散过程消减标签的信息,将噪声标签(Noised Labels)引入模型的输入,使得模型在数据输入和噪声标签的共同参照 下预测完整标签,实现标签信息的复用和价值挖掘。 训练过程概览 传统监督学习中,输入 通过神经网络预测 ,通过对比和标准答案 之间的关系,来计算损失和反向传播更新模型,对应损失函数 $${\mathcal{L}}_{S L}=d(f_{\theta}(\mathbf{x}),\mathbf{y}),$$ 其中 为具体损失函数, 为神经网络函数。受生成一致性模型中一致性映射思想 ...
7B小模型超越DeepSeek-R1:模仿人类教师,弱模型也能教出强推理LLM | Transformer作者团队
量子位· 2025-06-24 21:36
核心观点 - Sakana AI推出新方法,要求教师模型像人类教师一样输出清晰的逐步解释,而非从头解决问题[1] - 新方法训练出的7B小模型在传授推理技能方面比671B的DeepSeek-R1更有效[2] - 新方法能训练比自己大3倍的学生模型[3] 方法对比 - 传统方法:教师模型通过昂贵的强化学习训练,需从头解决问题,依赖自身能力[5][6][8] - 新方法:教师模型根据已知解决方案输出逐步解释,奖励标准是对学生模型的帮助程度[9][11][12] 性能表现 - 7B的RLT教师模型训练出的RLT-7B学生模型在AIME 2024 MATH 500 GPQA Diamond Overall得分49.50,优于DeepSeek-R1训练的Bespoke-7B(46.60)[4][17] - 7B的RLT教师模型成功训练32B学生模型RLT-32B,得分73.23,优于DeepSeek-R1训练的Bespoke-32B(71.47)[4][17][18] 效率优势 - 新方法训练32B学生模型仅需单个计算节点一天时间,传统方法需数月[24] - 新方法可与传统RL方法联合使用,提升性能[22][23] 解释质量 - DeepSeek-R1输出依赖外部工具和误导性内容[26] - RLT提供简洁清晰的解释,增加逻辑步骤帮助学生[27][28]
大佬面对面!斯坦福2025 CS336课程全公开:从零开始搓大模型~
自动驾驶之心· 2025-06-24 19:47
课程概述 - 斯坦福大学2025年春季CS336课程「从头开始创造语言模型」已全面上线网络 提供完整课程视频和主页链接[2][4] - 课程目标为引导学生从零开发语言模型 覆盖预训练数据收集 Transformer构建 模型训练及部署评测全流程[5] 师资团队 - 核心讲师Tatsunori Hashimoto为斯坦福计算机科学系助理教授 研究成果累计引用超3万次 研究方向聚焦机器学习模型性能权衡[3] - 联合讲师Percy Liang为斯坦福副教授兼基础模型研究中心主任 学术引用量超10万 主导多项AI领域研究项目[3] 课程模块 - 五大模块涵盖基础 系统 扩展 数据 对齐和推理强化学习 强调实践操作与深度技术掌握[7] - 实践要求包括Python编程能力 PyTorch熟练度 系统优化经验及数学基础(线性代数 概率统计等)[7] 实践作业 - 作业1要求实现BPE分词器 Transformer架构和Adam优化器 仅允许使用PyTorch原语进行模型训练[8] - 作业2聚焦GPU加速 需在Triton中实现Flash Attention 2及分布式并行优化[8] - 作业3涉及Scaling Law拟合 学生需在有限计算预算内通过训练API收集数据点[8] - 作业4侧重数据工程 要求完成Common Crawl数据清洗 去重及有害内容过滤[8] - 作业5要求实现监督微调 专家迭代等对齐技术 在Qwen 2 5 Math 1 5B模型上运行强化学习[8] 课程安排 - 18周课程包含16次讲座和2次嘉宾分享 内容覆盖分词 GPU并行 混合专家系统 推理优化等核心技术[9] - 作业周期与课程紧密衔接 例如第5周完成作业1提交后立即发布作业2 强化学习实践贯穿后期课程[9]
0产品估值100亿美元!前OpenAI CTO的“明星创业项目”:要做“企业定制AI模型”
华尔街见闻· 2025-06-24 16:39
公司概况 - OpenAI前首席技术官Mira Murati创立的AI初创企业Thinking Machines Lab(TML)成立不到五个月已完成20亿美元融资,估值达到100亿美元 [1] - 公司目标是通过定制化AI模型助力企业实现收入增长 [1] 商业模式与技术 - TML聚焦于通过强化学习技术开发定制化AI模型,将AI模型与企业追踪的具体KPI挂钩,旨在帮助客户直接提升营收或利润 [2] - 公司采用"RL for businesses"策略,为企业提供更精准的解决方案,可能在客户支持、投资银行或零售等细分市场具备竞争优势 [2] - TML计划通过结合开源模型的特定层级缩短开发周期,采用"模型合并(model merging)"技术整合多个模型的优势,无需额外训练即可快速推出产品 [2] - 公司策略旨在更快进入市场,与现有闭源模型竞争,尽管开源模型性能稍逊,但能力已接近闭源模型 [2] 团队与潜在收购 - TML组建了一支由20多名顶尖研究人员和工程师组成的团队,成员来自OpenAI和Anthropic等领先AI公司,包括OpenAI联合创始人John Schulman等 [3] - 团队实力使TML成为大型科技公司的潜在收购目标,Meta首席执行官扎克伯格曾与Murati讨论投资或收购可能性,但谈判未取得实质进展 [3] - 谷歌云为TML提供英伟达驱动的服务器租赁服务,可能促使谷歌进一步投资,类似十多年前DeepMind被谷歌收购的模式 [3] 市场竞争与挑战 - 市场上已有其他AI初创企业(如Scale AI和Turing)涉足定制化AI咨询服务,为特定行业或企业开发专属模型 [4] - 咨询服务的规模化难度较大,利润率和增长速度可能受限,TML也在探索开发其他AI应用或软件以提供更高利润空间 [4] - 公司计划推出面向消费者的产品,具体形式尚未明确,曾考虑开发与OpenAI的ChatGPT竞争的聊天机器人 [5]
锲而不舍落实中央八项规定精神丨黑龙江双鸭山:以学促干推动学习教育走深走实 从小事入手写好“民生答卷”
新华网· 2025-06-24 16:00
新华社哈尔滨6月24日电 题:黑龙江双鸭山:以学促干推动学习教育走深走实 从小事入手写好"民生答卷" 友谊县康乐社区改造后的羽毛球馆。(受访者供图) 常来打球的当地市民李彦萍说,政府把老百姓的需求放心上,实心实意办实事,让大家打心眼里觉得温暖。 友谊县委常委、组织部部长李浩说,自学习教育开展以来,针对建筑垃圾堆积、球馆设施陈旧等问题,县里迅速响应,目前已办结22个民生事 项,解决65件群众"急难愁盼"问题。 在集贤县商贸城的菜市场里,肉类、果蔬琳琅满目,市民们正在精心挑选,可"如厕难"曾是这里商户和群众的"闹心事儿"。几天前,商贸城公厕 正式开放,白色瓷砖墙面干净整洁,洗手台、便池等设施一应俱全,让群众的"方便事儿"终于得以解决。 新华社记者孙晓宇 升级社区球馆、创新政务服务、破解群众"如厕难"……自深入贯彻中央八项规定精神学习教育开展以来,黑龙江省双鸭山市积极引导各级党员干 部下沉基层,聚焦群众"急难愁盼",以学促干推动学习教育走深走实,用实际行动书写"民生答卷"。 在友谊县康乐社区,300余平方米的羽毛球馆里热闹非凡。市民们或弓步接球,或跃起扣杀,挥动球拍享受运动快乐。这座公益羽毛球馆每天早4 点至晚9点 ...