Workflow
深度学习
icon
搜索文档
北大校友、华人学者金驰新身份——普林斯顿大学终身副教授
机器之心· 2025-10-04 13:30
金驰教授学术晋升与贡献 - 华人学者金驰在普林斯顿大学晋升为终身副教授,任命于2026年1月16日正式生效[1][4] - 金驰于2019年加入普林斯顿大学电气与计算机工程系担任助理教授,在6年任期内AI学术影响力迅速提升[3] - 其晋升是对其在机器学习理论领域所做基础性贡献的高度认可,这些贡献为当前大语言模型的崛起提供了关键数学基石[4] - 金驰与杨笛一、杜少雷等华人学者于2024年获得斯隆奖[6] - 在Google Scholar上,其论文总引用次数已达13,588次[27] 核心理论贡献:非凸优化 - 金驰的研究解决了深度学习革命中的一个根本问题:为何像随机梯度下降这样简单的优化器能有效训练大规模非凸模型[8][9] - 其工作证明,只要存在少量噪声,简单的梯度方法就能有效逃离损失函数景观中的鞍点,并在多项式时间内继续向更优区域探索[12] - 代表性论文《How to Escape Saddle Points Efficiently》(ICML 2017)被引1,111次,《Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent》(COLT 2018)也是该领域奠基性工作[14][17] - 该理论成果解释了简单算法在复杂问题上表现出的“不合理的有效性”,让公司和研究机构敢于投入数十亿美元进行模型训练,确信底层优化过程稳健[17] 核心理论贡献:强化学习 - 金驰的研究为强化学习核心算法的样本效率建立了严谨证明,推动了理论突破[10][19] - 其工作首次证明了无模型算法在复杂设定下具备样本效率,达到了近乎最优的遗憾界限[22] - 代表性论文《Is Q-learning Provably Efficient?》(NIPS 2018)被引1,113次,《Provably Efficient Reinforcement Learning with Linear Function Approximation》(COLT 2020)被引997次[20][22][27] - 该理论保障为开发更稳健、可靠的强化学习算法提供指导,确保其能在高风险、关键应用中安全部署[23] 学术背景与影响 - 金驰拥有北京大学物理学学士学位和加州大学伯克利分校电气工程与计算机科学博士学位[25] - 其博士导师为机器学习领域泰斗Michael I Jordan教授,早期多篇关键论文均与Jordan合作完成[25] - 金驰团队近期领衔开发了最强开源数学定理证明模型“哥德尔-Prover”,其32B参数模型性能大幅超越前代SOTA DeepSeek 671B模型[31]
吴恩达执教的深度学习课程CS230秋季上新,新增GPT-5专题
机器之心· 2025-10-04 11:38
课程概述与更新 - 斯坦福大学CS230深度学习旗舰课程已更新至2025年秋季版,由吴恩达执教 [1] - 课程采用翻转课堂模式,学生需提前在Coursera上观看deeplearning.ai专项课程视频,再参加线下课程 [3] - 课程核心框架与往年相似,但针对最新AI发展进行了更新,最大变化是新增了GPT-5专题章节 [4] 2025秋季版核心更新 - 新增深入探讨OpenAI于2025年8月发布的GPT-5模型的专题章节,内容覆盖其特性、过度拒绝问题、安全行为机制、微调技术及创新的agentic workflows [4] - 增强了对生成模型的讲解,并整合了最新的RAG和AI Agents等热门技术,结合GPT-5进行案例分析 [6] - 更注重AI项目开发全生命周期,强调从科学、工程到决策的完整项目技能,推荐使用Workera等前沿评估工具 [6] 课程结构与师资 - 课程从9月底开始,持续约10周,包含编程作业、测验和最终的大型项目 [15][16] - 师资包括人工智能领域顶尖专家吴恩达(斯坦福大学客座教授,Coursera和DeepLearning.AI创始人)以及Kian Katanforoosh(斯坦福大学讲师,Workera创始人兼CEO) [15] 课程核心主题 - 覆盖从基础理论到前沿应用的完整知识体系,包括神经网络与深度学习基础、神经网络优化技术、机器学习项目构建策略 [18][20] - 深入讲解卷积神经网络(CNN)在图像分类等领域的应用,以及循环神经网络(RNN)在自然语言处理等序列任务中的应用 [20] - 探索前沿高级主题,如生成对抗网络(GANs)、深度强化学习、对抗性攻击,并提供行业与学术洞见及AI职业发展建议 [20]
国庆长假充电指南:Ilya Sutskever's Top 30 论文阅读清单
锦秋集· 2025-10-01 21:25
文章核心观点 - 文章推荐了一份由Ilya Sutskever精选的30篇AI领域前沿论文合集,该合集覆盖了近15年AI发展的里程碑成果,以"技术底层-能力突破-场景落地"为主线,串联了AI从感知智能到认知智能的关键跃迁 [4] - 该论文合集旨在帮助投资者、从业者与研究者系统梳理AI技术演进脉络,深刻理解当前AI产业落地的机遇与挑战,实现专业能力的高效提升 [1][5] - 合集内容不仅清晰拆解了残差映射、动态指针网络等专业术语的技术逻辑,还通过论文中的实验数据和架构设计,为从业者提供从理论到落地的参考路径 [5] 论文合集技术框架 - 合集涵盖奠定深度学习基础的CNN、RNN,重构自然语言处理领域的Transformer与自注意力机制,以及推动RAG、多步推理等前沿方向的核心研究 [4] - 每篇论文都是对应技术领域的奠基之作,直接关联当前AI产业落地的核心能力底座,包括《GPipe》中的并行训练方案如何降低大模型算力成本,《Retrieval-Augmented Generation》如何解决AI幻觉问题以适配金融、医疗等高精度场景 [4][5] 代表性论文技术要点 深度学习基础架构 - ImageNet Classification with Deep Convolutional Neural Networks论文提出的CNN架构包含5个卷积层和3个全连接层,在ILSVRC-2010数据集上top-5错误率为17.0%,显著优于此前方法 [48][52] - Deep Residual Learning for Image Recognition提出的残差网络通过残差块简化了深层网络训练,152层ResNets在ImageNet等数据集上性能优于VGG nets [73][77] - Recurrent Neural Network Regularization提出将dropout技术应用于LSTM的新方法,在Penn Tree Bank数据集上词级困惑度显著降低 [21][24] 注意力机制与Transformer - Attention is All You Need完全依赖自注意力机制提出Transformer架构,在WMT 2014 English-to-German翻译任务中BLEU分数达到28.4,比当时最先进模型高出2个多BLEU点 [105][117] - Neural Machine Translation by Jointly Learning to Align and Translate引入注意力机制解决固定长度向量瓶颈问题,在WMT '14 English-to-French翻译任务上BLEU分数显著提升 [119][126] 模型扩展与优化技术 - GPipe通过微批量流水线并行技术实现大型神经网络高效训练,支持训练包含60亿参数、128层的Transformer模型,在ImageNet-2012数据集上top-1准确率达到84.4% [62][72] - Scaling Laws for Neural Language Models发现模型性能与参数规模遵循幂律关系,更大规模模型具有更高样本效率,在固定计算预算下训练极大型模型是最优策略 [212][218] 特定应用领域突破 - Neural Message Passing for Quantum Chemistry提出的MPNNs框架在QM9数据集上13种性质中有11种达到化学精度,为分子性质预测提供强大工具 [94][101] - Deep Speech 2端到端语音识别模型在英语和普通话上均实现高准确率,在WSJ、LibriSpeech等基准测试中性能超过人类转录员 [203][209] - Pointer Networks提出新型神经架构解决输出词典大小可变问题,在计算平面凸包、德劳内三角剖分等几何问题上性能显著优于传统序列到序列模型 [37][45] 技术演进趋势 - 从传统神经网络到残差网络、注意力机制的演进表明,通过架构创新可有效解决梯度消失、长期依赖关系等核心挑战 [73][105] - 模型规模与性能关系研究为大规模神经网络训练提供理论指导,计算效率最优策略推动行业向极大型模型方向发展 [212][224] - 多令牌预测等新型训练方法重新定义LLMs处理文本方式,通过并行预测多个未来令牌提升模型效率和速度 [259][264]
革命就要有人牺牲,最后一次人工智能革命牺牲的是谁的命?
搜狐财经· 2025-10-01 14:01
人工智能革命被视为人类社会的最后一次技术革命,这一观点由华为首席执行官任正非提出,他认为人 工智能发展将经历数十年乃至数百年,并可能伴随能源核聚变的突破。在这一革命进程中,技术突破往 往伴随着牺牲,具体表现为科研人员在推动前沿应用时承担的风险。 人工智能革命中具体的牺牲案例:在推动人工智能技术(尤其是国防应用)时,已有专家因公牺牲。代 表性的案例是冯旸赫副教授:冯旸赫的牺牲:他是中国著名指挥控制和人工智能领域专家,任职于国防 科技大学,专注于兵棋推演、智能辅助决策等军事人工智能研究。2023年7月1日,他在北京执行任务期 间因车祸不幸因公牺牲,年仅38岁。官方通报称其为"因公牺牲",强调其在人工智能军事应用领域的贡 献,例如提升国防系统的智能决策能力。 尽管有猜测(如境外势力干预或保护国家机密),但这些未被证实;官方与可信来源均以突发事故定 性,未指向外部阴谋。人工智能革命作为潜在的最后一次技术革命,其发展依赖于无数科研工作者的奉 献与风险承担。冯旸赫的牺牲是这一进程中已知的突出案例,凸显了技术前沿探索的代价。未来,随着 人工智能在国防等领域深化应用,确保科研人员的伦理保护与技术安全至关重要 人工智能革命作为 ...
英伟达自动驾驶算法工程师面试
自动驾驶之心· 2025-09-30 07:33
公司招聘流程 - 公司招聘流程包括笔试和五轮技术面试 [3] - 笔试包含三道算法题,涉及图搜索、模拟和动态规划,难度为LeetCode中等水平 [4] - 每轮面试均包含1-2道算法题,涉及链表操作、动态规划、堆排序和DFS等 [3][6][8][11][14] 技术面试内容 - 面试问题涵盖项目经验、规划控制算法和深度学习等多个技术领域 [5][8][11][12] - 规划控制相关问题包括MPC优化问题构造、Hybrid A*算法流程和运动学约束算法改进等 [5][8][12] - 深度学习相关问题涉及目标检测、关键点检测和图像处理等 [8][11] 算法与数据结构 - 笔试算法题通过率分别为90%、0%和70%,主要考察动态规划和异或操作 [4] - 面试算法题包括链表合并、棋盘路径规划和TopK问题等,要求实现多种解法和优化 [6][8][11][14] - 算法实现要求涵盖递归、迭代、记忆化搜索和STL容器应用等 [8][11][14] 职位与团队 - 公司职位划分非常细致,专注于特定技术方向如规划控制和自动泊车 [3][7][12] - 团队合作紧密,工作中会参考学术论文并开展组内组间协作 [9][13] - 招聘流程包含英文技术面试,由技术主管考察项目经验和算法基础 [14] 行业技术趋势 - 自动驾驶技术栈呈现趋同态势,技术方案向统一化方向发展 [22] - 行业出现One Model、VLM和VLA等技术趋势,技术壁垒不断提高 [22] - 技术发展方向涵盖端到端自动驾驶、大模型和多模态3D目标检测等多个领域 [27]
70后博士从车库创业,跑出一家IPO,公司3年亏超6亿
21世纪经济报道· 2025-09-28 21:37
编辑丨骆一帆 港股又迎来一家自动驾驶公司。 近日,魔视智能科技(上海)股份有限公司(下称"魔视智能")向港交所递交上市申请。经历8轮融资 后,这家由上海交大博士带领的智驾企业终于要开始冲刺资本市场了。 不过,虽然已交付逾330万套解决方案、用于92款车型。但激烈的市场竞争下,魔视智能过去3年累计亏 损超6.6亿元,尚未实现盈利。 图源:公司官网 记者丨邓浩 上交大博士车库创业 魔视智能成立于2015年,是一家AI创新驱动的智能驾驶解决方案提供商,主要为主机厂及一级供货商 提供具备L0-L4级智能驾驶功能的一体化软硬件解决方案。 创始人虞正华出生于1972年,有丰富的学界和产业界经验,魔视智能是其二次创业的产物。虞正华拥有 上海交通大学模式识别博士学位,并曾任博康智能副总裁、澳大利亚国家信息通信技术研究院 (NICTA)高级研究员、新南威尔士大学博士生导师等职。 | 姓名 | 职务 | 任郎日期 | 性别 | 出生年份 | | --- | --- | --- | --- | --- | | > 虞正华 | 董事会主席 | | | 1972 | 虞正华第一次创业是2008年,当时主要瞄准的是把AI应用到智能交通领 ...
从车库创业到冲刺港股,魔视智能3年亏超6.6亿元
21世纪经济报道· 2025-09-28 18:42
港股又迎来一家自动驾驶公司。 近日,魔视智能科技(上海)股份有限公司(下称"魔视智能")向港交所递交上市申请。经历8轮融资后,这家由上海交大博士 带领的智驾企业终于要开始冲刺资本市场了。 不过,虽然已交付逾330万套解决方案、用于92款车型。但激烈的市场竞争下,魔视智能过去3年累计亏损超6.6亿元,尚未实现 盈利。 (图片来源:公司官网) 上交大博士车库创业 魔视智能成立于2015年,是一家AI创新驱动的智能驾驶解决方案提供商,主要为主机厂及一级供货商提供具备L0-L4级智能驾驶 功能的一体化软硬件解决方案。 创始人虞正华有丰富的学界和产业界经验,魔视智能是其二次创业的产物。虞正华拥有上海交通大学模式识别博士学位,并曾 任博康智能副总裁、澳大利亚国家信息通信技术研究院(NICTA)高级研究员、新南威尔士大学博士生导师等职。 虞正华第一次创业是2008年,当时主要瞄准的是把AI应用到智能交通领域,诸如电子警察,交通事故监测这类项目,并最终在 2015年前后登陆了上交所主板。 那个时期,由于ImageNet上AlexNet的卓越表现,正在带动深度学习的兴起。彼时的虞正华也与同事做了个demo,验证深度学习 是否可 ...
2025全球前2%顶尖科学家榜单发布,清华国内第一、Bengio全球前十
36氪· 2025-09-28 11:32
全球顶尖科学家榜单发布 - 斯坦福大学与爱思唯尔联合发布2025全球前2%顶尖科学家榜单 基于标准化引文指标识别全球顶尖2%科学家 使用终身职业生涯和单一年度引文数据 在22个科学领域和174个子领域评估研究影响[1][20][22] - 排序基于复合指标c-score 综合考虑总引用次数 NC 引用次数的Hirsch H指数 H 引用次数的Schreiber合作作者调整后的Hm指数 Hm 科学家作为唯一作者的论文总引用次数 NCS 科学家作为唯一作者或第一作者的论文总引用次数 NCSF 科学家作为唯一作者 第一作者或最后作者的论文总引用次数 NCSFL[22] - 通过六个单调递增指标选出排名前3万名科学家 计算职业生涯整体影响力的复合指标公式通过对6个指标求和得出[22] 中国学者表现 - 中国共有1435人入选终身影响力榜单 2270人入选年度影响力榜单[2] - 清华大学以746位学者入选 全球大学排名第四 仅次于哈佛医学院 工程学院和牛津大学 超越斯坦福大学的718位[3][5] - 南京大学周志华教授全球排名526位 腾讯张正友博士全球排名969位 入选终身科学影响力排行榜前1000[5] - 周志华教授同时位列年度科学影响力排行榜第182位 张正友博士位列第588位[6][7] 顶尖科学家个人成就 - 周志华教授现任南京大学副校长 国际人工智能联合会理事会主席 ACM AAAAI IEEE Fellow 谷歌学术引用总数超过108,482次 h指数132 i10指数492 主要研究人工智能 机器学习与数据挖掘 著有《机器学习》等四部中英文著作[7][9][10] - 张正友博士现任腾讯首席科学家 腾讯Robotics X实验室主任 ACM/IEEE Fellow 谷歌学术引用总数80,397次 h指数108 i10指数346 是世界著名计算机视觉 语音处理 多媒体技术和机器人专家 发明了普遍采用的"张氏方法"摄像机标定法 2013年获IEEE Helmholtz时间考验奖 2025年获AISTATS时间考验奖[12][13][14] 全球顶尖科学家排名 - 中国科学院王中林教授以2,836篇论文位列全球第一[6] - 图灵奖得主Yoshua Bengio入选年度Top 10科学家 因深度学习开创性工作与Geoffrey Hinton和Yann LeCun共同获得2018年图灵奖 是引用次数最多 h指数最高的计算机科学家之一[17][19]
有一定深度学习基础,该如何入门自动驾驶?
自动驾驶之心· 2025-09-26 07:33
公司业务与平台架构 - 公司搭建了自动驾驶、具身智能和大模型三个技术平台 [2] - 平台通过知识星球社区提供近40+学习路线 [8] - 平台提供七门面向初学者的精品课程 [8] 行业技术发展趋势 - 自动驾驶技术栈快速迭代,三年前主流是BEV,两年前是无图技术,一年前是端到端,当前热点是VLA和世界模型 [1] - 行业面临VLA和WA的路线之争以及未来发展方向等前沿议题讨论 [8] 公司产品与服务 - 平台提供与学术界及工业界顶尖专家的面对面交流机会 [8] - 社区内容涵盖VLA NavigScene、LangCoop、DriveBench、ZeroGS、Diffusion planner等前沿主题 [8] - 课程内容覆盖世界模型、轨迹预测、大模型、相机标定、毫米波、点云3D检测、Transformer等技术领域 [8] 市场活动与推广 - 公司推出国庆节和中秋节年度最大优惠活动 [2] - 提供平台课程八折优惠券和七折超级折扣卡 [4] - 知识星球新人享受七折优惠,续费用户可享五折优惠 [5]
从Transformer到GPT-5,听听OpenAI科学家 Lukasz 的“大模型第一性思考”
AI科技大本营· 2025-09-23 10:11
Transformer架构的诞生与影响 - 2017年论文《Attention Is All You Need》提出彻底抛弃循环神经网络,仅使用注意力机制处理语言,其提出的Transformer架构重塑了人工智能版图[2] - 该论文在Google Scholar上的引用次数高达197,159次,成为大模型理论的奠基性文章,开启了人工智能新纪元[2][17] - Transformer架构以其无与伦比的并行计算能力和对长距离依赖的出色捕捉,迅速成为自然语言处理领域的全新范式,并辐射到计算机视觉、语音识别等AI子领域[17] 核心人物Lukasz Kaiser的学术背景 - Lukasz Kaiser拥有波兰弗罗茨瓦夫大学计算机科学与数学双硕士学位,并在德国亚琛工业大学获得博士学位,专攻"自动结构上的逻辑与博弈"这一艰深领域[7] - 2009年其博士论文荣获E.W. Beth dissertation prize,这是全球逻辑、语言和信息领域的最高学术荣誉之一,证明其在纯粹理论科学领域达到世界顶尖水平[8] - 博士毕业后受聘于巴黎狄德罗大学LIAFA实验室,成为法国国家科学研究中心终身研究员,拥有稳定的学术职位和完全的研究自由[9] 从学术界到工业界的转型 - 2013年Kaiser辞去法国终身研究员职位加入谷歌大脑,这一决定源于对"重复"的厌倦和对"变革"的极度渴望,从"证明"转向"构建"的冲动[10][11] - 当时自然语言处理领域被循环神经网络统治,但RNN存在长距离依赖问题和串行处理缺陷,与GPU和TPU的并行架构不匹配[12][14] - Kaiser团队最初将注意力机制作为RNN的增强补丁,但最终提出完全基于注意力的新模型构想,彻底推翻了RNN的统治地位[14][15] Transformer八子的分化与Kaiser的选择 - Transformer八位作者中七位已踏上创业之路,成为AI产业浪潮中的商业巨擘,如Aidan Gomez创立Cohere、Noam Shazeer创立Character.ai等[4][24] - Lukasz Kaiser是八子中唯一未创业的科学家,于2021年离开工作八年的谷歌,加入以AGI为最终使命的OpenAI,继续坚守技术研究最前线[4][24][25] - 在OpenAI期间,Kaiser深度参与并主导了GPT-4、GPT-5以及代号为"o1"和"o3"的推理模型等核心研发工作[4][27] 通用人工智能的探索历程 - 2017年Kaiser参与发表论文《One Model To Learn Them All》,提出MultiModel单一模型同时处理八个不同任务,是AGI追求的第一次公开实践[20][22] - 该研究证明统一深度学习架构有潜力联合学习跨领域知识,尽管单项任务表现未超越专业模型,但为通用智能探索开辟了新方向[22] - Kaiser认为AI下一阶段关键在于教会模型"思考",通过生成更多中间步骤进行深度推理,而不仅仅是直接输出答案[29] 行业技术发展趋势 - AI发展经历了从2014年"证明可行性"到2017年"架构创新",再到2019年"自监督预训练"以及2021年"规模定律",最终到2023年"数据质量与RLHF"的进化路径[27] - 未来计算力将从大规模预训练转向在少量高质量数据上进行海量推理计算,预示着AI即将迎来又一次范式转移[29] - 多模态融合、模型规模持续提升以及AI能力通过API和云服务形式普及,已成为行业明确的发展方向[31]