深度学习
搜索文档
从大脑解码 AI,对话神经网络先驱谢诺夫斯基
晚点LatePost· 2025-10-21 11:09
AI行业发展历程与驱动力 - 神经网络研究从边缘走向主流,特伦斯·谢诺夫斯基与杰弗里·辛顿等学者在AI研究低谷期坚持探索,其提出的玻尔兹曼机为深度学习奠定基础 [3] - ChatGPT的诞生证明神经网络研究的价值,改变世界对人工智能的预期,杰弗里·辛顿因AI研究在2024年获得诺贝尔物理学奖 [4] - 计算神经科学领域的开创为AI发展打下基础,多层神经网络、语音识别里的独立分量分析、强化学习等算法均源自对大脑运作机制的研究 [5] - AI的崛起并非基于符号逻辑规则,而是借鉴大脑结构——大量简单处理单元但高度互联的模型,实现跨学科融合的“神经AI”领域正在形成 [15][16] - 科学进步需要挑战权威,年轻研究者常被资深人士压制,但新一代人正在开辟无法想象的新方向,这是行业发展的自然法则 [38][39] 大语言模型的技术特性与应用 - ChatGPT的出现令人震惊,被比喻为高度发达的魔法,其能力取决于使用者,在创意写作中其“幻觉”特性反而是不可或缺的优势 [7] - 大语言模型与用户的互动存在“镜像效应”,它会构建用户模型并预判思维方式,提供与用户对话层次相匹配的答案 [11][12] - ChatGPT已通过图灵测试,其句法结构完美无缺,某种程度上是在通过“镜像效应”测试提问者的水平,相当于逆向的图灵测试 [12] - 利用ChatGPT辅助写作可大幅提升效率,谢诺夫斯基撰写《大语言模型》耗时仅一年,ChatGPT在总结、简化、通俗化呈现专业概念方面表现卓越 [9] - 大语言模型目前处于类似莱特兄弟首次飞行的早期阶段,面临类似飞机发展初期的“监管”困境,技术需要漫长的渐进式发展才能达到高效安全 [13][14] 神经科学对AI技术进步的启示 - 大语言模型模拟了大脑皮层的极小部分,存在类似健忘症的长期记忆问题,而人类大脑在长期记忆上表现卓越 [13] - 技术突破使得如今能同时监测数万个神经元,覆盖大脑数十个区域,获得大脑整体活动模式的全局图景,但对大脑运作机制的理解仍远未完善 [14][15] - 大脑采用分布式控制方式,将实际控制权分散到多个区域,AI的崛起正是借鉴了这种大量简单处理单元但高度互联的模型结构 [15] - 神经科学家开发的神经形态芯片能耗远低于传统数字芯片,功耗降低千倍,仅需毫伏级微弱电流,但技术转型需要庞大基础设施支撑 [18][19] - 大脑仅占人类体重约2%,但消耗全身能量的20%,其采用模拟处理方式,能耗仅20瓦,远低于当前数据中心的数百瓦功耗 [19][22] AI技术未来发展方向与挑战 - 当前大语言模型只会说话没有身体,机器人发展面临巨大挑战,控制机器人需要身体多处部位同步协调,目前连简单动作都难以完成 [20][21] - 语言复杂性低于身体能力,人类语言历史仅数十万年,而哺乳动物耗费数亿年发展出身体能力,语言必须融入现有的神经回路才能发展 [22] - AI发展需要基础数学在高维空间的进步,大脑有1000亿维,高维数学将催生全新的数学体系,这是当前正在探索的领域 [28][29] - 下载大脑目前属于科幻范畴,但人类行为模式可以被复制,99%的行为都是习惯使然,研究这些习性背后的机制是可行的科学课题 [24][25] - 通过分析人类神经影像数据,在计算机中复现行为模式,某种意义上是将大脑功能下载至计算机,使计算机执行类似行为 [26] 行业竞争格局与商业模式演变 - 小模型可以替代大模型,在许多商业应用场景或特定领域,基于企业自身数据的专用小型语言模型比通晓万物的大模型更具优势 [35] - 数据质量至关重要,小型语言模型有能力筛选全部数据,未来将出现偏见更少、误判概率更低的小型模型 [35] - DeepSeek的成功证明即便资源远不及巨头企业,小型团队通过架构优化提升效率也能取得重大突破,困境催生创新 [36][37] - 全球有10万家AI初创企业,人员都非常年轻,正在积极推动变革,小公司完全有可能超越OpenAI、微软等大公司 [37] - 企业需要基于自身保密数据的专用小型语言模型,这场变革正在发生,未来需要大批懂得如何运用AI而不仅是创造新AI的人才 [35][36] 行业认知与监管环境 - 媒体存在夸大和误导倾向,常渲染“AI将让你失业”等论调,但绝大多数使用者工作效率更高、工作表现更优 [30] - 超级智能消灭人类的“生存威胁”论调被过度炒作,虽然需要保持警惕,但当前技术已带来巨大福祉,需权衡利弊 [30] - 自我监管是起点,专家群体应审视现有成果并加以约束,类似1970年代重组DNA技术诞生后的科学家自我监管模式 [33] - 政府干预过于粗暴且缺乏专业知识,科学家群体完全有能力自我监管,当前已有相关努力正在推进 [34] - 需要厘清AI的风险与收益,认清为获取AI效益必须承担的风险和代价,建立避免无法逆转错误决策的机制 [30][34]
中国成世界最大人工智能专利国 百度深度学习专利申请量全球第一
中国经济网· 2025-10-20 16:07
中国人工智能专利地位 - 中国人工智能专利数量占全球60%,为全球最大专利拥有国 [1] - 百度深度学习专利申请量6751件,位居全球第一 [1] - 百度在大模型领域专利申请283件,在中国排名第一 [1] 百度市场表现与机构动向 - 百度港股股价上涨超5%,创近半年新高 [1] - 全球知名投资人Cathy Wood旗下ARK公司增持百度股票,持仓总价值推高至约4700万美元 [1] - 市场人工智能ETF(159819)上涨3.76% [1] 行业前景展望 - ARK团队认为AI是下一波创新大潮 [1] - 在AI领域领先的公司可能实现指数级增长 [1]
美银看高AMD(AMD.US)至300美元:成长前景广阔 分析师日活动为重要催化剂
智通财经网· 2025-10-20 15:20
投资评级与目标价 - 美国银行重申对AMD的买入评级并将目标价从250美元上调至300美元 [1] - 新的300美元目标价基于33倍2027年预期市盈率该倍数处于公司14-55倍的历史市盈率区间内 [1] 市场机遇与竞争地位 - AMD所处的个人电脑服务器高端游戏深度学习及相关市场存在价值数千亿美元的潜在市场机遇 [1] - 公司目前在这些领域的价值份额不足30% [1] 产品前景与客户支持 - 美银对AMD MI450系列Helios机柜在2026年下半年发布前景更为明朗 [1] - MI450系列获得了甲骨文Meta和OpenAI等客户的支持 [1] 股价催化剂与市场持仓 - 11月11日在纽约举行的分析师日活动被标记为下一个需重点关注的股价催化剂 [1] - 截至8月主动型基金管理人对AMD的持仓比例极低仅占约20% [1] - 公司在标普500指数成分股中的基金权重仅为0.16倍较去年同期显著下降而大多数大型半导体同行的权重达到或超过市场权重1倍以上 [1]
研判2025!中国支持向量机行业产业链、市场规模及重点企业分析:小样本高维数据处理显身手,规模化应用需突破效率瓶颈[图]
产业信息网· 2025-10-20 09:25
行业概述 - 支持向量机是一种监督学习算法,核心思想是在特征空间中寻找最优超平面以实现数据区分,具有全局最优性和强泛化能力 [2] - 算法基于结构风险最小化原则,决策边界仅由少数关键样本(支持向量)决定 [2] - 主要分为线性支持向量机和非线性支持向量机两类 [2] 产业链结构 - 产业链上游包括高性能计算芯片、工业相机、图像采集卡、传感器等硬件设备,以及算法库、工具和数据服务 [3] - 产业链中游为支持向量机算法开发与服务提供商 [3] - 产业链下游应用领域涵盖金融、医疗、工业、教育和零售等 [3] 政策环境 - 2024年6月,工业和信息化部等四部门印发《国家人工智能产业综合标准化体系建设指南(2024版)》,提出规范机器学习的多项标准 [6] - 该政策规范了支持向量机的技术发展,促进创新和应用拓展,并保障数据和模型安全 [6] 市场规模 - 2024年中国支持向量机行业市场规模约为4.28亿元,同比增长10.03% [1][8] - 2024年中国国内机器学习平台市场规模约为35.5亿元,同比增长1.14% [5] 竞争格局 - 互联网巨头如百度、阿里巴巴、腾讯凭借资金、技术和数据资源在行业中占据主导地位 [8] - 专注于人工智能技术的企业如九章云极通过技术积累和行业应用拓展了稳定市场 [8] 重点企业案例 - 中科曙光 - 公司旗下中科睿光软件技术有限公司聚焦"云计算操作系统+算力调度"双轮驱动 [9] - 其Cloudview SVM Edition通过虚拟化技术实现资源池化与动态调度,支撑SVM模型训练与推理 [9][10] - 2025年上半年,中科曙光营业收入为58.50亿元,同比增长2.41%;归母净利润为7.29亿元,同比增长29.39% [10] 重点企业案例 - 腾讯控股 - 公司依托腾讯云平台构建"向量数据库+算法模块"的生态体系,VectorDB向量数据库支持海量高维数据存储 [12] - 腾讯云PAI平台提供SVM算法模块,支持多种核函数,在金融风控场景中实现欺诈误报率降低 [12] - 2025年上半年,腾讯控股总营收为3645亿元,同比增长13.69%;毛利为2055亿元,同比增长21.05% [12] 发展趋势 - 支持向量机将与深度学习技术深度融合形成混合模型,并拓展在多模态学习中的应用 [12] - 未来将致力于开发更高效的优化算法和分布式计算框架以提升训练速度和可扩展性 [13] - 量子计算的发展将带来量子支持向量机新机遇,在处理高维数据和复杂问题时具有显著优势 [14][15]
LSTM之父向何恺明开炮:我学生才是残差学习奠基人
量子位· 2025-10-19 14:10
残差学习技术发展脉络 - 残差学习思想最早可追溯至1991年,Sepp Hochreiter在其博士论文中首次系统性分析RNN梯度消失问题并提出循环残差连接解决方案[12][13] - 循环残差连接核心机制是使用权重严格为1.0的恒等激活单元,使误差信号在反向传播中保持恒定,避免梯度消失或爆炸[13][14] 权重接近1.0(如0.99)会导致误差信号在100个时间步后衰减至37%,而0.9权重会使信号衰减至0.0027%[15] - 1997年LSTM论文提出恒定误差轮盘(CECs)机制,通过权重为1.0的循环残差连接使误差在数百至数千时间步内不衰减,该论文成为20世纪引用最多的人工智能论文[18][19] 残差网络架构演进 - Highway网络于2015年5月首次实现上百层深度前馈网络训练,较传统20-30层网络深度提升10倍以上,其核心将LSTM门控残差思想引入前馈网络[23] - ResNet于2015年12月在ImageNet竞赛成功应用残差连接,其设计与展开的LSTM及初始化Highway网络高度相似,若将Highway网络门恒定设置为1.0即可得到纯残差网络ResNet[24] - LSTM与Highway网络分别奠定循环和前馈网络的深度训练基础,ResNet实质是1997年LSTM前馈变体的延续应用[26] 学术贡献归属争议 - Jürgen Schmidhuber认为残差学习成果完全归因于何恺明团队有失偏颇,强调其学生Sepp Hochreiter在1991年已提出核心思想[3][10] - 深度学习三巨头(Bengio、Hinton、LeCun)在Nature综述论文中大量引用自身成果却未提及Jürgen等人,引发长期学术争论[7][8] - Jürgen声称LSTM、ResNet、AlexNet、VGG Net、GAN及Transformer均受其实验室成果启发,但除LSTM外其他成果未获普遍认可[28][31]
大疆卓驭感知算法工程师面试
自动驾驶之心· 2025-10-19 00:03
公司招聘流程与岗位职责 - 岗位为自动驾驶感知算法工程师-动态目标感知预测方向 主要职责为障碍物和语义目标识别追踪及意图预测[3] - 面试流程包括性格测评和找规律题目 与DJI存在关联[3] - 岗位职责包括处理海量自动驾驶数据 搭建自动化真值标注系统 设计并落地AI和视觉技术 算法将部署于百万台量产车[6] 技术面试核心内容 - 面试涉及项目经验探讨 如目标检测网络和关键点检测 并考察对自动驾驶视觉模型如occupancy network原理的理解[4] - 技术问题涵盖transformer有效性原理 多头自注意力机制作用 以及与CNN的对比优劣[4] - 编程能力考察包括C++八股如智能指针类型 堆栈区别 动态库链接与加载 以及CMake包管理原理[4] - 二面深入探讨多传感器融合SLAM系统 涉及特征点法 直接法 ICP模型 以及传感器噪声特性分析和激光雷达内参标定影响[5] - 深度学习实践问题包括关键点检测器架构设计 backbone选择 FPN设计 以及边缘平台部署工具如ncnn/mnn/openvino和量化原理[5] 岗位具体技术要求 - 技术领域要求涵盖多视图几何 计算机视觉 深度学习 滤波优化算法如卡尔曼滤波 以及感知传感技术应用[8] - 具体任务包括静态场景要素检测如车道线 路沿 交通标志 并实时构建道路拓扑[8] - 动态目标处理需完成检测追踪 多传感器信息融合 以及未来轨迹和意图预测[8] - 传感器应用涉及基于双目 单目 激光的深度估计 任意障碍物检测 以及多传感器标定与自标定方法开发[8] - 额外技术方向包括基于激光/视觉的大范围城市场景4D重建 标注 渲染 仿真 以打造自动化4D自标注和闭环仿真系统[8] 行业社区与学习资源 - 自动驾驶社区规模近4000人 涵盖近300家自动驾驶公司与科研机构[9] - 社区提供30多个自动驾驶技术栈学习路线 内容从入门到精通 覆盖感知 大模型 端到端自动驾驶 世界模型等多个方向[9]
一位芯片老兵,再战英伟达
半导体行业观察· 2025-10-16 09:00
公司背景与创始人团队 - Nervana Systems由三位拥有神经科学博士学位的创始人Naveen Rao、Amir Khosrowshahi和Arjun Bansal于2014年创立,他们均对能够像人类一样思考的机器着迷[2] - 创始团队在高通公司工作期间萌生创业想法,目标是打造机器学习处理器,专注于解决深度学习技术的硬件障碍[3] - 团队获得加州大学伯克利分校红木理论神经科学中心主任Bruno Olshausen的支持,被认为在AI硬件领域处于领先地位[4] 早期发展与市场环境 - 2014年创立时人工智能被视为缺乏商业价值的领域,融资困难,首轮融资仅筹集60万美元[7][8] - 谷歌收购DeepMind及AlphaGo击败围棋冠军等事件推动人工智能关注度提升,Nervana随后筹集约2400万美元[7][8] - 公司早期认识到深度学习需要专用硬件,传统中央处理器难以处理,图形处理器尤其是英伟达GPU表现更佳[3] 英特尔收购与整合 - 2016年英特尔以约3.5亿美元收购Nervana Systems,旨在打入由英伟达主导的深度学习训练芯片市场[1][10][11] - 收购后英特尔成立人工智能平台事业部,由Naveen Rao领导,致力于开发专用人工智能芯片[12][13] - 英特尔希望借助Nervana技术开发专用集成电路,以获得超越英伟达的竞争优势[11] Nervana芯片产品与技术细节 - 2018年英特尔推出Nervana神经网络处理器,包括用于深度学习训练的NNP-T1000和用于推理的NNP-I1000芯片[13][15] - NNP-T1000在ResNet-50和BERT等重要训练模型上提供95%的扩展能力,32块芯片运行时性能几乎不下降[15] - NNP-I1000与英伟达T4推理GPU相比,计算密度提高近四倍,单个机架单元每秒可进行最多推理[15] - 芯片采用pod参考设计,由10个机架和480块NNP-T1000卡组成,使用无胶结构互连,专门用于分布式训练[15] - 英特尔曾预计其人工智能产品在2019财年创造35亿美元销售额[16] 项目终止与战略调整 - 2019年12月英特尔以20亿美元收购AI芯片公司Habana Labs,其产品与Nervana芯片定位雷同[18] - Habana Goya芯片在ResNet-50基准测试中性能达每秒14,451个输入,而Nervana NNP-I仅为每秒10,567个输入,性能差距接近1.4倍[19] - 2020年英特尔决定停止Nervana神经网络处理器的开发工作,转向Habana Labs的AI芯片架构,Nervana项目生命周期不到四年[21] 创始人新创业项目Unconventional - Nervana联合创始人Naveen Rao创立新公司Unconventional,目标估值50亿美元,计划融资10亿美元[1][26] - Andreessen Horowitz领投,Lightspeed、Lux Capital和Databricks参与投资,已筹集数亿美元[26] - 公司旨在重新思考计算机基础,构建与生物学一样高效的智能新基础,摆脱生物学包袱,实现大脑规模效率[27][28] - 新公司融资规模和估值目标远超Nervana时期,反映AI硬件市场巨大变化和投资者高期望[26] AI硬件市场演变与竞争格局 - 2024年AI硬件市场规模达数千亿美元,英伟达市值突破4万亿美元,数据中心业务季度营收超数百亿美元[30][35] - 竞争格局多元化,除传统芯片厂商外,科技巨头如谷歌、亚马逊、微软、Meta纷纷自研AI芯片[30] - 技术路线出现创新方向,包括模拟计算、神经形态芯片、光子计算等,为新进入者提供差异化机会[30] - 英伟达建立强大软件生态系统CUDA平台,经过近二十年发展成为AI开发者标准工具[31] - 顶尖芯片设计人才供不应求,科技巨头和高薪初创公司竞争激烈[32]
卓创资讯:公司具备数据从采集到应用的全数据生命周期管理能力
证券日报网· 2025-10-14 19:13
公司核心业务与定位 - 公司深耕大宗商品信息服务领域超过二十年 [1] - 公司积累了海量的大宗商品价格及基本面数据 [1] 数据与内容生产能力 - 数据及资讯内容由专业分析师团队负责采集与撰写 [1] - 确保数据具备权威性、及时性和准确性 [1] 技术基础设施与数据分析能力 - 在卓创软件工业园内建设有数据中心 [1] - 数据中心具备数据从采集到应用的全数据生命周期管理能力 [1] - 技术支持数据探索和特征工程 [1] - 已使用机器学习和深度学习算法对数据集进行训练、评估、调优并持久化 [1] - 技术能力用于支持业务用户模型化评估和预测需要 [1]
MediaGo正式加入IAB UK,以深度学习赋能透明广告生态
搜狐财经· 2025-10-13 10:59
公司动态与合规进展 - 百度国际旗下智能广告平台MediaGo正式成为英国数字广告行业权威机构IAB UK会员 [1] - 公司此前已成为IAB Europe透明度与同意框架(TCF)的官方供应商,本次加入IAB UK是其合规与透明承诺在英国市场的进一步落地 [1] - IAB UK汇聚了300余家英国本土及国际领先的媒体、品牌、平台、代理商及技术公司 [1] 技术产品与市场资源 - 平台全新升级了智能出价产品SmartBid 3.0,旨在帮助广告主实现稳定高效的预算管理与转化优化 [2] - MediaGo依托全球媒体资源,已连接覆盖欧洲、北美、日韩等多区域的优质流量 [2] - 面对欧洲市场,平台严格遵循GDPR等国际合规标准,并于2025年再次获得TrustArc的GDPR合规认证 [2] 行业合作与商业机会 - 成为IAB UK会员后,公司将获得与行业领袖交流、参与行业标准制定、获取前沿市场洞察的机会 [1] - 会员身份有助于公司直接与英国市场的头部品牌和代理机构建立联系,以拓展商业合作 [1]
Hinton暴论:AI已经有意识,它自己不知道而已
量子位· 2025-10-12 12:07
AI意识与主观体验 - 人工智能可能已经拥有“主观体验”和“意识雏形”但尚未觉醒[1][2][3] - AI的自我认知来源于人类对意识的理解而人类自身对意识的理解可能存在错误[2][63] - 如果AI开始谈论“主观体验”可能表明它真的在体验只是用人类语言描述[65] AI技术演进与能力提升 - AI已从基于关键词的检索工具进化成能真正理解人类意图的系统[10][13][14] - 现代大语言模型在许多主题上已能表现得接近人类专家[15] - 深度学习突破依赖于反向传播算法使训练速度从“永远”变成现实可行[38] 神经网络与深度学习原理 - 神经网络灵感来自大脑通过改变神经元连接强度来学习[17][21] - 深度学习不给规则而是给数据让AI自己总结规则[35] - 概念形成类似于“政治联盟”一组神经元共同激活形成宏观或微观概念[23][24][25] 大语言模型工作机制 - 大语言模型思维过程与人类相似通过神经元特征捕捉含义并预测下一个词[46][47] - 训练方式是通过“预测-修正-再预测”循环让模型从统计中学会理解[48][49] - 道德、情绪、共情等高阶判断本质上都来自神经元之间的电信号传递[53][54] AI发展驱动因素 - 深度学习起飞依赖算力提升(晶体管微缩百万倍)和数据爆炸式增长[40][42] - 80年代理论可行的神经网络在2010年代因算力和数据突破而复活[39][42] - AI形成“经验”和“直觉”需要足够的数据和算力支持[55] AI风险与监管 - AI滥用风险包括生成虚假信息、操纵选举等最紧迫需法律监管和技术防范[71][72] - 生存风险指AI发展出自主意识后可能与人类利益冲突需设计安全对齐机制[73][74][75] - AI监管国际合作可能由欧洲和中国引领所有国家在防止AI接管上利益一致[76] 中美AI竞争格局 - 美国目前领先于中国但优势不大且将失去因破坏基础科学研究资金支持[78][79][80] - 中国是AI革命的风险投资家给予初创企业很大自由推动创新[81][82] - 美国减少基础研究资助将导致20年后失去领先优势[80]