Workflow
大语言模型
icon
搜索文档
工银瑞信马丽娜:两大方向布局AI核心主线
券商中国· 2025-06-04 07:15
人工智能投资行情 - 2025年以来人工智能投资行情持续成为市场主线,DeepSeek是主要推动者 [1] - 公募基金布局备受关注,工银科技先锋混合发起式基金将于6月25日发行,聚焦人工智能产业链优质公司 [1] 基金经理马丽娜背景 - 马丽娜本科毕业于北大微电子系,硕士毕业于北大计算机系,2015年进入工银瑞信基金,从业10年专注科技产业研究和投资 [3] - 管理三只基金,工银新兴制造自2024年7月至2025年3月31日累计收益率达50.77%,同期业绩基准收益为23.46% [3] 工银科技先锋基金投资方向 - 聚焦人工智能产业链优质公司,细分方向包括AI硬件中的半导体、硬件基础设施和AI应用中的软件、互联网娱乐、智能驾驶、机器人等 [3] - 0—50%比例可投资港股,涵盖科技互联网、智能驾驶、半导体等优质龙头企业 [3] - 投资定位有别于其他在管基金,工银新兴制造聚焦半导体产业链,工银科技先锋覆盖更宽泛的AI应用 [3] 科技行业投资框架 - 科技投资核心是把握科技周期中的强主线,找到受益于产业趋势的个股 [2] - 选股三要素:业绩增长高、估值有提升弹性、有一定竞争壁垒 [5] - 自上而下选择成长空间大、竞争壁垒高的行业,自下而上选择成长空间大、增速快、竞争壁垒高的优秀企业 [4] 大语言模型发展趋势 - 生成式大语言模型的Scaling Law在放缓,未来关注方向是融合图像、视频、空间物理等多模态数据和合成数据的学习 [7] - 训练阶段的Test-Time Scaling仍有较大空间,后训练阶段加入强化学习和思维链可显著提升模型推理能力 [7] - 2025年由国内DeepSeek引领的产业趋势,通过工程优化降低模型训练和推理成本 [8] AI产业投资机会 - 看好两大方向:AI基础设施和AI半导体,2025—2026年海外云厂商资本开支快速增长,国内云厂商资本开支2024年底首次上修 [8] - AI应用随着模型性能提升和成本下降,更多应用将诞生,包括端侧AI应用、软件、具身智能等 [8] - 硬件基础设施端中国短板正在补齐,模型端中美差距缩小,应用端国内更具优势 [8]
“互联网女皇”AI报告图解版:AI采用速度前所未有,推理成本暴跌99.7%
36氪· 2025-06-03 20:14
在隐退五年后,被誉为"互联网女皇"的传奇风险投资家玛丽·米克尔于近日发布长达340页的《AI趋势报告》。这份被业界称为"AI圣 经"的文档,用51次"前所未有"的表述宣告:人工智能革命已进入不可逆的爆发期,人类正站在技术奇点的临界点。 在报告中,米克尔利用大量图表详尽呈现了人工智能技术在开发速度、应用广度、资金投入和使用规模方面的爆炸性增长,并质疑 OpenAI等AI巨头的"烧钱模式"是否能持续下去。 下面,就让我们以图表的形式解读下这份报告的核心内容: 用户的AI采用速度是前所未有的 报告显示, 人工智能时代的来临标志,是AI用户群的激增。 与互联网1.0革命的技术起步于美国,然后稳步向全球扩散不同的是,ChatGPT一下子登上了世界舞台,并在全球大部分地区同时增长。 作为衡量算力的基本计量单位,浮点运算次数在2010年以后开始增速显著增加,年增长率达到360%。 如果以美国计算相关专利授权数量为例,可以发现,第一次加速是在1995年,标志着互联网时代的开始。2004年起,其增速放缓,标志 着互联网时代的发展也开始变慢。在2022年ChatGPT发布之后,专利数量又一次开始爆发式增长,而且比1995年那次更 ...
“不用 Cursor和 ChatGPT、手写代码的开发者,怕不是疯了?”
36氪· 2025-06-03 16:53
AI编程工具的应用现状 - 大语言模型(LLM)已成为软件开发领域近30年来第二大技术突破,即使其发展停滞在当前水平也具备显著价值[2][11] - 智能体系统已能自主完成代码浏览、文件编写、工具运行、测试执行及迭代等全流程开发任务,远超早期Copilot等基础辅助工具[12] - Cloudflare工程师借助AI工具在几天内完成原本需数月的OAuth库开发,AI显著降低了复杂代码库的入门门槛[7] 开发者态度分歧 - 支持者认为拒绝使用AI辅助的开发者如同"精神病",2025年纯手工编码将变得不可理喻[4][5] - 反对者将AI狂热比作NFT泡沫,25年经验的开发者直言AI生成代码是"垃圾"且拒绝接触相关工具[1][8] - Hacker News相关讨论两小时内达700条(最终近1500条),创AI编程话题热度纪录[6] 技术实现细节 - Gemini 2.5凭借5-7万行代码的上下文窗口成为首选工具,虽需人工修改但大幅提升效率[17] - 编程领域的幻觉问题已通过智能体的编译检查、测试运行等机制基本解决[18] - 当前AI主要承担输入处理、搜索、测试用例生成等重复工作,人类仍掌控核心决策[19] 生产力变革 - AI工具使开发者效率呈数量级提升,团队内AI使用者与非使用者差距堪比互联网时代的上网能力差异[31] - AI能自动完成单元测试重构等琐碎工作,迫使开发者直面核心难题[15] - 平庸代码的自动化生产释放了开发者精力,使资源向高价值判断倾斜[23][25] 行业影响 - 编程领域抄袭争议存在双重标准,开发者文化本身具有强烈的反知识产权倾向[28][29] - AI可能大规模取代初级开发者岗位,延续30年来科技对就业的冲击趋势[27] - 技术保守派开发者开始承认变革必要性,认为AI重要性堪比2008年智能手机革命[32][34] 语言适配性 - Go语言因类型安全性和标准库优势与AI配合良好,Rust等语言存在适配挑战[21] - 编程语言选择需考虑与AI工具的兼容性,传统评判标准正在重构[21] - AI生成的重复性代码在稳定性上优于人类为追求优雅而制造的复杂表达[24]
重磅报告下载 | 2025生成式AI: 当DeepSeek颠覆行业, 近2万亿美元的市场有哪些机遇?
彭博Bloomberg· 2025-06-03 14:30
生成式AI市场前景 - 预计到2032年生成式AI市场将创造约1.8万亿美元收入 年复合增长率达30% [2][4] - 生成式AI占科技行业IT支出比例将从目前不足2%提升至14%-16% [4] - 个人和企业在生成式AI智能体方面的支出到2032年可能达到2140亿美元 [3] 技术发展趋势 - 推理支出超过训练支出的时间可能比此前预测提前三年 [2] - 大语言模型功能趋同 OpenAI GPT 谷歌Gemini Meta Llama等差距缩小 [2] - 模型应用从文本搜索扩展至图片 音频 视频分析 [2][3] - 大多数LLM公司致力于提高模型效率以实现大规模推理 [2][3] 应用场景拓展 - 现有用例包括合同审查和客服聊天机器人 [2] - 新兴应用包括编程助手 集成写作 文本/语音生成图像视频工具 [2][3] - 对话式AI产品和视觉AI产品需求将利好智能手机制造商和车企 [2] - 游戏公司可能利用AI加速开发并提升用户体验 [8] 硬件与基础设施 - 训练大语言模型的计算密集度可能推动高级RISC市场份额增长 [8] - HBM芯片采用率将因AI模型复杂度提升而进一步提高 [2] - 云业务有望超越服务器开发 [7] 细分市场影响 - 数字广告巨头或通过机器学习模型改善定向投放和转化率 [8] - 生成式AI广告支出到2032年将占数字广告总支出的13% [11] - 硬件领域可能成为增长最快的类别 [8] 市场表现与竞争 - 2024年彭博BAIAET指数回报率达29% 但2025年初累计下跌6% [11] - 中国和韩国市场AI概念股分别上涨21%和13% [11] - 微软 亚马逊 Meta等云服务巨头在市场中各显神通 [13]
思维链也会「跳帧」?浙大团队提出CoT-Bridge,显著提升数学推理性能
机器之心· 2025-06-03 14:26
核心观点 - 浙江大学联合微软亚洲研究院、香港中文大学提出CoT-Bridge方法,通过检测和补全思维链中的逻辑跳跃,显著提升大语言模型在数学和逻辑任务中的推理准确率[1][10][11] - 思维跳跃(Thought Leap)是CoT推理链中因专家经验性省略导致的中间步骤缺失,造成模型训练效果降低27 83%和收敛速度变慢[5][14] - CoT-Bridge作为即插即用模块,在知识蒸馏和强化学习流程中分别带来+3 02%和+3 1%的准确率提升[19] 技术方法 - **Leap检测与步骤补全**:识别推理链中的逻辑跳跃并生成缺失的中间步骤,基于ScaleQM+数据集训练Qwen2 5-Math-7B模型实现自动补全[11][12][13] - **数据集构建**:通过有控制地删除ScaleQuestMath原始推理链中的步骤,构造含Thought Leap的训练样本[13] - **模型训练**:使用MetaMathQA(395K样本)和NuminaMath(859K样本)进行监督微调,最大性能增益达+5 87%[17][18] 实验结果 - **数学推理任务**:在GSM8K和MATH基准上,CoT-Bridge使Meta-Llama3 1-8B准确率提升+2 24%,Qwen2 5-Math-1 5B提升+0 58%[18] - **逻辑推理任务**:OOD场景下,模型在FOLIO等数据集平均准确率提升2 99%,无效输出比例下降[21] - **蒸馏增强**:对Qwen2 5-Instruct-72B生成的蒸馏数据补全后,准确率额外提升3 02%[19] 性能指标 | 模型/数据集 | 基础准确率 | CoT-Bridge增益 | 关键指标变化 [18] |---------------------|------------|----------------|--------------------- | Meta-Llama3 1-8B | 78 90% | +2 24% | MATH任务+2 03% | Qwen2 5-Math-1 5B | 81 01% | +0 58% | NuminaMath+5 87% | 蒸馏数据增强 | - | +3 02% | 知识蒸馏流程优化[19]
四月游戏收入同比增长超20%,游戏ETF(516010)涨超3%
每日经济新闻· 2025-06-03 11:01
中国游戏市场规模 - 2025年4月中国游戏市场规模达273.51亿元,同比增长21.93% [1] - 移动游戏同比增长28.41%,出海收入同比增长9.62% [1] Deepseek R1技术进展 - R1在AIME2024和LiveCodeBench测试中超越o3和Gemini 2.5 Pro,较旧版提升15% [1] - 推理能力蒸馏至Qwen3-8B小模型,数学测试结果较蒸馏前高10% [1] - 文字理解和创作能力提升:改写润色、总结摘要、阅读理解的幻觉率降低45%-50%,长篇写作和角色扮演能力增长明显 [1] 人工智能与游戏行业结合 - 人工智能持续发展有望提振游戏板块,游戏是成熟的人工智能应用领域 [1] - 大语言模型可能催生新玩法,例如剧本编写:通过提纲生成剧本并优化调优 [1] - 未来或通过大语言模型赋予游戏人物独立人格,使其在虚拟世界中自主行动 [1]
西南财经大学百年校庆中外大学校长论坛举行,百余所国内外知名高校校长齐聚成都 共议智能时代高等教育未来
四川日报· 2025-06-02 09:21
观点分享 ●要坚持自信自立、守正创新和开放合作,建设"大有可为""引领时代""多元包容"的高等财经教育 ●师生都面临着巨大挑战和知识更新,中国高等教育必须更加主动拥抱数字化浪潮,推进人才培养 模式深度变革 诺贝尔经济学奖得主菲利普·迪布韦克认为,目前大语言模型(ChatGPT、DeepSeek等)极大地改 变了人类工作、学习方式。"AI把结果无过滤地告诉人类,它的内容并非完全有效,人类要能发现它的 弱点,并学会使用它,这就需要背景知识、批判性思维和使用实践。"菲利普·迪布韦克说,只有兼具知 识与思辨能力,师生才能更好理解和运用新技术,应对未来不确定性。 "数字化转型不仅仅是技术。"英国剑桥大学原副校长、英国皇家工程院院士大卫·卡德维尔说,大 学必须发挥领导作用,也必须相互交流、学习。 "人工智能实现知识实时传播、快速零成本复制,以及现有知识最优组合随手可得,但没有改变我 们对知识的应用、理解和创新。"在厦门大学校长张宗益看来,教育领域长期存在"个性化、高质量、大 规模"三元悖论,数智化技术以精准适配推动个性化教育,以智慧延伸推动高质量教育,以生态共享推 动规模化教育,正在重构高等教育底层逻辑,但必须警惕创新思 ...
揭开大模型“伪遗忘”,港理工等团队:结构不变就是没忘
量子位· 2025-06-01 11:40
大语言模型隐私风险与机器遗忘技术 - 大语言模型(LLMs)能力提升的同时面临隐私风险,训练中敏感信息可能被模型"记住" [1] - 机器遗忘(Machine Unlearning)技术旨在选择性抹除特定知识而不影响整体能力 [2] 遗忘机制的核心发现 - 研究团队首次区分"可逆性遗忘"与"灾难性不可逆遗忘",揭示遗忘需多网络层协同大幅扰动 [2] - 高敏感区域(如输出logits)轻微更新仅改变行为表现,内部表示结构保持完整 [2] - 真正的遗忘是结构性抹除,仅token输出变化而内部结构未变则可能快速恢复 [3] 表示空间分析工具 - 开发统一表示层分析工具箱,支持诊断LLM在Unlearning/Relearning/Finetuning过程的内在变化 [2] - 工具包含PCA Similarity/Shift、CKA相似性分析、Fisher信息矩阵(FIM)三类指标 [6][10][13] - PCA分析显示可逆性遗忘的主方向高度恢复,不可逆性遗忘呈现广泛漂移 [9][10] 实验验证与数据表现 - 在Yi-6B模型上验证:可逆遗忘场景下Relearning后准确率快速恢复,不可逆场景结构严重扰动 [6] - 持续遗忘(如100条请求)比单次操作风险更高,GA/RLabel方法破坏性强,GA+KL/NPO稳定性更佳 [17] - Qwen2.5-7B复杂任务(MATH/GSM8K)实验显示可逆场景中Relearning后性能可超越初始状态 [16] 技术应用与潜在价值 - 不可逆遗忘伴随PCA主方向旋转、分布漂移、Fisher质量下降等结构性变化 [18] - 部分场景中Unlearning可能带来隐式增强效果,Relearning后表现优于原始状态 [19] - 结构诊断工具(PCA/CKA/FIM)可定位破坏位置,为可控安全遗忘机制奠定基础 [20]
函数向量对齐技术,让大模型持续学习不“失忆”丨ICLR 2025
量子位· 2025-05-30 13:01
大语言模型的灾难性遗忘研究 核心观点 - 大语言模型(LLMs)的灾难性遗忘本质是功能激活偏差而非能力覆盖,表现为新任务学习时旧任务功能未被正确激活[1][2] - 函数向量(FVs)可作为量化遗忘现象的工具,其相似度与模型性能下降呈强相关性(R²=0.873)[26][27] - 提出的FVG训练方法通过正则化技术保留函数向量,在持续学习任务中显著提升模型通用能力[44][51] 遗忘现象特征 - 任务类型差异:生成任务序列导致的遗忘程度(如NI-Seq-G1使Llama3-8b通用任务性能下降10.7%)显著高于分类任务(4.48%)[11][20] - 模型依赖性:Llama2-7b在混合任务序列(NI-Seq-M1)中遗忘指数达4.69,而Mistral-7b同条件下仅4.95[11] - 动态可逆性:训练初期性能下降后可能出现恢复,表明部分遗忘能力可被重新激活[20] 函数向量机制 - 构建方法:通过干预前10个关键注意力头(layer-head)的平均激活值(CE值最高)求和获得[15][18][21] - 作用原理:函数向量偏移导致输入激活机制变化,而非旧功能被覆盖(相似度降低时性能下降30%+)[26][35] - 验证实验:插入旧任务函数向量可使被遗忘任务性能恢复83%以上[43] FVG训练方法 - 双重正则化: 1) 函数向量一致性损失(L2距离约束层头激活值变化)[44] 2) KL散度损失保持零样本与干预输出的概率分布对齐[46] - 优化目标:联合损失函数平衡系数λ₁=0.1,λ₂=0.01时效果最佳[48] - 实测效果:在SuperNI数据集上使上下文学习性能下降减少19.6%(对比基线)[11][51] 技术实现细节 - 实验设置:采用6种任务序列(生成/分类/混合)评估GP/IP/FP三大指标[10][11] - 模型对比:涵盖Llama2-7b/13b、Llama3-8b、Mistral-7b等主流架构[11] - 数据公开:代码及实验数据已在GitHub开源,论文获ICLR2025 oral收录[3][54]
大模型智能体如何突破规模化应用瓶颈,核心在于Agentic ROI
机器之心· 2025-05-30 12:16
大模型智能体可用性瓶颈 - 当前大模型智能体应用主要集中在专业领域如代码生成、科研辅助等,在大众日常场景中普及率较低 [1] - 核心制约因素并非模型能力不足,而是Agentic ROI(投资回报率)未达实用化门槛 [1][3] - Agentic ROI衡量信息收益与使用成本比值,需同时满足信息质量阈值和成本节省比例要求 [4] Agentic ROI关键构成要素 - Information Quality:智能体生成信息的准确性和完整性 [5] - Human Time/Agent Time:人类与智能体完成任务的耗时对比 [5] - Interaction Time:用户与智能体交互过程的时间消耗 [5] - Expense:模型调用和API使用的经济成本 [5] 当前应用场景矛盾 - 高人力成本场景(如科研)因替代效应显著而ROI较高 [7] - 日常场景(如电商)因任务简单且交互成本低,智能体边际价值不明显 [7] - 额外交互成本和延迟导致日常场景Agentic ROI偏低 [7] 发展路径优化策略 - 采用「之字形」发展模式:先规模化提升信息质量,后轻量化降低使用成本 [8][9] - OpenAI模型系列(o1-mini到o3-mini)验证该路径有效性,新一代小模型在保持性能同时降低60%推理费用 [9] 规模化提升阶段 - 预训练规模化:扩大模型参数/数据量,扩展上下文窗口和记忆机制 [11] - 后训练规模化:通过用户反馈构建数据飞轮实现持续优化 [12] - 推理时规模化:构建多模态世界模型,支持复杂任务处理 [13] - 多智能体协作和工具调用扩展可提升任务分解能力 [15] 轻量化优化阶段 - 记忆机制复用历史知识减少重复计算 [18] - 模型压缩技术可降低50%推理延迟而不显著影响性能 [18] - 优化推理策略避免冗余链条,硬件升级(如Groq芯片)提升实时响应 [18] - 主动意图理解设计可降低30%用户交互时间 [18]