语言模型(LLM)

搜索文档
中金 | 大模型系列(2):LLM在个股投研的应用初探
中金点睛· 2025-05-09 07:33
LLM在个股投研的应用 - 核心观点:大语言模型(LLM)技术可构建智能化个股复盘框架和基本面因子生成框架,提升投研效率[1][7] - 应用场景:主观逻辑因子化和个股复盘是LLM在个股投研中较好的应用方向[1] - 优势:LLM处理非结构化数据能力较强,可提炼关键信息并给出定量化结论[7] 基于LLM的基本面因子挖掘框架 - 关键点:Prompt设计是引导因子创造方向的核心,明确选股逻辑方向可提高生成高IC因子概率[2][16] - 成果:LLM挖掘的因子IC_IR可达0.78,如链税研协同效能因子(TRI_RDEFF)[3][20] - 优势:生成因子可理解性强,可运用创新算子优化原有因子,如盈利现金双因子(EPCF)[20][22] LLM因子挖掘效果分析 - 质量类prompt生成因子IC均值较高,如盈利能力稳定且财务风险低的上市公司因子[17] - 创新性prompt生成因子与已有因子相关性低,如HR_ASSET_RESO因子相关性低于30%[20] - 问题:部分因子逻辑与计算过程匹配度较低,如EIM_1因子[19] 基于LLM的个股复盘体系 - 方法:运用RAG方法构建每日复盘体系,处理公告、研报等非结构化数据[4][27] - 优势:与现有数据库无缝衔接,提炼信息真实性好,逻辑自洽性较好[4][47] - 效果:贵州茅台案例显示模型复盘观点对长期股价表现有一定预测能力[30][35] 个股复盘实证结果 - 长期综合评分变化与未来20-60日股价表现弱相关,相关系数达0.274[37] - 多头择时策略可改善最大回撤,把握主升浪机会,年化收益率提升[38][47] - 问题:信息提炼深度有限,需在prompt中明确核心影响因素[32][34] 技术限制与优化方向 - 限制:响应速度不足、上下文长度限制、结果随机性[8] - 优化:筛选高质量研报作为输入,针对特定个股定制prompt[34] - 应用范围:建议在核心股票池范围内构建LLM因子[10]
ICML 2025 Spotlight|华为诺亚提出端侧大模型新架构MoLE,内存搬运代价降低1000倍
机器之心· 2025-05-07 08:33
Mixture-of-Experts(MoE)在推理时仅激活每个 token 所需的一小部分专家,凭借其稀疏激活的特点,已成为当前 LLM 中的主流架构。然而,MoE 虽然显著降低 了推理时的计算量,但整体参数规模依然大于同等性能的 Dense 模型,因此在显存资源极为受限的端侧部署场景中,仍然面临较大挑战。 思考 现有的主流解决方案是专家卸载(Expert Offloading),即将专家模块存储在下层存储设备(如 CPU 内存甚至磁盘)中,在推理时按需加载激活的专家到显存进行 计算。但这一方法存在两大主要缺陷: 本文的核心思考是,在专家卸载方案中,需要将专家模块加载到显存,主要是为了在 GPU 上执行高效的矩阵运算。换句话说,如果专家的计算过程能够绕过矩阵 运算的需求,就可以避免将专家权重加载到显存,从而根本上规避频繁加载带来的开销。直观来看,专家模块本质上是一个神经网络,用于建模输入到输出的映 射。如果能够在推理前预先计算出所有可能的输入 - 输出对应关系,并将其存储为查找表,那么在推理时即可用简单的查找操作代替矩阵运算。 为了解决上述问题,来自北大和华为诺亚的研究人员提出了 Mixture-of-Lo ...
AI智能体协议全面综述:从碎片化到互联互通的智能体网络
欧米伽未来研究所2025· 2025-05-06 21:33
人工智能智能体协议调研报告核心观点 - 报告首次系统性地对AI智能体协议进行二维分类:面向上下文的协议与智能体间协议,以及通用型与特定领域的协议 [1] - 大型语言模型(LLM)智能体已在客户服务、内容生成、数据分析和医疗等行业广泛部署,但缺乏标准化通信协议限制了其协作能力 [1] - 研究重点比较了安全性、可扩展性和延迟性等关键性能维度,并探讨分层架构、隐私保护、联邦学习等未来发展趋势 [1] 智能体协议运作模式分析 模型上下文协议(MCP) - 采用高度中心化架构,由中央智能体直接调用所有外部服务接口(如get_flights(), get_hotels()) [2] - 信息流呈星形模式,所有数据汇总至中央客户端整合,优点在于简单易控但缺乏灵活性 [3] - 中央智能体成为性能瓶颈,扩展性面临挑战,处理高并发请求时效率下降 [3] 智能体到智能体协议(A2A) - 采用分布式架构,专业智能体(如交通部门、住宿部门)可直接通信无需中央协调 [4] - 旅行规划器仅负责结果整合,通信开销更低,支持动态变化的复杂协作模式 [5] - 跨组织边界协作时存在挑战,需依赖明确的接口定义 [5] 智能体网络协议(ANP) - 通过标准化跨领域交互解决A2A的局限性,支持不同安全边界的智能体协作 [6] - 采用结构化请求/响应规则,适用于定义明确接口的异构系统间交互 [6] Agora协议 - 将自然语言请求转换为标准化协议,包含自然语言理解、协议生成、协议分发三层架构 [7] - 用户输入"预算3000美元的5天北京-纽约行程"会被解析为结构化协议分发给专业智能体 [7] 智能体协议未来发展趋势 短期方向(1-3年) - 建立统一评估体系,综合考量通信效率、鲁棒性、适应能力等维度 [9] - 研发隐私保护协议,采用联邦学习技术共享聚合数据而非原始敏感信息 [10] - 开发智能体网状协议(Agent Mesh Protocol),实现群组内通信历史透明共享 [10] 中期方向(3-5年) - 探索将协议知识内建到LLM参数中,使智能体无需提示即可执行协议行为 [11] - 发展分层协议架构,分离传输层与语义层,提高异构智能体互操作性 [12] - 协议设计将整合伦理、法律和社会约束以符合社会价值观 [13] 长期方向(5年以上) - 构建支撑集体智能的基础设施,研究群体规模与通信拓扑的尺度定律 [14] - 开发智能体数据网络(ADN),支持机器中心化数据表示和异步协作 [15] - 协议演进可能引发社会组织与经济模式的变革,释放分布式集体智能 [17] 行业数据与资源 - 欧米伽未来研究所"未来知识库"收录超过8000篇前沿科技资料,每周更新不少于100篇 [18] - 知识库精选报告包括牛津AI安全研究、麦肯锡超级智能机构分析、斯坦福新兴技术评论等19份重量级文献 [19]
微软正式开源UFO²,Windows桌面迈入「AgentOS 时代」
机器之心· 2025-05-06 16:04
微软UFO² AgentOS技术突破 - 业内首个深度集成Windows操作系统的桌面智能体平台,以"AgentOS"理念设计,解决传统智能体界面交互脆弱和执行中断问题 [3][6] - 多智能体架构包含HostAgent负责任务解析与分解,AppAgent提供定制化API接入和界面感知能力,支持跨应用任务 [6] - 统一GUI-API混合执行模式通过Puppeteer接口动态选择最优方案,平衡效率与通用性 [7] - 混合控件感知结合Windows UIA接口与OmniParser-v2视觉模型,提升复杂界面下的识别准确率至90%以上 [10] - 推测式多步执行技术减少51.5%的LLM调用次数,显著降低延迟和计算成本 [14][21] 系统级创新设计 - 采用RAG技术构建动态知识库,整合应用文档和执行日志实现"越用越强"的学习能力 [12] - PiP虚拟桌面技术利用Windows远程服务创建独立执行环境,避免干扰用户主桌面操作 [16] - 已在Excel/Outlook/Edge等20+主流Windows应用完成验证,任务成功率比OpenAI Operator高10% [18][21] 行业影响与开源生态 - 项目在GitHub获7,000 Stars,标志着桌面智能体进入系统级"AgentOS时代" [1][20] - 微软全面开源代码和文档,推动建立智能办公和人机交互的新生态标准 [19][21] - 技术框架突破传统RPA脚本依赖,为LLM-based智能体的规模化应用提供工程范本 [3][6]
GPT-4o医学知识覆盖率仅55%?腾讯优图团队发布大模型医疗能力“体检报告”
量子位· 2025-04-30 12:10
医疗大模型知识覆盖度评估框架MedKGEval - 腾讯优图实验室天衍研究中心提出MedKGEval框架,首次通过医疗知识图谱(KG)的多层级评估系统量化GPT-4o等主流模型的医学知识覆盖度,该研究被WWW 2025会议录用为口头报告[1][2] - 当前主流评估体系(如Prompt-CBLUE、Medbench)存在三大局限:罕见病症覆盖不足、难以量化知识储量、无法捕捉医学概念间复杂关联[5] - MedKGEval创新性设计三级评估体系:实体层(医学概念理解)、关系层(医学关联区分)、子图层(结构化推理),通过真伪判断和多选题形式实现任务导向与知识导向的双重评测[6][7][11] 评估任务架构设计 - 实体层面包含3项任务:实体类型标注(ET)、实体聚类(EC)、实体消歧(ED),验证模型对"糖尿病"等医学概念的分类与等价性判断能力[11] - 关系层面包含3项任务:关系类型标注(RT)、事实核验(FC)、关系预测(RP),检验模型对"并发症"等医学关联的认知[11] - 子图层面包含3项任务:错误识别(ER)、子图推理(R1/R2),评估模型在多跳关系(如"高血压→并发症→脑出血→影像检查→CT")中的结构化推理能力[11] 实验数据与模型表现 - 采用中文医疗知识图谱CPubMedKG和CMeKG作为基准,评估11个LLM(含开源通用模型、医疗垂类模型、闭源模型)[15][16] - GPT-4o以70.65%平均准确率领先,参数量翻倍可使同架构模型性能提升3-5%,通用模型整体表现优于医疗垂类模型[16] - 知识覆盖度方面,GPT-4o在CPubMedKG上覆盖65.66%实体、55.60%关系、62.31%三元组,Qwen2-7B和Baichuan2-13B分别达到61.95%和62.05%的三元组覆盖率[17][18] 关键发现与应用价值 - 模型对高关联度实体(如糖尿病)和高频关系(如鉴别诊断)表现更优,例如GPT-4o在"超声"实体相关问答中正确率达94.16%[19][24] - 框架可精准定位知识缺陷,如WiNGPT在"肺结核"实体、Baichuan2-13B在"相关(转换)"关系中存在明显短板,建议针对性补充专项数据优化[20][25] - 该研究为医疗领域LLM的可靠性验证提供量化依据,代码已开源(GitHub地址)[21][22][23]
过去四周,AI推理爆了,GPU在燃烧,英伟达依旧供不应求
华尔街见闻· 2025-04-27 18:38
投资者情绪与需求变化 - 过去四周投资者情绪因宏观经济和供应链风险恶化 但英伟达GPU核心需求因大型语言模型对推理芯片需求飙升且遍及所有地区 [1] - token生成量自年初以来增长5倍以上 给生态系统带来巨大压力并推动处理工作负载的投资激增 [1] - 多家AI公司报告用户数量爆炸式增长 例如Open Router等API公司因推理软件需求被迫争抢GPU资源 [1] 英伟达芯片供需状况 - 英伟达Blackwell芯片供应受限 尤其是GB200/300型号无法满足爆炸式需求 [2] - Hopper GPU需求有所改善 但云客户5-6年折旧周期导致投资回报率不理想 [2] - 美元上行、供应紧张和出口限制叠加 引发市场对英伟达短期盈利担忧 [2] 摩根士丹利对英伟达的评估 - 摩根士丹利将英伟达目标价从162美元下调至160美元 主要反映同行组整体估值下降而非公司基本面变化 [2] - 截止发稿英伟达股价为111美元 较大摩目标价高45%左右 [2] - 摩根士丹利认为供应限制和毛利率压力影响市场情绪 但对长期增长潜力保持信心 [4] 财务预测调整 - 摩根士丹利将2026财年收入预测上调10.7% 每股收益上调11.9% 并认为这些数字可能仍非常保守 [5]
评论 || 舱驾一体化下的几点思考
中国汽车报网· 2025-04-27 13:45
舱驾一体化趋势 - 汽车行业正从以驾驶员为核心的传统模式向以用户体验为中心的智能模式转型 [2] - 驾驶域与座舱功能域深度融合成为行业热点话题 [2] - 传统汽车控制系统存在功能模块分割明显、跨域协作困难的问题 [2] - 驾驶系统与座舱系统在架构和技术路径上差异大导致用户体验割裂 [2] 技术实现路径 - AI技术特别是大语言模型(LLM)推动驾驶与座舱域协同 [2] - 需构建以中央智能大脑为核心的整车架构实现跨域协作和数据共享 [2] - 中央智能大脑需具备空间理解能力和多维数据分析能力 [3] - 系统需实现毫秒级响应以平衡用户体验与驾驶安全 [3] 行业挑战 - 舱驾一体化需要对底层架构、数据融合、用户交互逻辑进行系统性重构 [3] - 产业生态面临用户画像构建、个性化推荐效果提升等现实问题 [3] - 需解决跨域协作中的信息延迟安全风险和各智能体模块协同挑战 [3] - 当前商业化进程未达标 多数功能处于技术验证或初步应用阶段 [4] 市场现状 - 车企存在过度营销舱驾一体化概念的现象 [4] - 行业宣传超前于实际技术成熟度 功能未达到无缝协同要求 [4] - 需更多关注技术稳定性、可行性和用户真实需求 [4] 发展核心 - 舱驾一体化的本质是为用户创造价值而非技术炫技 [4] - 需实现从功能堆叠向体验融合的跨越式升级 [4] - 最终目标是提升用户满意度和出行安全性 [4]
具身智能 “成长”的三大烦恼
21世纪经济报道· 2025-04-24 21:07
人形机器人产业化进展 - 人形机器人产业化进展飞速,从春晚表演到半程马拉松赛事引发广泛关注[1] - 具身智能技术突破是关键,大语言模型(LLM)、视觉语言模型(VLM)和视觉语言动作端到端模型(VLA)显著提升交互感知和泛化能力[1] - 行业面临数据采集、机器人形态应用和大小脑融合等挑战[1] 具身智能发展阶段 - 具身智能概念1950年提出,近年成为科技热点,被定义为能理解、推理并与物理世界互动的智能系统[2] - 当前具身智能模型已具备小范围场景行为复现能力,但力触动作和多指协同仍困难[3] - 泛化能力主要来自视觉语言模型,动作轨迹缺乏泛化性,依赖训练数据[3] 数据采集解决方案 - 行业面临三维数据采集难度大、周期长、成本高的问题[3] - 跨维智能采用3D生成式AI的Sim2Real仿真解决数据需求[4] - 智元机器人采用真机数据采集模式,年完成亿级数据采集,发布GO-1模型实现小样本泛化[4] 机器人形态发展 - 机器人发展经历工业自动化、大模型和端到端大模型三个阶段,不同架构各有优势[6] - 端到端大模型融合多模态输入与动作输出,提升决策效率,加速人形机器人发展[6] - 人形机器人不等于具身智能,但仍是最大需求者和挑战者[7] 非人形机器人应用 - 非人形机器人在垂直领域更具效率优势,如跨维智能DexVerse引擎在30余行业批量应用,精度超99.9%[8] - 中间态机器人(轮式、双臂等)可在工业、应急等场景承担任务,为具身智能公司提供营收[7] 大小脑融合技术 - 通用人形机器人本体分大脑、小脑和肢体三部分,独立系统导致通讯延迟[9] - 英特尔和东土科技提出大小脑融合方案,采用单一芯片架构降低成本[9][10] - 大小脑融合面临实时控制(1毫秒内完成99%任务)和动态计算负载等挑战[10] 技术路线融合趋势 - 厂商技术路线分化,有的聚焦大脑(场景化落地),有的专注小脑(高精度运动控制)[12] - 市场需求将推动两种技术路线融合,要求机器人兼具智能交互和灵活动作能力[12]
我悟了如何与AI说话!谷歌 69 页官方提示词秘籍全解析,中文版免费下载
AI科技大本营· 2025-04-22 18:26
(You don't need to be a data scientist or a machine learning engineer – everyone can write a prompt.) 作者 | 王启隆 出品 | CSDN(ID:CSDNnews) 最近,Google 官方发布了一份长达 69 页的 【Prompt Engineering 白皮书】 ,可以说是目前最系统、最权威的"AI 沟通指南"了。我们也是第一时 间翻译好了这本书,准备 【免费】 送给大家! 怎么拿?很简单, 看完这篇文章,参与文末的小活动就行! 现在咱们聊聊,为啥这份白皮书突然就刷屏了?为啥说它是"必学秘籍"? 你不必是数据科学家或机器学习工程师——人人都可以编写提示词。 你苦口婆心解释半天,它抓着一个无关紧要的词就开始自由发挥…… 你想要个 A,它自信满满地给你个 B,还附赠一套又臭又长、看似完美的错误逻辑…… 同一个问题,昨天它懂你,今天它就装傻,效果全看"缘分"…… Google 这份白皮书,不是某个博主的心得体会,不是零散的技巧合集,而是 Google 官方基于对大语言模型(LLM)的深刻理解,系统性梳理出来的 ...
一堂「强化学习」大师课 | 42章经
42章经· 2025-04-13 20:02
技术原理 - 强化学习(RL)是用于解决多步决策问题的算法框架,与传统机器学习不同,无标准答案但有反馈机制评判结果[3][7] - 大语言模型(LLM)本质是预测下一个词,存在不遵从指令的缺陷,通过与 RL 结合解决该问题[8][9][10] 行业应用 - RL+LLM 应用广泛,海外 OpenAI 的 RL 已从纯推理进化到 Agent 范式,实现多轮交互和上网互动[21] - 国内豆包和 DeepSeek 等团队在探索 RL+LLM 的新可能性,不同公司在该路径上出现编程、Agent、通用泛化能力等分支[21][26][27][28] 发展趋势 - 预训练的规模法则收益变小,但仍有数据和模型小型化两个发展方向;RL 的规模法则处于初始阶段,决策能力将持续提升[26] 人才与基建 - RL 人才稀缺,因门槛高、工业界应用少、对工程要求高;开源工作可降低使用门槛,如 AReaL - boba 框架[33][34][35][36] 训练与评估 - RL 训练中基建最重要,其次是数据和算法;评估可看准确率和多轮交互体验[29] 组织架构 - 大模型团队最好将 LLM 和 RL 两条线融合,至少设预训练和后训练团队,再按目标细分[31]