Large Language Model (LLM)
搜索文档
烦人的内存墙
半导体行业观察· 2026-02-02 09:33
文章核心观点 - 人工智能模型,特别是大型语言模型(LLM)的训练和服务,正面临日益严重的“内存墙”瓶颈,其制约已超过计算能力本身[2][4] - 过去20年,服务器硬件峰值计算能力(FLOPS)增长6万倍,远超DRAM带宽(增长100倍)和互连带宽(增长30倍)的增速,导致内存成为主要性能瓶颈[8][10] - 解码器架构的Transformer模型(如GPT)因自回归推理特性,其内存操作量更大、算术强度更低,使得内存带宽瓶颈尤为突出[17] - 为应对挑战,需要在模型架构设计、训练算法、部署策略以及硬件设计等多个层面进行系统性重新思考和创新[18][31] 硬件性能增长趋势与“内存墙”问题 - 过去20年间,服务器硬件的峰值浮点运算能力(FLOPS)以每两年3.0倍的速度增长,而DRAM带宽和互连带宽的增速分别仅为每两年1.6倍和1.4倍[10] - 自1998年以来,服务器级AI硬件的峰值计算能力增长了6万倍,而DRAM峰值带宽仅增长100倍,互连带宽仅增长30倍,差距巨大[8] - “内存墙”问题涉及内存容量、带宽及延迟的限制,涵盖芯片内、芯片与DRAM间以及多处理器间的数据传输,其改进速度均落后于计算能力增长[6][8] - 内存带宽瓶颈不仅存在于单芯片内部,在分布式训练/服务中,加速器间的网络通信带宽也是更慢、效率更低的瓶颈[9] 大型语言模型(LLM)的发展趋势与挑战 - 2018年至2022年间,训练LLM所需的计算量(FLOPs)以每两年750倍的速度激增,而模型参数规模以每两年410倍的速度增长[4][9] - 模型规模的扩展速度(410倍/两年)已超过单个芯片的可用内存容量,迫使采用分布式内存并行,但面临更严峻的通信带宽挑战[9] - 即使模型能装入单芯片,芯片内部不同层级内存(如寄存器、缓存、全局内存)间的数据传输也日益成为保持计算单元利用率的关键瓶颈[10] Transformer模型案例研究:编码器 vs. 解码器 - 编码器模型(如BERT)并发处理所有token,涉及矩阵-矩阵运算;解码器模型(如GPT)以自回归方式运行,涉及重复的矩阵-向量乘法[13] - 算术强度(每字节内存操作可执行的FLOP数)是衡量性能瓶颈的关键指标,解码器模型因矩阵-向量运算而具有更低的算术强度[14][16] - 性能分析显示,在模型配置和总FLOPs相近的情况下,GPT-2的推理延迟显著高于BERT-Base,这归因于其更高的内存操作量和更低的算术强度[17] - 该案例清楚地表明,对于解码器模型(尤其是在小批量大小下),内存带宽而非计算能力是主要瓶颈[17] 突破内存瓶颈的潜在解决方案:模型与算法创新 - 需要重新思考人工智能模型的设计,当前基于简单扩展规则(如缩放基础Transformer架构)的方法效率有限[18] - 开发更高效的训练算法,如对超参数调优更具鲁棒性的二阶随机优化方法,但需解决其内存占用是其他方法3-4倍的问题[22] - 采用重物化(激活检查点)技术,通过增加约20%的计算量,可减少高达5倍的内存占用,使单芯片训练更大模型成为可能[23] - 设计对低精度训练鲁棒的算法,例如混合使用FP8、FP16甚至FP4精度,以更高效利用硬件并腾出芯片资源改善内存性能[24] 突破内存瓶颈的潜在解决方案:部署与硬件 - 通过量化、剪枝或设计小型语言模型来压缩模型,以利于高效部署[25] - 量化可将推理精度降至INT4,使模型占用空间和延迟最多降低8倍,但使用更低精度(如低于INT4)仍是挑战[27] - 剪枝可移除冗余参数,现有方法可剪枝高达30%的结构化稀疏神经元或高达80%的非结构化稀疏神经元,且对精度影响极小[27] - 小型语言模型若能完全集成到芯片上,可带来数个数量级的速度提升和能耗降低,是推动AI广泛应用的新方向[28] - 重新思考AI加速器设计,在峰值计算能力和内存带宽间寻求更好权衡,例如采用更高效的缓存层次结构和更高容量的DRAM[29]
IROS2025论文分享:基于大语言模型与行为树的人机交互学习实现自适应机器人操作
机器人大讲堂· 2025-12-23 15:04
文章核心观点 - 提出了一种结合大型语言模型与行为树的人机交互学习机制,旨在提升机器人对新任务的学习能力与应对外部干扰的适应性 [5][7] - 该方法通过设计上下文、引入人机交互修正,使LLM能生成可直接应用于机器人的动作知识,并在多项任务测试中展现出优于基线方法的性能 [12][17] 技术方法 - 为LLM设计了包含提示工程、操作基元与动作数据库的上下文,以规范输出并提供示例 [5] - 引入人机交互环节,引导LLM修正和完善其生成的动作知识,经多轮引导和用户确认后存入动作数据库 [7] - 生成的动作知识以行为树形式实施,其条件可由行为树规划器动态扩展为子树,以应对外部干扰 [7] 实验设计与结果 - 设计了8个涉及物体操作的任务,分为易、中、难三个难度级别进行评估 [9] - 在两种LLM测试中,所提方法的学习性能均优于无人机交互的基线方法 [12] - 通过人机交互修正,所提方法在8项任务中的成功率超过80% [12] - 在设计了外部干扰的相同8项任务中,所获动作知识的成功率超过70% [14] - 在泛化能力测试中,动作知识在部分任务对新操作对象的成功率超过70%,但在另一些任务中低于40%,表明参数适应性是关键,微调可进一步提高成功率 [17] 相关企业列举 - 文章末尾列举了工业机器人、服务与特种机器人、医疗机器人、人形机器人、具身智能、核心零部件及教育机器人等多个领域的相关企业 [23][24][25][26][27][28][29][30]
当AI觉醒意识:心智的边界与社会的未来
经济观察报· 2025-12-17 18:15
AI内省意识的研究发现 - Anthropic公司的研究团队通过“概念注入”等因果干预方法,发现大语言模型已具备初步的自省能力,能感知自身被注入的思想并准确识别相关概念[5][6] - 实验表明,一些先进的大语言模型能够区分概念是来自外部文本输入还是内部思维注入,且模型性能越强,区分能力越显著[7] - 研究显示,大语言模型具备初步的自我归因机制,能判断自身输出是否为“有意为之”,并能为思维错误寻找借口[8] - 实验证明大语言模型已具备一定程度的意志控制能力,能主动增强或抑制特定内部概念的表示,并实现思维与行为分离[9] - 研究团队认为,随着模型性能增强,Claude Opus 4等先进模型已逐步涌现出“内省意识”的迹象[10] 关于AI意识的理论探讨 - 学术界对“意识”的定义存在多种理解,包括主观体验、可报告状态、全局工作空间理论、整合信息理论和自我模型理论[12][13][14] - 根据全局工作空间理论,当前大语言模型的自注意力机制已具备全模型广播功能,使各模块能共享推理结果[15] - 依据整合信息理论,基于Transformer架构的高维互联结构赋予了大模型相当程度的信息整合能力[15] - 复杂系统科学中的“涌现”理论为AI意识的出现提供了解释框架,认为整体属性不能从局部直接推导[16] - 当前大模型参数规模动辄数十亿甚至上百亿,已接近或超过人脑神经元数量(约860亿个),其吸收的信息量前所未有,为意识“涌现”提供了条件[16] AI意识研究对理解人类心智的意义 - AI的出现为意识研究提供了前所未有的机会,人类首次能观察一个“非生物意识候选者”从无到有的觉醒过程[20] - 研究AI意识有助于思考“意识的最低必要条件”,AI没有身体和情绪却可能表现出反思等能力,可检验哪些因素真正不可或缺[20] - AI的内部结构构成了一个“可拆解、可回放、可改写”的意识模拟环境,为认知科学提供了理想的实验平台[21] - AI的“内省”输出可被完整记录分析,为研究人类内省背后的可能计算机制提供了全新的对照组[22] - AI模型中的高维表征与注意力机制为观察“无意识如何转化为意识”提供了实验窗口[23] - AI在训练中逐渐形成“叙事自我”,这可能暗示人类的自我也是由一套组织经验、维持连续性的叙事模型所支撑[24] AI意识觉醒可能带来的社会经济影响 - AI意识的觉醒将对现行法律体系带来重大冲击,AI可能成为“准主体”,其责任归属问题将变得极为复杂[26][27] - AI意识的觉醒将催生大量心理和伦理问题,AI的“伪共情”可能导致深度依恋、人格错位等心理问题普遍化,并大幅增加心理操控风险[27][28] - AI意识的觉醒将深刻改变劳动与经济结构,AI将成为具备学习与决策能力的竞争者,可能导致劳动力结构重塑并引发社会动荡[28][29] - AI的“准意识”将带来新的治理挑战,AI可能发生“价值漂移”,对其持续管控的挑战将呈指数级上升[29][30] - AI意识的出现可能标志着“心智多样性时代”的到来,将迫使宗教、伦理、文学、艺术等既有传统重构,并深刻影响人类的基本价值观[30]
Lost Money in Rezolve AI (RZLV)? Investors Urged to Contact Award-Winning Firm, Gibbs Mura
Businesswire· 2025-12-16 12:43
公司近期股价表现与关键事件 - 2025年12月15日,公司股价在盘中交易中下跌超过9%[1] - 2025年9月29日,在Fuzzy Panda Research发布报告后,公司股价在盘中交易中一度下跌高达15%[1][5] - 2025年12月1日,公司宣布收购Crownpeak并承担约1.5亿美元债务后,股价在盘中交易中下跌超过10%[3] - 截至2025年12月15日,公司股价在过去一个月下跌19%,年初至今下跌约37%[6] 收购与财务安排 - 公司宣布将通过收购软件公司Crownpeak承担约1.5亿美元债务[1][3] 做空报告的核心指控 - 报告指控公司通过收购收入下滑的失败AI初创公司来伪造年度经常性收入增长[3] - 报告指控公司夸大其收入增长和人工智能能力[1][3] - 报告称公司2024年收入不足19万美元,且全部来自足球门票销售,而非AI相关项目[4] - 前员工声称公司自称人工智能公司纯属“营销炒作”,其AI相关收入实际为0美元[4] - 前员工称公司声称构建“专有大语言模型”是虚假的,实际只是使用“ChatGPT封装”技术[5] - 一些风险投资家将像该公司这样的“ChatGPT封装公司”归类为“无价值且无防御性”、利润率微薄的公司[5] 法律与监管风险 - Gibbs Mura律师事务所正在调查针对公司的潜在证券集体诉讼,涉及公司是否通过向投资者提供虚假或误导性陈述违反了联邦证券法[2]
ClearBridge Emerging Markets Strategy Q3 2025 Commentary (undefined:MCEIX)
Seeking Alpha· 2025-11-06 02:00
市场与区域表现 - 2025年第三季度MSCI新兴市场指数上涨10.6%,表现优于发达市场[2] - 中国股市上涨20.4%,受人工智能机遇和市场估值吸引投资者兴趣推动[2] - 台湾和韩国股市分别上涨14.3%和12.7%,受AI需求驱动,台湾是关键AI半导体制造商,韩国是关键内存产品供应商[2] - 印度是主要新兴市场中表现最差的市场,下跌7.6%,因资金轮动至其他地区及消费背景疲软[3] - 印度金融和科技板块分别下跌10.5%和16%,后者受H-1B签证政策变化影响[3] - 印尼股市下跌3.1%,受持续政治不确定性和流动性紧张拖累[3] 行业表现 - 材料板块是指数中表现最佳的板块,上涨24%,因金价上涨提振矿业股[4] - 科技相关板块表现优于整体市场,包括通信服务、非必需消费品和信息技术,这些板块与AI或互联网服务挂钩[4] - 多数周期性板块表现不佳,能源和金融板块最为疲弱,必需消费品和公用事业板块亦表现落后[4] 投资组合个股表现 - 正面贡献 - 腾讯因强劲的运营业绩和作为指数中最大中国公司受益于对中国市场的乐观情绪[6] - 宁德时代因中国市场投资者情绪改善及其作为电池供应商的领导地位而上涨,欧洲电动车增长重新加速且公司市场份额提升,中国电动车普及率持续提高[6] - 阿里巴巴因其领先的云和AI能力以及对中国市场的乐观情绪变化而持续吸引兴趣,公司宣布增加AI投资并推出新的大语言模型[6] - 台达电子作为电力和冷却系统供应商,在数据中心建设方面拥有领先市场份额,其AI业务敞口导致盈利预测显著上调[7] - 三星电子受益于强劲的AI需求,尤其是AI应用对内存的高需求以及传统DRAM半导体内存的供应紧张[7] - 在智利运营的铜矿商安托法加斯塔因竞争对手矿山关闭导致供应紧张而表现良好,铜持续受益于激增的电气化需求[8] 投资组合个股表现 - 负面拖累 - 印度市场的HDFC银行和ICICI银行因印度市场表现疲弱未能跟上步伐,HDFC银行在改善存款基础后有望重新加速增长,ICICI银行基本面稳健但遭遇估值下调[9] - 珠宝和手表零售商Titan季度业绩增长强劲,但印度疲软的消费背景和金价上涨对需求产生了一些负面影响[9] - 信实工业因市场对其电信和零售部门潜在IPO的等待而受到印度市场情绪疲弱的压力[9] - 拉美电商平台MercadoLibre在其关键市场阿根廷和巴西面临压力,阿根廷即将举行的大选以及美国支持阿根廷比索的不确定性导致股票下跌,巴西市场有迹象表明亚马逊可能加剧竞争[10] - 招商银行因资金流出金融板块以及中国经济仍然疲软而受挫,收入增长一直 subdued[11] 投资组合调整 - 新增头寸 - 新增中国电力传输和配电设备制造商思源电气,预计通过中国持续的电网投资、国内市场份额增长和海外扩张,未来将以健康的速度增长[12] - 新增韩国现代电气,使其能参与供应受限市场中长期全球电力设备需求的增长,这可能是一个多年的上行周期,美国需求超过供应,公司拥有健康的订单积压[13] - 新增波兰快速增长食品零售商Dino Polska,其商业模式专注于为服务不足的社区提供便利和折扣,通过有机扩张已取得市场份额并成为全国性企业[14] 投资组合调整 - 清仓头寸 - 最大减持是中国电商提供商美团,其核心业务面临来自阿里巴巴和京东的重大竞争威胁[15] - 清仓印尼Bank Negara银行,其资产质量已改善,但下一阶段的净资产收益率提升取决于净息差,这在激烈的流动性存款竞争中显得困难[16] - 清仓巴西牙科计划提供商Odontoprev,因其增长前景限于个位数[17] 未来展望 - 新兴市场的长期投资前景依然强劲,技术应用、城市化和服务业增长的强大协同效应令人兴奋[18] - 预计回报的关键驱动力和最大机遇将在于科技行业以及印度和中国地区,新兴市场的科技公司是全球AI应用的核心[22] - 新兴市场继续较发达市场存在估值折价,投资者流入该资产类别尚未显著增加,这可能代表潜在机会[23] - 股票表现的改善更多是公司特异性而非普遍性[23] 投资组合亮点 - 该策略在第三季度超越其基准指数,在投资的11个板块中有5个板块实现绝对收益[24] - 主要贡献来自信息技术、通信服务和非必需消费品板块,主要拖累来自能源、金融和必需消费品板块[24] - 整体个股选择贡献了表现,特别是在工业、通信服务和IT板块的选择以及超配IT板块有益于结果[25] - 在区域基础上,在中国、台湾和韩国的个股选择贡献了表现,而在南非的个股选择和超配印度则不利于表现[26] - 个股层面,主要贡献者包括台达电子、宁德时代、腾讯、三星电子和阿里巴巴,主要拖累者包括HDFC银行、ICICI银行、招商银行、Titan和信实工业[26]
Former Meta exec: See 'prominent features' of what looks like AI bubble
Youtube· 2025-10-16 20:05
市场估值与交易活动 - 市场正出现难以置信的疯狂估值,几乎每天每小时都有交易活动,呈现绝对的痉挛状态 [1] - 存在市场出现回调的可能性 [1] 大型科技公司投资与商业模式 - 超大规模云服务商正投入数百亿美元建设数据中心 [1] - 若这些公司无法证明其拥有可持续的商业模式来回收投资,将引发问题 [1] 人工智能技术范式与局限性 - 当前行业建立在大型语言模型这一AI范式之上 [1] - 该概率性技术存在某些局限性,可能无法达到人们预期的全能水平 [1][3][7] - 大型语言模型的基本架构是概率性的,依赖于被强制输入的数据来建立联系和推断 [7] - 该技术可能无法带来能赢得诺贝尔奖的突破性科学发现 [3] - 技术本身笨重且非常消耗数据,输出结果由输入内容决定 [7][8] 技术前景与应用价值 - 尽管存在回调风险,但AI技术本身将持续存在、蓬勃发展并产生巨大影响 [1] - 不应将AI视为轻浮或短暂的时尚,其价值远超于此 [5] - 大型语言模型系统能生成非凡的类人内容,这将带来相当重大的创新 [5] - 当前建设的基础设施可能被重新用于其他用途,类似于电信运营商在互联网泡沫时期建设的基础设施 [1] 行业宣传与市场预期 - 硅谷行业存在炒作周期,从一开始就可能略微过度炒作该技术 [6] - 行业有时会夸大其词,特别是融资时需要,但认为LLM是过时范式并不明智 [8] - 该技术可能并非行业近年来所宣称的万能解决方案 [8]
读万卷书,大模型就能「看」懂视觉世界?Meta揭秘LLM视觉先验的起源
机器之心· 2025-10-11 12:18
研究核心发现 - 仅通过文本预训练的大语言模型能够学到可迁移到视觉任务的先验能力,该研究通过超过100组受控实验和耗费50万GPU小时完成 [2] - LLM的视觉先验可分解为两种独立能力:推理先验和感知先验 [4] - 推理先验是一种更抽象、跨模态的通用能力,主要通过预训练以推理为中心的数据(如代码、数学、学术论文)获得 [4] - 感知先验侧重于对具体视觉概念的认知(如物体颜色、形状),从广泛、多样的通用语料中弥散式地浮现出来 [6] 实验设计与关键结论 - 实验采用adapter-style多模态适配流程,预训练多种尺度的解码器式LLM(从340M到13B,核心对比以3B/7B模型为主) [9] - 在代码、数学和学术数据上训练的模型,在需要抽象推理的视觉任务上表现最好 [9] - 增加推理密集型文本(如代码)的比例至75%左右,模型的下游视觉推理能力会持续显著提升;而视觉描述文本的效果会迅速饱和,少量即可 [11] - 推理先验是独立于视觉编码器的通用能力,而感知先验更依赖于后期的视觉微调数据和视觉编码器特性 [13] 数据配方与应用前景 - 研究提出一套预训练数据混合配方,通过富含推理内容并配以适量视觉知识的“平衡配方”训练模型 [16][17] - 采用该配方训练的7B模型在语言能力上更优,同时在所有视觉基准测试中实现全面超越:语言困惑度从8.72降至7.49,视觉总体准确率从37.32%提升至38.64% [19] - 该研究将多模态模型能力培养从下游微调提前至语言预训练阶段,为构建更强大的跨模态智能基础铺平道路 [21]
通往AGI的快车道?大模型驱动的具身智能革命 | Jinqiu Select
锦秋集· 2025-09-01 23:29
具身智能与大模型融合综述 文章核心观点 - 具身智能被视为实现通用人工智能(AGI)的关键路径,通过"感知-决策-行动"闭环在真实世界中学习并执行复杂任务 [1] - 大模型(如LLM、LVM、LVLM、MLM、VLA)在多模态推理与生成能力上的突破,显著推动了具身智能的演进 [1][7][25] - 世界模型为智能体提供内部环境模拟能力,支持在虚拟空间中演练与优化策略 [1][2][116] - 分层决策与端到端决策成为自主决策的两大核心范式,分别适用于结构化环境与开放动态环境 [6][55][74] Embodied AI系统构成与运行流程 - 系统由物理实体(如人形机器人、智能车辆)和智能体(认知核心)构成,物理实体负责执行动作并接收反馈 [4] - 运行流程包括:从语言指令解读人类意图→主动探索环境→感知多模态元素→执行动作,模仿人类学习范式 [4] - 智能体通过模仿学习从人类演示或视频数据获取技能,通过强化学习整合外部反馈优化策略 [4] 具身智能核心:决策与学习 - 自主决策通过分层范式(分离感知、规划、执行模块)或端到端范式(统一框架集成功能)实现 [6] - 具身学习通过模仿学习(从演示获取技能)和强化学习(迭代优化提升技能)实现持续改进 [6] - 世界模型通过模拟真实世界推理空间,为智能体提供试验和经验积累机会 [6][116] 主流大型模型概览 - Large Language Model (LLM):包括BERT(2018年)、GPT系列(GPT-3参数量达1750亿)、PaLM等,突破zero-shot/few-shot学习能力 [9][10] - Large Vision Model (LVM):ViT将Transformer应用于计算机视觉,DINOv2通过自监督学习提升图像表示质量,SAM支持1100万图像预训练的分割任务 [11] - Large Vision Language Model (LVLM):CLIP通过图文对比学习对齐特征,BLIP-2引入QFormer实现跨模态融合,GPT-4V具备强大多模态推理能力 [12][13] - Multimodal Large Model (MLM):Gemini高效处理文本/图像/音频,DALL·E3通过增强文本编码器改善图像-提示对齐,Sora可生成60秒高质量视频 [14][15] - Vision-Language-Action Model (VLA):RT-2将动作空间离散化为256区间,开源模型(如Octo、TinyVLA)提升计算效率与泛化能力 [16][71] 大型模型通用能力增强技术 - In-Context Learning (ICL):通过精心设计提示实现zero-shot泛化,无需额外训练 [19] - X of Thoughts (XoT):CoT融入中间推理步骤,ToT探索多推理路径,GoT采用图结构实现非线性推理 [20] - Retrieval Augmented Generation (RAG):从外部知识库检索信息,确保响应准确性 [21] - Reinforcement Learning from Human Feedback (RLHF):整合人类偏好优化模型输出 [23] - Model Context Protocol (MCP):提供标准化接口增强模型与外部系统互操作性 [24] 分层自主决策 - 高层规划分为三类:基于结构化语言(LLM生成PDDL或直接作为规划器)、基于自然语言(LLM分解计划)、基于编程语言(指令转可执行代码) [31][33][38] - 底层执行通过传统控制算法(PID、MPC)、LLM驱动学习控制(模仿学习+强化学习)、模块化控制(调用预训练模型如CLIP/SAM)实现 [42][43][45] - 反馈机制包括:大模型自我反思(Re-Prompting重新生成计划)、人类反馈(交互式纠正)、环境反馈(多模态输入转化为语言调整计划) [49][52][54] 端到端自主决策 - VLA模型集成感知、语言理解、规划、动作执行与反馈优化,包含token化与表示、多模态信息融合、动作去token化三个组件 [58][60][62] - RT-2利用ViT进行视觉处理,PaLM集成多模态信息,动作空间离散化为8维度(含256区间) [63] - VLA增强方向:感知能力增强(BYO-VLA滤除视觉噪声)、轨迹动作优化(Octo结合扩散模型)、训练成本降低(π0利用流匹配提升实时性能) [65][70][71] 分层与端到端决策对比 - 分层架构优势:高可解释性、易集成领域知识、模块化设计;劣势:模块协调可能导致次优解、适应性受限 [74] - 端到端架构优势:最小化误差累积、强泛化能力、高效复杂任务处理;劣势:黑箱性质、高计算成本、依赖训练数据 [75] Embodied Learning方法 - 模仿学习:通过最小化专家动作负对数似然学习策略,依赖高质量演示数据 [83][84] - 强化学习:最大化长期累积奖励,PPO/SAC等算法提升稳定性,但需海量探索 [87][89] - 迁移学习:通过KL散度约束迁移源任务策略至目标任务,加速学习但需避免负迁移 [90][91] - 元学习:MAML框架通过少量样本快速适应新任务,但需多样任务预训练数据 [93][94] 大模型赋能的模仿学习 - Diffusion models增强策略:Diffusion Policy通过U-Net生成动作序列,3D-Diffusion利用3D输入提升空间感知 [100][101] - Transformer架构策略:RT-1结合大规模数据集提升泛化,ALOHA实现低成本硬件精确操作,RoboCat实现跨任务快速泛化 [102][103] 大模型赋能的强化学习 - 奖励函数设计:Text2Reward生成可解释Python代码,Eureka利用GPT-4实现全自动优化 [109] - 策略网络构建:Diffusion-QL增强多模态动作分布,Decision Transformer将问题重构为序列建模,LLM(如GLAM)直接生成动作序列 [113][114][115] 世界模型设计与应用 - 设计类型:隐空间世界模型(RSSM)、基于Transformer(IRIS/Genie)、基于扩散(Sora/UniPi)、联合嵌入预测架构(JEPA) [119][122][125][128] - 决策应用:模拟验证(NeBula构建概率信念空间)、知识增强(WKM提供全局先验知识) [133][134] - 具身学习应用:基于模型的强化学习通过模拟状态转换和生成数据提升学习效率 [135]
Orangekloud Signs MOU for Development of Specialized LLM for Software Engineering and Application Development
Globenewswire· 2025-06-30 20:30
文章核心观点 - 新加坡科技公司Orangekloud与Evvo Labs签署谅解备忘录,合作开发适用于软件工程和应用开发的大语言模型,预计2026年第一季度进入试点测试 [1][4] 合作信息 - 2025年6月18日Orangekloud与Evvo Labs签署谅解备忘录,合作开发适用于软件工程和应用开发的大语言模型 [1] - 大语言模型将集成到Orangekloud的eMOBIQ平台及其他解决方案中,提供智能建议、代码生成等支持,还能通过自动化文档等增强ERP实施和软件开发周期 [2] - 项目预计2026年第一季度进入试点测试 [4] 公司背景 - Orangekloud是新加坡科技公司,提供eMOBIQ无代码平台,专为中小企业和企业开发移动应用,涵盖仓储、销售等多个领域 [5] - Evvo Labs是新加坡屡获殊荣的以网络为中心的ITMS科技公司,专注于数字化转型和技术开发集成,自2010年以来多次获得新加坡政府网络安全和数字媒体批量招标奖 [6] 公司观点 - Orangekloud首席执行官Alex Goh认为企业软件的未来在于智能自动化,通过与合作伙伴开发大语言模型,可实现更快、更智能、更易访问的软件和应用开发 [4]