Workflow
PPO
icon
搜索文档
微软副总裁X上「开课」,连更关于RL的一切,LLM从业者必读
机器之心· 2025-05-26 09:28
人工智能教育系列 - 微软副总裁Nando de Freitas在X平台上发布人工智能教育系列帖子,内容涵盖LLM强化学习、扩散模型、流匹配等技术发展[1] - 该系列因内容硬核导致读者参与度下降,但仍对RL和大模型学习者具有重要价值[3][4][5] - 系列将持续更新,后续将拓展至多步强化学习等进阶内容[6][82] 机器学习范式比较 - 监督学习通过最大似然估计实现状态-行动映射,依赖高质量专家数据,是大语言模型预训练的核心原理[9] - 强化学习采用选择性模仿机制,可从次优数据中学习并超越教师,具备自我提升特性[10][13][14] - 生成模型发展是过去十年强化学习进步的主要驱动力,而非算法创新[18] 分布式强化学习系统 - 工业级LLM强化学习需处理数百万次并行交互,涉及数十亿参数模型,成本极高[23] - 现代系统采用Actor-Learner架构:Actors负责环境交互与数据收集,Learners负责策略更新[23][24] - 聊天机器人场景中,Actors是对话接口,环境是用户,Learner需更高计算资源处理梯度统计[26] 强化学习技术方法 - 单步RL针对单一动作优化,多步RL需解决信用分配问题,后者在对话系统中尤为关键[35][38][40] - 策略梯度算法通过最大化期望回报实现策略优化,包含on-policy和off-policy两种范式[47][49][51] - 基线减法和KL散度是降低方差、保持策略稳定的关键技术[56][57][67][69] 前沿优化算法 - 重要性采样通过权重修正解决off-policy数据偏差,但存在高维空间不稳定性[73][75][76] - PPO算法通过裁剪机制控制策略更新幅度,结合KL约束提升训练稳定性[78] - DeepSeek-R1采用加权方案动态调整新旧数据贡献度,形成完整强化学习解决方案[29][78]
汇丰:中国策略追踪-增长趋弱,政策支持加强
汇丰· 2025-05-25 22:09
报告行业投资评级 报告未提及行业投资评级相关内容 报告的核心观点 - 4月经济数据全面走弱,预计7月将出台更多政策支持 [3][7] - 共同基金发行持续复苏,4月中旬以来南向资金流入低迷,外资流入不温不火 [4][7] - 美国劳动力市场有韧性且通胀低于共识,联邦基金期货暗示2025年有两次25个基点的降息 [5][7] 根据相关目录分别进行总结 指数目标与行业配置 - 2025年末HSBC Qianhai对SHCOMP、CSI300、SZCOMP的指数目标分别为3,600、4,300、11,500,隐含的远期市盈率分别为13.9、14.8、20.6,指数上行空间分别为6.9%、10.6%、13.0% [9] - 行业配置方面,信息技术、可选消费、医疗保健为超配行业;工业、电信、公用事业、必需消费、材料为中性行业;房地产、能源、金融为低配行业 [10] 市场焦点 - 截至2025年5月16日,各指数和行业的估值水平显示,A股整体PE-TTM为19.0x,PB-LF为1.6x;中国市场相对新兴市场有14.2%的折价 [11] - 2025年4月,传媒行业2025年盈利预期上调最多,房地产下调最多 [13][14] - 2025年以来,CSI800成分股的一致盈利预期下调了5.1% [21] - 中国国债长端收益率接近历史低位,中美利差仍为负,但负利差同比收窄 [16][18][23] 宏观焦点 - 2025年5月12日贸易协议后,中美关税大幅下降,SCFI周环比反弹10% [25][28] - 2025年劳动节假期旅游流量和收入分别达到2019年的136%和123%,人均消费下降10% [4][32] - 2025年4月,工业生产超预期,零售销售和固定资产投资不及预期;固定资产投资中,制造业和基础设施投资放缓,房地产拖累加深 [33][35] - 4月社会融资总额和M2同比增速加快,M1放缓;CPI受油价下跌影响保持低迷,PPI同比降幅扩大至2.7% [38][43] - 整体制造业PMI降至49.0,各规模企业均下滑;30个主要城市的房屋销售自3月下旬以来走弱 [44][49] 流动性焦点 - 截至2025年5月16日,新共同基金发行同比增长88%,融资融券余额稳定在1.8万亿元 [45][48] - 5月股票ETF净流出381亿元,其成交额占A股成交额的比例降至6.3%;A股市场成交额在5月企稳,10日移动平均成交额约为1.2万亿元 [50][51][53] - 2025年5月外资流入内地股市不温不火;南向资金年初至今净流入6039亿港元,但4月中旬以来横盘整理 [57][59] - A股回购金额同比下降52%至599亿元,香港市场回购金额同比下降29%至570亿元 [67] 成长板块 - 2025年4月,中国新能源汽车渗透率为51.5%,同比提高7.4个百分点;新能源汽车折扣率降至9.4% [68][72] - 磷酸铁锂电池价格小幅下跌;太阳能多晶硅和电池片价格近期维持低位 [70][74] - 2025年4月,台湾OSAT销售同比增速加快至13%;NAND闪存和DRAM价格自4月中旬以来进一步改善 [77][79] - 2025年1 - 4月电影票房收入达256亿元,同比增长37.6%,比2019年同期高9.2% [81] - 2025年4月,空调出口同比下降0.2%,国内销售同比增长3.7% [83] - 2025年4月国内游戏版号发放数量维持在118个的高位;茅台批发价近期有所回升;4月猪肉批发均价环比下降1.2% [85][87][89] 价值板块 - 2025年4月,百强开发商月度销售额为2847亿元,同比下降8.8%;年初至今房屋新开工面积增速企稳,但4月竣工面积再次下降;二手房价格4月进一步回升 [91][93][95] - 适度宽松的货币政策将降低平均贷款利率 [95] - 2025年5月,动力煤价格进一步下跌;油价因关税冲击大幅下跌;全国水泥均价持续下降;钢铁价格指数不温不火 [98][100][102] - 有色金属中,铜和铝价格在关税冲击后进一步回升;化工品中,乙烯价格在2024年5月进一步下跌 [105][106] 全球市场 - 2025年4月,主要经济体制造业活动处于收缩区间,但消费保持韧性 [107][109] - 全球通胀接近疫情前水平,但全球贸易不确定性可能带来上行风险;美国失业率稳定,但非农就业人数超预期;时薪增速放缓表明劳动力市场供需缺口缩小 [111][113][117] - 2025年4月美国房地产市场需求不温不火,库存水平较高;美国国债收益率5月维持高位,10Y - 2Y利差为正 [119][120][121] - 自2025年4月以来,股票和黄金表现优于其他资产类别;美国和德国股市反弹幅度最大 [123][128] 中美关系 - 2025年3月,中国持有的美国国债环比减少189亿美元 [131] - 2025年5月,中美航班仅为2019年的26.4%,且计划分阶段恢复 [131][138] - 中国出口中美国占比持续下降,东盟和中东占比逐渐上升;美国进口中,中国占比大幅下降,南亚和东南亚占比稳定 [133][135]
Frontdoor: A Compelling Mix Of Momentum, Profitability, And Upside
Seeking Alpha· 2025-05-25 17:12
公司表现 - Frontdoor Inc (FTDR) 股价在过去一个月上涨37% 表现出强劲势头 [1] - 公司上调了业绩指引 显示出增长和盈利能力增强的积极信号 [1] 分析师背景 - 分析师专注于外国股票 特别是北欧市场 涵盖从蓝筹股到新兴市场领导者的各类公司 [1] - 同时研究美国市场的成长股 重点关注具有长期扩张潜力的公司 [1] - 目标是发现被低估的投资机会和独特的商业模式 [1]
OppFi's Unique Business Model Could Be A Hidden Goldmine For Investors
Seeking Alpha· 2025-05-24 05:05
公司定位与业务模式 - 专注于为个人投资者寻找高收益投资机会 [1] - 具备专业自营交易背景 擅长将复杂概念简化为清晰可操作的见解 [1] - 提供独家专业研究支持 帮助投资者做出明智决策 [1] 分析师持仓披露 - 分析师通过股票、期权或其他衍生品持有OPFI多头仓位 [2] - 分析内容为独立观点 未获得被提及公司的报酬或商业往来 [2] 平台免责声明 - 平台强调历史表现不预示未来结果 不构成具体投资建议 [3] - 分析师包含专业投资者与个人投资者 未全部具备监管机构认证资质 [3]
3 Best Breakout Stocks to Add to Your Portfolio Right Away
ZACKS· 2025-05-24 04:01
突破股投资策略 - 突破股投资策略涉及寻找特定价格区间内的突破股票 当股价跌破下限时应考虑卖出 超过上限时则持有以获取收益 [1] - 筛选突破股需计算支撑位和阻力位 支撑位是股价波动的下限 阻力位是股价在一段时期内交易的最高价 [2] - 支撑位代表股票需求最低点 多数交易者愿意在此卖出 阻力位则代表多数交易者愿意增持该股票 [3] 突破股识别标准 - 真正突破的标志是股价突破阻力位后 原阻力位应转变为新的支撑位 需通过长期价格趋势验证 [5] - 使用Research Wizard筛选标准包括:四周价格涨幅10%-20% 当前价格接近52周高点的90% Zacks评级为1级(强力买入) [6] - 其他筛选条件包括:60个月贝塔值≤2 当前价格≤20美元 从6853只股票中最终筛选出9只 [7] 今日突破股推荐 - 巴克莱银行(BCS) 全球性金融服务公司 预计当前年度盈利增长率为21.2% [7] - NatWest集团(NWG) 全球银行及金融服务提供商 预计当前年度盈利增长率为17.3% [9] - Aris矿业公司(ARMN) 在加拿大、哥伦比亚和圭亚那运营金矿 预计当前年度盈利增长率达226.5% [10] Research Wizard工具 - Research Wizard提供免费两周试用 可自定义策略并回测 包含简单直观的界面设计 [10][11]
Apple's Ecosystem Is Eating Hardware
Seeking Alpha· 2025-05-24 03:26
Since my last Apple (NASDAQ: AAPL ) coverage , the stock has tracked the S&P 500’s 17% increase, but the headlines are hiding the actual story. Apple is transforming from a hardware giant to a margin-dense services-driven ecosystem. Apple’s recurring revenue flywheel isHi, I'm Yiannis. Spotting winners before they break out is what I do best.Experience: Previously worked at Deloitte and KPMG in external/internal auditing and consulting. Education: Chartered Certified Accountant, Fellow Member of ACCA Global ...
Stock Of The Day: Carnival Finds Support Amid Summer Travel Hopes
Benzinga· 2025-05-23 23:59
Shares of Carnival Corporation & plc CCL are trading lower Friday. This is despite analyst predictions of strong summer bookings.That’s why it’s Benzinga’s Stock of the Day. It looks like the shares may find support and reverse and move higher.The chart of Carnival illustrates two important market principles.The first is that price levels that had been support can turn into resistance levels. In December the $23.30 level was support. In May it became a resistance level.Support can turn into resistance becau ...
Comcast Connecting Homes and Businesses in Greenwood, SC to Reliable, High-Speed Internet
Prnewswire· 2025-05-23 23:10
宽带网络扩展项目 - Comcast完成美国救援计划法案资助的610万美元宽带扩展项目,首次为格林伍德居民和企业提供Xfinity和Comcast Business的互联网、移动和安全服务[1] - 项目资金来源于州和地方财政复苏基金补助[1] - 网络覆盖使格林伍德加入全美6400万家庭和企业可访问的多千兆互联网网络,可靠性达99.9%[8] 社区支持与捐赠 - 向Lakelands地区男孩女孩俱乐部捐赠1万美元用于数字素养课程,并设立免费WiFi的Lift Zone[4] - 在启动仪式上向50名高中生赠送免费笔记本电脑[3] - 飓风Helene后曾提供1万美元资助俱乐部恢复运营[5] - 过去三年在南卡罗来纳州非营利组织投入130万美元现金及实物捐赠,用于数字技能培训和网络普及项目[12] 产品与服务 - 居民可选用Xfinity和NOW品牌的互联网、视频、移动、语音及家庭安全服务,提供多千兆网速和全屋覆盖WiFi[10] - 企业客户可获取Comcast Business提供的连接、通信、网络安全及托管解决方案,其以太网服务增速位居行业前列[11] 战略合作与活动 - 成为7月格林伍德Discovery Festival主舞台赞助商[13] - 通过Project UP项目投入10亿美元资金,用于创造数字机会和促进经济流动性[6] - 活动现场推广Internet Essentials计划,为低收入家庭提供低成本宽带服务和数字素养培训[7] 行业影响与政府评价 - 南卡罗来纳州宽带办公室主任指出扩展项目对教育、商业和社区发展的关键作用[3] - 格林伍德市长认为可靠互联网将推动当地经济和教育发展,改变社区资源获取方式[9]
SoFi: Giant Banks Are Betting Big On Innovation
Seeking Alpha· 2025-05-23 00:13
With a decade at a Big 4 audit firm specializing in the banking, mining, and energy sectors, I bring a strong foundation in finance and strategy. Currently, I serve as the Head of Finance for a leading owner and operator of retail real estate, where I oversee complex financial operations and strategy. I’ve been an active investor in the U.S. stock market for 13 years, starting with my very first paycheck. Over time, my portfolio has evolved to reflect a balanced approach, with a growing focus on value stock ...
Lockheed Martin Needs The Golden Dome Win
Seeking Alpha· 2025-05-22 22:14
行业动态 - 航空航天和国防行业今年波动较大 主要由于市场担忧美国国防预算可能大幅削减 [1] - 特朗普总统目前考虑将国防预算定为1750亿美元 但具体细节尚未公布 [1] 研究服务 - The Aerospace Forum是Seeking Alpha平台上排名第一的航空航天 国防和航空投资研究服务 提供独家报告 数据和投资理念 [1] - 该服务提供evoX Data Analytics平台访问权限 这是一个内部开发的数据分析平台 [1] - 研究团队由航空航天工程背景的专业人士领导 专注于通过数据分析发现行业投资机会 [1] 投资分析 - 航空航天和国防行业具有显著增长前景 但属于复杂行业 需要专业分析 [1] - 研究服务提供实时发展分析 解释行业事件如何影响投资理论 [1] - 投资理念基于数据驱动的分析方法 并提供直接访问数据分析监测工具的权限 [1]