机器学习

搜索文档
大佬面对面!斯坦福2025 CS336课程全公开:从零开始搓大模型~
自动驾驶之心· 2025-06-24 19:47
课程概述 - 斯坦福大学2025年春季CS336课程「从头开始创造语言模型」已全面上线网络 提供完整课程视频和主页链接[2][4] - 课程目标为引导学生从零开发语言模型 覆盖预训练数据收集 Transformer构建 模型训练及部署评测全流程[5] 师资团队 - 核心讲师Tatsunori Hashimoto为斯坦福计算机科学系助理教授 研究成果累计引用超3万次 研究方向聚焦机器学习模型性能权衡[3] - 联合讲师Percy Liang为斯坦福副教授兼基础模型研究中心主任 学术引用量超10万 主导多项AI领域研究项目[3] 课程模块 - 五大模块涵盖基础 系统 扩展 数据 对齐和推理强化学习 强调实践操作与深度技术掌握[7] - 实践要求包括Python编程能力 PyTorch熟练度 系统优化经验及数学基础(线性代数 概率统计等)[7] 实践作业 - 作业1要求实现BPE分词器 Transformer架构和Adam优化器 仅允许使用PyTorch原语进行模型训练[8] - 作业2聚焦GPU加速 需在Triton中实现Flash Attention 2及分布式并行优化[8] - 作业3涉及Scaling Law拟合 学生需在有限计算预算内通过训练API收集数据点[8] - 作业4侧重数据工程 要求完成Common Crawl数据清洗 去重及有害内容过滤[8] - 作业5要求实现监督微调 专家迭代等对齐技术 在Qwen 2 5 Math 1 5B模型上运行强化学习[8] 课程安排 - 18周课程包含16次讲座和2次嘉宾分享 内容覆盖分词 GPU并行 混合专家系统 推理优化等核心技术[9] - 作业周期与课程紧密衔接 例如第5周完成作业1提交后立即发布作业2 强化学习实践贯穿后期课程[9]
新鲜出炉!斯坦福2025 CS336课程全公开:从零开始搓大模型
机器之心· 2025-06-23 12:04
课程发布与师资 - 斯坦福大学2025年春季CS336课程《从头开始创造语言模型》已全面上线 提供课程视频和主页链接[1][5] - 讲师Tatsunori Hashimoto为斯坦福计算机科学系助理教授 研究方向为机器学习模型性能权衡 学术成果累计引用超3万次[2][3] - 另一位讲师Percy Liang为斯坦福副教授兼基础模型研究中心主任 学术引用量超过10万次 研究方向涵盖自然语言处理与机器学习[6][7] 课程内容与结构 - 课程目标为引导学生完成开发语言模型的全流程 包括数据收集、模型构建、训练及评估等环节[8] - 课程分为5个单元共19门课 涵盖token化、PyTorch应用、GPU优化、Scaling Law拟合、数据清洗及模型对齐等核心技术[10] - 实践作业包括实现BPE分词器、Transformer架构、Flash Attention 2优化及分布式训练等 要求学生直接使用PyTorch原语编程[10] 学习门槛与技能要求 - 需熟练掌握Python编程 课程作业代码量显著高于其他AI课程 涉及底层框架开发[11] - 需具备深度学习与系统优化经验 包括PyTorch应用及GPU并行计算能力[11] - 需掌握大学微积分、线性代数、概率统计及机器学习基础知识[11] 行业合作与资源 - 课程包含阿里巴巴达摩院研究员和Meta AI科学家的客座讲座 聚焦Qwen和Llama 3等工业级模型开发经验[10] - 提供Triton框架实现、Common Crawl数据处理等实战内容 强调工业级技术栈应用[10]
不止是爬山神器,更是四肢增强“外挂”
红杉汇· 2025-06-22 13:03
外骨骼机器人技术发展 - 外骨骼机器人通过机械结构与人体关节耦合,增强或替代人体运动能力,应用场景包括户外运动、工业、医疗、应急救援等[2] - 技术起源可追溯至18世纪,但早期装置笨重且功能有限,1967年通用电气研发的"Hardiman"原型机实现技术突破,具备30多个动力关节但自重达680公斤[4][5] - 21世纪后材料科学进步推动轻量化发展,碳纤维复合材料使产品重量降至1.8公斤,同时AI算法可实现30%体能节省[5] 核心技术突破 - 材料创新:碳纤维、钛合金等轻质高强度材料广泛应用,柔性材料如形状记忆合金提升穿戴舒适性,汉威科技柔性传感器可映射肌肉应变并耐受百万次弯曲[5][6] - 电子技术:微处理器实现毫秒级响应,Cyberdyne公司HAL系统通过检测肌肉电信号预判运动意图[8] - 人工智能:机器学习算法使设备可自适应使用者习惯,视鹏科技登山外骨骼能动态调整助力策略,深度学习技术增强复杂地形适应性[10] 应用场景拓展 - 工业领域:福特工厂使用外骨骼后装配效率提升23%,工人肌肉劳损率下降41%,京东/顺丰物流作业时间延长50%[12] - 医疗康复:ReWalk帮助脊髓损伤患者恢复行走能力,博灵脑机研发的上肢康复外骨骼通过脑机接口捕捉微弱肌肉信号[13] - 社会服务:巴黎残奥会火炬传递采用外骨骼,傲鲨智能产品在上海社区试点,辅助护工搬运老人并具备跌倒报警功能[15] 市场前景与挑战 - 政策推动:专项补贴目标2025年普及率达25%,多省市将外骨骼纳入医保,预计2025年中国市场规模突破50亿元,2030年达千亿级[15] - 现存瓶颈:成本高昂(高精度传感器+轻质材料)、结构笨重影响自然步态、续航不足(如BLEEX仅维持120分钟作业)[17] - 未来方向:智能化算法升级、千元级消费产品开发、固态电池提升续航、产业链标准化[18][21]
西安交大发表最新Nature论文
生物世界· 2025-06-21 07:56
排版丨水成文 数百年来,人们一直在寻求既坚固又富有韧性的合金。然而,对于迄今为止开发的所有合金,包括近期的 高熵合金,那些具有良好拉伸延展性的合金在室温下很少能达到 2GPa 的屈服强度 (屈服,指 材料发生永 久塑性变形 ) 。少数能做到这一点的材料大多是超强度钢,然而,它们的应力-应变曲线会出现平台和锯 齿状,因为其拉伸流动存在塑性不稳定,并且延伸率最多也只是伪均匀的。 编辑丨王多鱼 2025 年 6 月 18 日,西安交通大学 马恩 教授、 孙军 院士、 张金钰 教授作为共同通讯作者,在 Nature 期刊发表了 题为: Machine-learning design of ductile FeNiCoAlTa alloys with high strength 的研究论 文。 该研究利用机器学习模型设计了一种复杂的铁镍钴铝钽合金 ( Fe 35 Ni 29 Co 21 Al 12 Ta 3 ) ,该合金创 造了屈服强度与拉伸塑性组合的新纪录,显著提升了合金的加工硬化性能和屈服/抗拉强度与拉伸延性,使 得合金在室温下实现了前所未有的强度-塑性组合,明显优于迄今为止已报道的所有合金。 在这项最新研究中,研 ...
新都中学多元力量协同推进科学教育发展
齐鲁晚报网· 2025-06-20 17:24
齐鲁晚报·齐鲁壹点 陈乃彰 通讯员 刘军 王栩晨 为进一步深化科技社团建设内涵,培育兼具人文底蕴与科学精神的复合型人才,6月4日,威海市科普志 愿者协会李盛副秘书长牵头组织跨领域专家团队走进新都中学。环翠区美术馆馆长、中职院校骨干教 师,以及农业技术局退休资深专家等各界精英齐聚一堂,从艺术融合、技术实践、产业应用等多元视 角,为学校科技社团发展注入专业指导力量。 在科技发明社团活动现场,于老师化身"电路魔法师",以电路板、太阳能发电设备为教具,为同学们开 启了一场充满趣味的电学探索之旅。他手持电路板,用通俗易懂的语言讲解电阻、电容的基础原 理:"电阻就像电路里的'交通指挥员',能控制电流的大小;电容则像'小水库',可以储存和释放电 能。" 随后,于老师亲自示范如何使用万用表测量电阻,边操作边强调安全规范与测量技巧,让晦涩的电学知 识变得直观易懂。理论讲解结束后,于老师与同学们展开热烈互动。面对"电阻在生活中有哪些实际应 用"的疑问,他以手机充电器、台灯调光功能为例,剖析电阻调节电流的原理;针对"电容能否替代电池 供电"的好奇,于老师结合电容充放电特性与电池持续供电的差异,引导同学们思考两者的适用场景。 互动中 ...
全面合规计划:您的最佳实践清单
Refinitiv路孚特· 2025-06-19 10:01
在LSEG"与专家面对面"系列网络研讨会的最新一期中,深入剖析了实施全面合规计划的重要性,并为制定 更具主动性的风险管理策略提供了一系列最佳实践方面的见解。 以更少的资源做更多的事 如今,受监管实体正深陷一场"完美风暴":法规不断演变,尽职调查工作量与成本急剧攀升,而资源却极为 有限。据LSEG的研究显示,90%的受访者表示,过去三年间,他们所处理的增强尽职调查(EDD)请求数 量呈上升态势。 这些不断攀升的工作量给预算和资源带来了巨大压力。与此同时,合规团队必须确保客户准入流程以及交易 决策过程快速、无缝且具备成本效益。 所有这些情况都凸显出"以更少资源达成更多成效"的迫切需求。借助恰当的数据与技术手段,您便能够驾驭 这一复杂多变的风险局面。 5项最佳实践见解 01 采用基于风险的方法 采用基于风险的方法至关重要,因为资源是有限的。即使是最大的组织也没有无限的资源,这意味着您应该 将可用的预算、时间和精力投入到潜在风险最高的领域。 筛查是识别潜在风险的重要初始环节。一旦怀疑或发现风险,便需要以增强尽职调查(EDD)的形式开展 更深入的尽职调查工作。 增强尽职调查(EDD)的力度应与怀疑的风险程度相匹配,并应 ...
腾讯云:2025年金融业智能风控实践白皮书
搜狐财经· 2025-06-19 09:27
研究背景 - 政策推动金融风险管理向"技防""智控"转变,数字金融高质量发展提出新要求[1][12] - 全球诈骗案件数量从2020年2.66亿起增至2021年2.93亿起(+10.2%),损失金额从478亿美元增至553亿美元(+15.7%)[18] - 2023年金融诈骗导致全球损失达4856亿美元,金融机构亟需提升智能风控水平[18] 金融业智能风控建设现状 - 政策驱动智能化转型,《金融科技发展规划(2022-2025)》明确要求优化风控模型[20] - 传统风控依赖静态模型与规则引擎,对征信白户和新型风险应对不足[21] - 大数据、机器学习、云计算技术提升风控实时性,20余家科技企业与金融机构开展数据算法合作[22] - 电信诈骗涉案资金拦截量:2021年3291亿元,2022年3180亿元,2023年3288亿元[24] - 信贷风控覆盖全流程,贷前综合身份认证平台集成生物识别技术,贷中构建差异化评分体系[26][27] 建设问题与挑战 - 机构内部数据标准不一,80%机构需扩大外部数据接入但受隐私政策限制[29] - 数据投毒攻击导致模型准确度下降,AI换脸等新型诈骗手段使传统模型失效[30][31] - 黑灰产形成"供-产-销"链条,利用深度伪造、自动化工具提升攻击效率[32][33] - 普惠金融面临尽调成本高、偏远地区数字化基础设施不足的双重压力[34][35] 建设思路与实践案例 - 数据治理:拓宽维度+自动化分析+合规流通,模型建设:风控大模型+敏捷迭代[36][37] - 中国银行深圳分行运用区块链技术优化普惠业务风控效率[2] - 中信银行"哨兵"系统整合内外情报提升反欺诈能力[2] - 微众银行、新网银行通过技术手段构建差异化风控体系[2][27] 未来趋势 - 联防联控提升行业整体水平,协同共建风控生态,科技赋能场景需求[14][36]
AI精准肿瘤医学平台Caris Life Sciences(CAI.US)筹资4.94亿美元 美股上市首日暴涨33%
智通财经· 2025-06-19 07:33
IPO概况 - 医疗科技公司Caris Life Sciences(CAIUS)于美东时间周三登陆纳斯达克市场 在美股首次公开募股(IPO)中筹资494亿美元 发行价高于原定区间上限 [1] - 该股一经上市便高涨至近40% 周三收涨33%于28美元 [1] - 公司以每股21美元定价发行2350万股 较最初19至20美元的定价区间再度上调 [1] - 按此前备案文件中的流通股计算 公司市值达79亿美元 [1] 募资用途与财务表现 - 募资金额将用于偿还约4亿美元债务 并预计公司今年实现盈利 [1] - 2025年一季度Caris营收1209亿美元 净亏损127亿美元 去年同期则是8070万美元营收和1341亿美元亏损 亏损幅度收窄 [2] 股东结构与承销信息 - 上市后创始人兼CEO大卫迪恩哈尔伯特将持股417% Sixth Street Partners和JH Whitney Capital Partners的关联机构分别持股98%和68% [2] - 纽伯格伯曼投资顾问关联机构已表明有意以发行价认购至多7500万美元股份 [1] - 此次IPO由美国银行 摩根大通 高盛和花旗牵头承销 股票在纳斯达克全球精选市场以"CAI"代码交易 [2] 公司业务与技术 - 公司成立于2008年 通过人工智能和机器学习分析肿瘤学数据以辅助癌症诊断与治疗监测 累计完成超650万次检测 覆盖849万病例 [1] - 产品组合包括贡献主要收入的组织分子分析解决方案MI Profile 以及2024年一季度推出的血液分子检测方案Caris Assure [2] - 公司还运营药物发现业务 利用检测数据和基因组数据集识别潜在药物靶点并研发疗法 [2]
万字解读AMD的CDNA 4 架构
半导体行业观察· 2025-06-18 09:26
AMD CDNA 4架构核心升级 - CDNA 4是AMD最新面向计算的GPU架构,专注于提升低精度数据类型下的矩阵乘法性能,这对机器学习工作负载至关重要[2] - 架构采用与CDNA 3相同的大规模芯片组设计,包含8个加速器计算芯片(XCD)和4个基础芯片,通过Infinity Fabric技术实现一致内存访问[4] - 相比CDNA 3的MI300X,CDNA 4的MI355X减少了每个XCD的CU数量但提高了时钟速度,整体性能差距不大[5] 性能参数对比 - MI355X采用TSMC N3P工艺(计算芯片)和6nm工艺(基础芯片),时钟速度2.4GHz,比MI300X的2.1GHz和Nvidia B200的1.965GHz更高[5] - MI355X配备8个HBM3E堆栈,提供288GB内存和8TB/s带宽,优于MI300X的192GB/5.3TB/s和B200的180GB/7.7TB/s[5] - 在FP6精度下,CDNA 4的每CU矩阵吞吐量与B200 SM相当,但在16位和8位数据类型上B200仍保持优势[6] 计算单元改进 - CDNA 4重新平衡执行单元,专注于低精度矩阵乘法,许多情况下每CU矩阵吞吐量翻倍[6] - 矢量运算方面,CDNA 4保持MI300X的优势,每个CU有128条FP32通道,每周期提供256 FLOPS[8] - LDS(本地数据共享)容量从CDNA 3的64KB提升至160KB,读取带宽翻倍至每时钟256字节[14][15] 系统架构优化 - MI355X升级使用HBM3E内存,计算带宽比提升至每FP32 FLOP 0.05字节,优于MI300X的0.03字节[25] - 二级缓存新增"回写脏数据并保留行副本"功能,优化内存子系统带宽使用[20] - 架构采用两个IOD(输入输出芯片)而非上代的四个,简化了Infinity Fabric网络,延迟降低14%[52] 产品规格与性能 - MI355X GPU提供1400W直接液冷版本,FP8稀疏计算峰值达10PFLOPS,FP6/FP4达20PFLOPS[74] - 相比MI300X,MI355X在FP16/BF16矩阵运算性能提升1.9倍,FP8/INT8提升1.9倍,并新增FP6/FP4支持[47] - 内存分区支持NPS1(全内存交错)和NPS2(144GB分池)两种模式,后者可减少跨IOD通信开销[60][61] 软件生态系统 - ROCm软件堆栈支持Kubernetes编排,提供PyTorch和JAX等框架优化[70] - 针对生成式AI优化了vLLM和SGLang等推理框架,提供Llama系列等流行模型的Day 0支持[72] - 包含分布式训练框架如Maxtext(JAX)和Megatron LM(PyTorch),支持Flash Attention v3等关键技术[71]
光掩膜的变化和挑战
半导体行业观察· 2025-06-17 09:34
掩模制造技术发展 - 曲线掩模版成为非EUV节点(如193i浸没式技术)的关键创新,通过多光束掩模刻写技术实现复杂形状,提升器件性能并降低成本 [3][4][5] - 计算工具(如掩模工艺校正MPC、高级仿真、机器学习)广泛应用,减少实验需求并突破技术极限 [3][6][7] - 曲线形状设计简化制造流程,ILT(逆向光刻技术)输出可制造的曲线形状,使物理掩模与目标形状匹配度更高 [5][7] 曲线掩模的应用障碍 - 基础设施不足:曲线形状的复杂性需重构掩模版图、工艺校正等流程,且缺乏多重图案化的清晰路线图 [8][9] - 计量技术滞后:曲线工艺需测量二维轮廓,现有工具难以满足高分辨率、大数据量需求,验证能力落后于刻写能力 [11][12] - EDA工具支持有限:曲线形状的标准文件格式未完全兼容,转换过程可能引入错误 [10] EUV防护膜的挑战与改进 - EUV防护膜存在能量损失(反射导致两次损耗)和耐用性问题,需频繁更换(每周一次),增加成本与复杂度 [13][14] - 内存应用因冗余设计倾向放弃防护膜,而高价值逻辑芯片(如GPU)仍需防护膜以避免致命缺陷 [14][16] - 新材料如碳纳米管薄膜可解决深紫外反射问题,但存在寿命短(<10,000次曝光)和碎裂风险,尚未大规模应用 [17] 行业技术趋势 - 混合OPC策略局部应用曲线形状,平衡计算负荷与性能优势 [6][10] - 高数值孔径(High-NA)可能推动单一图案曲线布局,简化逻辑实现难度 [8] - GPU计算资源需求增长,但多数掩模厂仍依赖CPU工作流程,制约曲线工艺普及 [9][12]