Workflow
IDEAL
icon
搜索文档
一招缓解LLM偏科!调整训练集组成,“秘方”在此 | 上交大&上海AI Lab等
量子位· 2025-06-10 15:35
核心观点 - 上海交大与上海AI Lab联合团队提出的IDEAL方法通过科学调整SFT训练集组成,显著缓解LLM多任务训练中的"偏科"现象,提升模型综合性能 [3][4] - 该方法基于数学建模量化不同领域数据对最终性能的影响,优化训练集配比,而非简单增加弱势领域数据量 [4][5] - 实验显示IDEAL使Llama 3.1-8B原本较弱的代码能力获得明显提升,且在多个领域benchmark上均实现平均性能优化 [2][10][11] 方法原理 - **问题建模**:引入变量β显式建模训练集优化问题,目标是最小化验证集损失函数,公式包含参数二阶矩阵逆运算 [5][7] - **高效计算**:采用K-FAC理论近似简化Hessian矩阵逆运算,筛选模型"重要层"参数降低计算量,通过超参数m控制调整比例 [8] - **配比优化**:数据分布配比比数据量更关键,不当配比下增加数据量或训练epoch会放大负面冲突 [6][15] 实验结果 - **领域覆盖**:在4领域4 benchmark和5领域8 benchmark测试中,IDEAL均优于人工经验配比,验证其普适性 [11] - **参数选择**:超参数m推荐值为0.15,过小影响优化效果,过大偏离原始分布 [15] - **对比基线**:相比DoReMi和DOGE等re-weighting方法,IDEAL在同等数据量下性能提升更显著 [15] 应用价值 - 自动化解决高质量多领域数据配比问题,替代人工经验调整,具有工程实用价值 [14] - 为LLM多任务训练提供理论框架,指导数据集的科学构建与优化 [4][5]
综述丨电邮封锁事件引担忧 荷兰讨论摆脱对美技术依赖
新华社· 2025-05-21 15:41
微软封锁事件引发荷兰技术主权讨论 - 美国微软公司封锁国际刑事法院首席检察官卡里姆·汗的电子邮箱账户 此举与美国总统特朗普对国际刑事法院的制裁政策有关 [1] - 事件导致荷兰政界和公共机构对美国科技企业垄断地位产生担忧 并引发"去微软化"的技术主权讨论 [1] - 荷兰本土云服务商Intermax Group透露 已有至少10家关键公共机构主动联系寻求减少对美国云服务的依赖 [1] 荷兰技术迁移面临的挑战 - 系统迁移通常需要6个月至3年 许多政府部门已深度嵌入微软生态 形成"路径依赖" [2] - 2023年荷兰4个政府部门启动"更好协同办公(BSW)"数字化项目 核心工具为微软Teams平台 但内政部正在重新评估对微软的依赖程度 [2] - 即使是旨在构建自主平台的"openBSW"项目 目前仍需依赖微软的管理软件才能运行 [2] 荷兰关键基础设施的应对措施 - 荷兰法律规定医院 电力等关键基础设施必须制定应急备选方案 但实际执行存在漏洞 [2] - Intermax Group正协助部分医院和政府机构 将电子邮件副本存储在荷兰本地 以防微软中断服务造成信息访问风险 [2] 荷兰金融安全领域的担忧 - 荷兰央行行长克拉斯·克诺特指出 荷兰和欧洲对美国科技企业的高度依赖已构成国家安全隐患 [3] - 荷兰在线支付系统iDEAL的关键技术掌握在两家美国公司手中 这两家公司在欧洲市场占据超过60%份额 [3] - 荷兰银行 企业 政府机构甚至央行本身 都严重依赖亚马逊 谷歌和微软等美国公司存储管理敏感数据 [3]
Airwallex空中云汇发布六大市场出海策略 解码全球支付趋势
中金在线· 2025-04-27 16:12
跨境电商行业趋势 - 65%的Z世代和千禧一代因先买后付服务(如Klarna、Afterpay)增加购买意愿或购买原本意愿不高的商品,该模式在奢侈品和大额消费品领域增长潜力显著[1] - 2024年中国跨境电商进出口达2.63万亿元,同比增长10.8%,占进出口总量6%[1] - 全球电商规模预计2029年达5.9万亿美元,年增速8.02%,美国、欧洲、英国和东南亚市场均将增长[1] 消费者行为洞察 - 跨境购物在年轻群体中接受度达93%,78%消费者偏好亚马逊等平台购物,15%选择独立站,7%通过社交媒体购物[2] - 荷兰24%消费者倾向独立站购物(欧洲平均2倍),马来西亚17%消费者通过社交媒体购物[2] - 美国55%年轻消费者首选电子钱包(如Apple Pay),荷兰94%网购者要求支持iDEAL,印尼和马来西亚电子支付使用率分别达83%和80%[3] - 68%美国年轻消费者表示无先买后付(BNPL)将放弃购买,76%香港奢侈品买家依赖BNPL,28%英国年轻人将BNPL作为大额支付首选[3] 本地化支付与定价策略 - 90%消费者因本地货币标价决定购买,其中美国(96%)、欧洲(93%)、英国(95%)、中国香港(85%)、澳新(91%)市场对本地货币标价敏感度最高[3] - 支付安全标识显著影响结账体验,东南亚市场95%消费者重视安全标识,英国/中国香港(90%)、美国(89%)、欧洲(86%)、澳新(88%)紧随其后[4] 市场合规挑战 - 美国税收体系复杂构成企业进入主要障碍,合规问题将损害客户信任并干扰正常经营[4] - 所有市场均强调税务合规、数据隐私与本地化运营的必要性,中小企业普遍面临执行成本压力[4] 空中云汇业务发展 - 公司构建一站式全球支付平台,覆盖60多国本地账户开设,支持160余种支付方式,整合多币种收付与资金管理[6] - 2023年获中国内地支付业务许可,2024年交易额突破1000亿美元后3个月内增至1300亿美元[6][7] - 已发布《2024跨境电商:关键趋势与全球成功策略》等系列报告,服务超15万家企业,并与广交会达成"贸易之桥"合作[7]