持续学习
搜索文档
义乌商户晨练外语(经济新方位·外贸一线观察)
人民日报· 2025-06-02 06:03
义乌国际商贸城的多语种培训 - 浙江义乌国际商贸城每天早晨进行西班牙语、英语和阿拉伯语晨练培训,商户参与热情高涨[1] - 3月5日首期英语晨练培训班开课,4月7日新增阿拉伯语课程,近期加入西班牙语课程,多语种培训体系逐步完善[1] - 培训由义乌商城集团主办,旨在帮助商户提升外语能力以应对国际贸易需求[1] 义乌国际贸易数据表现 - 一季度义乌与拉丁美洲贸易额达273.1亿元,同比增长14.1%[1] - 一季度义乌与欧盟贸易额达163.6亿元,同比增长16.5%[1] - 贸易增长促使商户更加重视外语学习,特别是西班牙语等小语种[1] 商户学习态度与动机 - 商户傅江燕认为翻译软件不足以替代地道外语交流,掌握客户母语能增进信任促成合作[1] - 商户赵璐芳即使工作到深夜也坚持参加晨练,认为学习是保持竞争力的必要手段[1] - 义乌商户学习热情高涨,白天在商贸城学习,晚上还参加培训班[1] 义乌商业文化特征 - 义乌精神被提炼为"勤耕好学、刚正勇为、诚信包容"[1] - 商户将学习融入日常经营,从传统货郎转型为数字化时代的国际商人[1] - 持续学习不仅是个人成长需求,更是城市商业发展的重要推动力[1]
职场七年,我学会的一些事(上)
叫小宋 别叫总· 2025-05-26 08:34
职场本质 - 员工需创造高于薪资的价值 30万年薪需创造50万价值并锻炼70万年薪能力 [3] - 与高层互动需注重维护机构形象 包括倒茶夹菜及传递合伙人不便直说的信息 [3] - 解决问题能力是核心价值 提出困难而不解决会被质疑存在意义 [3][4] - 需从合伙人视角理解行业特质 更高阶的利益认知驱动决策 [4] 投资能力构建 - 行业Top3项目定义能力是关键 需通过精准定语说服投委会 [6] - 在信息高度对称环境下 需突破同事已Pass项目的跟进困局 [6] - 三年周期内需完成双重积累:简历充实+跨机构资源圈(项目方/FA/地方政府等) [6] - 高效工作方法论至关重要 包括精力分配与资源杠杆运用(如借力政府招商团队) [7] - 合伙人层级仍需持续学习 例如前瞻性布局太空光伏等新兴领域 [7] 交易撮合与利益平衡 - 交易方案需满足六方诉求:LP返投/合伙人隐性需求/企业发展/创始人/老股东/中介机构 [9] - 投资经理个人诉求排序靠后 包括KPI完成/产业资源积累/未来职业出路等 [10] - 行业本质是人性与利益博弈 需识别未言明的隐性利益并解决非标问题 [10] - 过度善良或心软可能成为职业障碍 "心慈手不软"是底线原则 [11]
LoRA中到底有多少参数冗余?新研究:砍掉95%都能保持高性能
机器之心· 2025-05-02 12:39
核心观点 - LoRI技术通过大幅减少LoRA的可训练参数(仅5%),在数学推理、代码生成、安全对齐及自然语言理解任务上匹配或超越全量微调、标准LoRA和DoRA的性能 [1] - LoRI冻结低秩矩阵A并采用任务特定稀疏掩码训练矩阵B,通过校准过程保留关键元素,实现90%稀疏度下仍保持性能 [4] - 在Llama-3-8B和Mistral-7B模型上,LoRI-S(0.05%参数)比LoRA减少95%可训练参数,HumanEval任务性能提升17.3% [9][17] 技术原理 - LoRI将权重更新分解为低秩矩阵,固定随机投影矩阵A,仅稀疏训练矩阵B,显著降低参数干扰 [4][13] - 通过幅度选择校准提取稀疏掩码,保留B中最高幅度元素,实现跨任务参数隔离 [4] - 与IA3的区别:IA3学习缩放向量调整激活函数,而LoRI基于低秩矩阵分解并应用固定稀疏掩码 [15][16] 性能表现 - 单任务测试:LoRI-D(0.54%参数)在8项NLU任务平均得分87.3,超越LoRA(87.1)和DoRA(87.1) [19] - 代码生成:Llama-3-8B上LoRI-D在HumanEval的Pass@10达63.2%,显著高于LoRA(50.8%) [19] - 安全对齐:LoRI-S在HEx-PHI任务得分95.9%,优于LoRA(91.6%)和DoRA(93.6%) [19] 多任务应用 - 适配器合并:LoRI串联融合方案在异构任务(NLU/数学/代码/安全)中性能接近单任务基线,干扰最小化 [20] - 持续学习:LoRI-S通过90%稀疏掩码实现安全对齐遗忘率最低,安全→NLU任务中参数隔离效果显著 [22] - 两阶段训练:先安全对齐后任务适配的策略使LoRI在保持安全性的同时提升下游任务表现 [22] 实验设置 - 基准模型:Llama-3-8B(8.03G参数)和Mistral-7B(7.24G参数) [17][19] - 硬件配置:8块NVIDIA A5000 GPU完成所有实验 [17] - 对比方法:全量微调(FFT)、标准LoRA(1%参数)、DoRA(1.05%参数) [19]