多任务学习

搜索文档
AI 编程十字路口:为什么说 Copilot 模式是创业陷阱?
机器之心· 2025-07-03 16:01
行业现状与公司定位 - 当前AI编程赛道普遍聚焦于提升程序员效率的"副驾驶"模式,如GitHub Copilot等产品[2] - 蔻町智能选择差异化路径,定位为端到端软件生成平台,直接解决"不写代码"问题[2][11] - 公司将AI编程划分为L1-L5五个阶段,主流产品处于L2阶段,而AutoCoder直接瞄准L3级能力[13][14] 技术架构创新 - 认为Transformer架构仍处"婴幼儿期",现有模型存在知识压缩效率低和黑盒问题[5] - 自研基座模型采用PLE架构,相比MoE/MMoE实现任务共性与个性的精细化提取[6] - AIGCoder模型通过解耦专家模块和定制化门控,训练效率比基线提升1.3倍[7][8] 市场竞争策略 - 反对"避开大厂赛道"论调,主张通过解决更复杂问题建立护城河[10][11] - 认为L2级Copilot产品是"低垂果实",大厂在IDE整合方面具有天然优势[15] - 端到端生成技术可规避与大厂在L2赛道的直接竞争[12][14] 市场机会判断 - 预测个性化应用市场将爆发,新增需求规模将数倍于存量替代[17][18] - 类比滴滴/美团案例,认为技术突破将释放被压抑的中小企业数字化需求[18] - 海外同类产品访问量已达GitHub的1/10,验证增量市场潜力[19] 产品定位与特性 - AutoCoder是全球首款前后端一体化软件生成平台,可同步输出前端+数据库+后端[19] - 目标用户包括非技术背景的小企业主和初创团队,降低开发门槛[19] - 采用"生成替代调试"理念,通过零边际成本实现快速迭代[20]
东阳光药(01558)AI研发团队发布HEC-Transporters模型 为早期药物研发提供全流程的药代动力学性质优化
智通财经网· 2025-05-20 17:56
公司技术突破 - 东阳光药AI研发团队推出多个自研创新模型用于药物分子ADME/T属性优化,涵盖PK曲线预测和CYPs相互作用预测 [1] - 团队发布基于多任务学习策略的药物透膜/转运预测模型HEC-Transporters,内部测试AUROC达0.90,显著优于公共开源模型 [1][4] - 模型在膜渗透性任务准确率达93%,转运体底物预测较单任务模型提升18.0% [4] 技术细节与优势 - HEC-Transporters采用多任务学习策略,80%共享型数据训练通用消息传递网络,20%特异型数据训练独立前馈网络 [2][4] - 模型通过参数共享的消息传递网络捕捉通用特征,缓解小样本数据局限,较自动化机器学习模型AUC提升0.19 [4][7] - 该模型为国际首款多任务学习策略的药物透膜/转运预测系统,已集成至ADME/T预测工作流 [7] 研发体系与行业影响 - 公司自2023年实施AI+战略,构建覆盖靶点预测、化合物筛选、PK建模的全流程AI研发体系 [7] - AI赋能降低新药开发成本,技术协同推动行业效能提升,助力中国医药产业全球创新竞争 [7] 数据基础与场景应用 - 模型训练使用内部Caco2细胞渗透性测试数据,包含膜渗透、转运体底物/抑制三类任务的高质量专有数据集 [1] - 药物透膜/转运预测解决高成本稀缺数据问题,Caco2细胞实验成本高昂且周期长 [1]
LoRA中到底有多少参数冗余?新研究:砍掉95%都能保持高性能
机器之心· 2025-05-02 12:39
机器之心报道 编辑:张倩 LoRA 中到底存在多少参数冗余?这篇创新研究介绍了 LoRI 技术,它证明即使大幅减少 LoRA 的可训练参数,模型性能依然保持强劲。研究 团队在数学推理、代码生成、安全对齐以及 8 项自然语言理解任务上测试了 LoRI。发现仅训练 LoRA 参数的 5%(相当于全量微调参数的约 0.05%),LoRI 就能匹配或超越全量微调、标准 LoRA 和 DoRA 等方法的性能。 大型语言模型的部署仍然需要大量计算资源,特别是当需要微调来适应下游任务或与人类偏好保持一致时。 为了降低高昂的资源成本,研究人员开发了一系列参数高效微调(PEFT)技术。在这些技术中,LoRA 已被广泛采用。 不过,LoRA 仍然会带来显著的内存开销,尤其是在大规模模型中。因此,近期研究聚焦于通过减少可训练参数数量进一步优化 LoRA。 最近的研究表明,增量参数(微调后的参数减去预训练模型参数)存在显著冗余。受随机投影有效性和增量参数冗余性的启发,来自马里兰大学和清华大学的研 究者提出了带有降低后的干扰的 LoRA 方法—— LoRI(LoRA with Reduced Interference) 。 LoRI ...