Workflow
大模型优化
icon
搜索文档
大模型这个坑,还有哪些可以发论文的点?
具身智能之心· 2025-07-05 10:25
随着大语言模型(LLM)和多模态模型的快速发展,如何提升模型效率、扩展知识能力以及增强推理性能已成 为当前人工智能研究的核心议题。我们联合业界知名大模型专家,为大家退出了大模型1v6论文辅导小班课! ⼀、有关大模型核心的几个点⭐ 本课程系统性地探讨大模型的前沿优化方法,重点研究参数高效计算、知识动态扩展和复杂推理三大方向的关键 技术。我们将深入分析大模型优化中的核心挑战:在参数压缩方面,研究剪枝稀疏化和量化加速等轻量化方法; 在知识扩展方面,探索检索增强生成(RAG)和参数高效微调(PEFT)等动态知识注入技术;在推理优化方 面,研究链式思维(CoT)和强化学习优化(GRPO)等高级推理范式。同时,课程还将探讨多智能体协作和多 模态理解等前沿方向。 通过本课程的学习,你将掌握大模型优化的核心算法,包括但不限于:结构化剪枝、低比特量化、动态检索、角 色化智能体、多跳推理等关键技术。课程采用理论讲解与实验实践相结合的方式,使用主流大模型(如 LLaMA、GPT等)作为实验平台,重点培养学生在模型优化和推理增强方面的研究能力。 关键词:大模型优化;参数高效计算;检索增强生成;链式推理;多智能体协作;多模态理解 ⼆、 ...
下一代大模型高效计算:参数压缩、硬件适配与多模态推理、CoT等方向论文指导班来啦!
自动驾驶之心· 2025-07-04 15:13
⼀、课题简介⭐ 随着大语言模型(LLM)和多模态模型的快速发展,如何提升模型效率、扩展知识能力以及增强推理性能已成 为当前人工智能研究的核心议题。本课程系统性地探讨大模型的前沿优化方法,重点研究参数高效计算、知识动 态扩展和复杂推理三大方向的关键技术。 课程将深入分析大模型优化中的核心挑战:在参数压缩方面,研究剪枝稀疏化和量化加速等轻量化方法;在知识 扩展方面,探索检索增强生成(RAG)和参数高效微调(PEFT)等动态知识注入技术;在推理优化方面,研究 链式思维(CoT)和强化学习优化(GRPO)等高级推理范式。同时,课程还将探讨多智能体协作和多模态理解 等前沿方向。 通过本课程的学习,你将掌握大模型优化的核心算法,包括但不限于:结构化剪枝、低比特量化、动态检索、角 色化智能体、多跳推理等关键技术。课程采用理论讲解与实验实践相结合的方式,使用主流大模型(如 LLaMA、GPT等)作为实验平台,重点培养学生在模型优化和推理增强方面的研究能力。 关键词:大模型优化;参数高效计算;检索增强生成;链式推理;多智能体协作;多模态理解 ⼆、课程目的 三、招生人数⭐ 6⼈/期(⾄多8人) 四、招生对象⭐ 五、课程收获 解决 ...
韩松贾扬清之后,又一家清华系AI公司卖给英伟达,黄仁勋亲自招募95后联创
量子位· 2025-06-29 15:43
核心观点 - 华人AI创业公司Nexusflow被英伟达收购,其联合创始人加入英伟达担任重要职位 [1][4][6] - 英伟达近期在AI领域收购活跃,2024年投资总额达10亿美元,超过2023年的8.72亿美元 [34][35] - 清华校友在AI创业和英伟达收购中扮演重要角色,形成人才聚集效应 [13][14][16] 公司收购与人才流动 - Nexusflow由焦剑涛、朱邦华、Jian Zhang和Kurt Keutzer于2023年创立,专注于生成式AI解决网络安全问题 [24][25] - 公司成立几个月后完成1060万美元种子轮融资,投后估值5300万美元 [25] - 公司转型为企业生成式AI Agents方向,推出NexusRaven-V2和Athene系列开源模型,性能媲美GPT-4o和Claude 3.5 [26][28] - 焦剑涛加入英伟达任研究总监及杰出科学家,朱邦华任Principal Research Scientist [6][39] - 此前韩松创办的OmniML也被英伟达收购,团队加入英伟达担任要职 [11] 技术实力与生态整合 - Nexusflow的Athene-70B模型基于Meta Llama-3-70B微调,在Arena-Hard评测中接近顶级专有模型 [32] - 公司是Together AI主要客户,英伟达曾参与Together AI的A轮和B轮融资 [32] - 被收购公司技术将被整合到英伟达产品线,如Lepton AI成为NVIDIA DGX Cloud Lepton [37][38] - 焦剑涛表示将继续推动开源研究成果,构建开放AI社区 [33] 英伟达收购策略 - 2024年英伟达收购数量超过过去四年总和,参与50轮融资 [34] - 对业务相关性强公司直接收购,对生态相关企业参与投资 [35] - 近期收购包括Run:ai、Deci、OctoAI、Lepton AI和加拿大公司CentML [35][36] 清华校友网络 - 被收购公司创始人贾扬清、韩松、吴迪、毛慧子、焦剑涛、朱邦华均为清华校友 [13][14][16] - 按入学时间可分为三批:2002年、2007-2008年、2012-2014年 [15] - 焦剑涛为2011年清华特等奖学金得主(每年仅10人) [18]