端侧原生大模型

搜索文档
上海交大发布多项AI重大科研成果 启动AI未来发展计划
中国新闻网· 2025-07-27 06:50
人工智能技术突破 - 上海交大发布科学基座大模型Innovator与科研智能体SciMaster,具备全球领先的科学多模态理解能力和科学推理能力,可贯穿科学研究"读算做"全链路,服务医药、能源、材料等领域[1][2] - 发布全球首个端侧原生稀疏大模型,面向端侧设备进行原生设计,训练出与硬件"精巧匹配"的百亿大模型,可在AI PC、AI手机、智能座舱等终端广泛应用[2] - 端侧原生大模型无需联网即可提供接近云端智能水平的服务,解决数据隐私焦虑、云上调用成本高等问题,初代产品硬件智力水平指标领先国际同等规模开源大模型[2] 人工智能应用前景 - AI底层技术突破展示在终端、医疗等领域大规模应用的巨大潜力[1] - 端侧原生大模型可应用于AI PC、AI手机、智能座舱、AI眼镜等新型智能终端[2] - 科学基座大模型为医药、能源、材料等微尺度研究领域提供高效基础设施和智能综合体[2] 人工智能生态建设 - 上海交大启动AI未来发展计划,设置院士主旨报告、校长高端对话等环节,汇聚全球顶尖学术与产业力量[3] - 发布AI未来基金,分为科研种子计划和科创种子计划,支持青年科学家和创业师生[3] - 联合Nature开展面向未来的十大AI问题研究,研究结果将于2026年发布[5]
本智激活完成数千万元种子轮融资,加速端侧 AI 全面落地
钛媒体APP· 2025-07-24 10:31
公司背景与技术实力 - 孵化自上海交通大学并行与分布式系统研究所(IPADS),该研究所在操作系统、分布式系统领域国际领先,近10年CSRankings操作系统领域全球第一 [2] - 核心团队由IPADS教师及博士生组成,创始人兼CEO为上海交通大学副教授、博导糜泽羽 [2] - 在端侧大模型、端侧Infra底层系统领域具备世界一流技术实力,主导PowerInfer、SmallThinker等全球影响力开源项目 [2] 端侧AI技术突破与创新 - 提出"端侧原生"全栈设计,从底层重构软硬件技术体系,实现不依赖模型压缩的端侧智能 [3] - 实现端侧大模型、端侧Infra与硬件优化的协同设计,保护100%隐私的同时将AI融入日常 [3] - PC端突破:PowerInfer系统在消费级NVIDIA GTX 4090 GPU上运行千亿参数模型,性能达数据中心级A100 GPU的90%,推理速度提升最高11.69倍 [3][4] - 手机端突破:PowerInfer-2通过TurboSparse稀疏化方法在智能手机流畅运行470亿参数模型,推理速度超越llama.cpp达29倍 [4] - 端侧原生大模型算法创新:2025年将发布全球首批端侧原生大模型,专为端侧设备算力限制设计,实现百亿参数模型在百元级硬件运行 [5] 技术成果与行业影响 - SmallThinker开源30亿参数长链推理大模型,发布7天内HuggingFace下载量突破10万次,文本生成类大模型榜排名第一 [5] - PowerInfer开源后连续两天蝉联GitHub国际开源项目趋势榜第一 [4] - 投资机构评价:云启资本认为公司打通模型与端侧算力技术断点,BV百度风投认可其"模型-系统-硬件"协同优化能力,光源资本称其技术积累全球领先 [6] 行业趋势与市场定位 - 端侧智能解决云端AI三大痛点:隐私焦虑、高昂成本与延迟、缺乏深度个性化 [3] - 行业共识:端侧智能是连接虚实世界关键入口,将推动AI PC、AI手机等新型终端形态 [6] - 公司定位:全球极少数具备顶尖研发能力与量产交付经验的端侧AI厂商 [6]