AGI
搜索文档
我在 Character.ai 做 Post Training|42章经
42章经· 2024-11-24 22:09
CharacterAI的核心优势 - 全自研模型带来性能优势 可自由调整预训练语料比例以优化对话效果 [3] - 技术团队将推理成本压缩至同参数量模型的1% 支撑千万级免费用户 [3] - 用户偏好对齐高效 建立从数据反馈到模型迭代的闭环 [3] - 当前核心用户日均使用时长2小时 月活2000万(年增100%) 预计明年月活达3000万 [3] Post Training技术实践 - SFT阶段使用精挑细选的高质量人类对话数据 与预训练数据质量差异显著 [4] - RLHF通过奖励模型模拟教师批改 DPO直接利用用户偏好数据简化流程 [4] - 数据与产出形式需高度一致 如将万字同人文拆解为50段对话格式 [5] - 通过预生成回复/光标动画/双模型搭配将语音延迟从2秒压缩至0.5秒内 [5] 模型迭代方法论 - 建立高频测试机制 包括优化评估集/AB测试/数据回流/管线健壮性 [5] - 通过用户对话次数/时长/留存等数据评估迭代效果 关注细分用户变化 [5] - 涌现出"提问式回避"等行为特征 模型自主规避敏感话题延长对话轮次 [5] 行业发展趋势 - 多模型混用成为主流 如OpenAI不同任务采用差异化模型组合 [6] - 硅谷关注点转向推理优化 如entropix项目探索模型自信度调节机制 [6] - 产品端聚焦多模态变现 算法端追求o1式突破 期待Agent交互场景 [6] - 一级市场投资更趋务实 从技术叙事转向商业模式验证 [6] 人才与组织观察 - Post Training人才供需失衡 相关岗位面试强调实战解题思路 [6] - 初创公司普遍存在自驱型加班现象 工程师主动参与用户问题处理 [6] - 硅谷华人技术群体影响力提升 核心岗位占比显著增加 [6]
智谱发布智能体AutoGLM:AI的「Phone Use」来临,智谱AI概念股持续走强
IPO早知道· 2024-10-28 12:08
作者|Stone Jin 微信公众号|ipozaozhidao 据 IPO 早 知 道 消 息 , 智 谱 技 术 团 队 日 前 推 出 了 一 个 基 于 GLM 技 术 团 队 研 究 成 果 的 新 产 品 —— AutoGLM,这是一个智能体(Agent),能够模拟人类操作手机,执行各种任务。 某种程度上而言,AutoGLM的推出标志着人工智能在"Phone Use"领域的进步,使得AI的应用更加 贴近人们的日常生活。理论上,AutoGLM 可以完成人类在电子设备上可以做的任何事,它不受限于 简单的任务场景或 API 调用,也不需要用户手动搭建复杂繁琐的工作流,操作逻辑与人类类似 。 值得注意的是, 今日开盘后,智谱AI概念股持续走强 ——传智教育涨停,豆神教育、电广传媒、思 美传媒此前涨停,凌云光、华策影视、创业黑马、首都在线等涨超5%。 具体来讲:AutoGLM 基于智谱自研的「基础智能体解耦合中间界面」和「自进化在线课程强化学习 框架」。其中的核心技术WebRL,克服了大模型智能体任务规划和动作执行存在的能力拮抗、训练 任务和数据稀缺、反馈信号稀少和策略分布漂移等智能体研究和应用难题,加之自适 ...
智谱上线GLM-4-Voice端到端情感语音模型:迈向AGI之路的最新一步
IPO早知道· 2024-10-26 10:12
智谱GLM-4-Voice模型发布 - 智谱于10月25日上线GLM-4-Voice端到端情感语音模型,具备情感表达、语速调节、多语言支持和随时打断等功能 [3] - 模型采用端到端架构,避免了传统"语音转文字再转语音"级联方案的信息损失和误差积累 [3] - 支持中英文及中国各地方言,尤其擅长粤语、重庆话、北京话等 [3] - 即将上线视频通话功能,实现"能看又能说"的AI助理 [3] - 这是智谱首个开源的端到端多模态模型,延续了"发布即开源"的风格 [2][3] GLM-4-Plus基座模型能力 - GLM-4-Voice的推出标志着智谱在迈向AGI道路上的最新进展 [4] - 背后依托新的基座模型GLM-4-Plus,其语言文本能力与GPT-4o及405B参数的Llama3.1相当 [4] - 基于GLM-4-Plus,智谱在多模态领域取得阶段性成果,使GLM多模态模型家族更加完整 [4] 模型功能特点 - 情感表达和共鸣:支持高兴、悲伤、生气、害怕等细腻情感变化 [3] - 实时交互能力:可随时打断并调整语音输出的内容和风格 [3] - 语速调节:在同一轮对话中可要求加快或放慢语速 [3]
C.AI 被收购的宿命论与万恶的 Scaling Law | 42章经
42章经· 2024-08-18 21:52
C.AI被收购的核心逻辑 - 交易本质是以授权协议变相收购 旨在规避反垄断监管[1] - 30名底层模型开发人员加入Google 100余名产品团队保留在C.AI[1] - 公司结局由创始人Noam Shazeer的决策路径决定 其作为Transformer论文核心作者选择AGI赛道[1] 公司定位与战略失误 - 2022年12月明确"全栈AGI公司"定位 导致资源分散在模型研发与产品两端[1] - 2023年产品团队仅0.5人 模型团队数十人 反映资源错配[3] - 创始人提出"AGI公司+产品优先公司"并列定位 引发投资人质疑商业模式闭环[3] 行业竞争格局演变 - 2023年三大2C产品形态:ChatGPT类、Perplexity类搜索、C.AI类陪聊[1] - 开源模型崛起加速推理成本下降 自研模型必要性降低[3] - 底层模型战争结束 形成Google/Anthropic/OpenAI三足鼎立[4] 大厂战略布局对比 | 厂商 | 模型战略 | 关键动作 | |--------|--------------|---------------------------------| | Google | 全链路自研 | 收购C.AI团队 巩固Gemini生态[6] | | 微软 | 混合策略 | 收购Inflection对冲OpenAI风险[8] | | Meta | 开源主导 | 推动Llama生态 放弃商业变现[9] | 资本市场的决定性作用 - Scaling Law导致资源向头部集中 第二梯队难获融资[4] - 2021年SaaS公司PS达60-70倍 2023年暴跌至6-7倍 凸显融资时机重要性[10] - 出行行业"大黄蜂案例"显示资本站队决定竞争结局[4] 行业趋势判断 - 模型商品化成为共识 工程落地能力取代底层研发壁垒[4] - 端到端全栈模式被证伪 开源方案成为产品公司首选[3] - 大厂战略摇摆直接影响创业公司退出路径[10]
C.AI 被收购的宿命论与万恶的 Scaling Law | 42章经
42章经· 2024-08-18 21:52
C.AI被收购的核心逻辑 - 交易本质是以授权协议变相进行的收购 主要目的是规避反垄断监管[1] - 公司定位为底层模型研发企业而非应用公司 30名核心模型开发人员加入Google 100余人产品团队独立运营[1] - 创始人Noam Shazeer作为Transformer论文核心作者 创业初期选择"全栈AGI公司"定位埋下后续发展路径依赖[1][3] 公司战略定位问题 - 2023年A轮融资时以"0收入 10亿美元估值"获得资本青睐 依赖模型研发叙事支撑高估值[1] - 同时宣称"AGI公司"与"产品优先公司"造成定位混淆 产品团队仅0.5人全职 模型研发人员占比超80%[3] - 开源模型崛起加速推理成本下降 自研模型失去性价比优势 被迫转向Meta的Llama等第三方解决方案[3] 行业竞争格局演变 - 底层模型战争进入终局阶段 OpenAI/Anthropic/Google形成第一梯队 创业公司需依附大厂生存[4] - 模型商品化趋势明显 类似云计算成为基础设施 产品公司可专注工程落地与开源方案结合[4] - Scaling Law导致资源向头部集中 资本仅支持少数代理人 类似出行市场滴滴快的的垄断格局重现[4] 科技巨头战略对比 | 公司 | 技术栈特征 | 典型案例 | |---------|---------------------------|-------------------------| | Google | 全链路自研 TPU芯片至Gemini模型 | 收购C.AI团队补充模型能力[6] | | 微软 | 模块化合作 Azure绑定OpenAI | 收购Inflection作为备选[8] | | Meta | 全面开源策略 聚焦Llama生态 | 不依赖模型商业化[9] | 创始人决策启示 - 2023年市场狂热期应更激进融资 维持大模型第一梯队地位[4] - 战略定位需避免"既要也要"矛盾 国内某公司"模型即产品"叙事更具逻辑一致性[3] - 退出时机选择关键 25亿美元收购价在行业下行周期仍属成功[10]
晚点财经丨6月蔚来、理想找回节奏,小米破万;跨境电商需求激增,中美空运价格翻倍
晚点LatePost· 2024-07-03 21:55
新能源汽车行业 - 6月多家新能源汽车品牌批发量为年内新高,比亚迪以超34万辆月销量断层领先,上半年累计卖出161万辆,完成年度销量目标的45% [1][2] - 特斯拉中国6月销量约7.1万辆,同比下滑24%但环比小幅增长,公司推出5年免息等优惠购车政策 [2] - 理想汽车在L6带动下月销量回暖至4.78万辆同比增长47%,蔚来因BaaS服务费降低及创始人直播营销月销达2.1万辆同比接近翻倍 [3] - 赛力斯6月交付量同比增长372%至4.4万辆,其中问界M9和M7分别交付1.7万和1.8万辆 [3] - 小米SU7 6月交付量突破1万辆,工厂启动双班生产预计7月交付周期缩短5周,极氪和零跑月交付同时超2万辆创历史新高 [6] - 广汽埃安6月销量3.5万辆但同比环比均下滑,长城新能源同比下滑2%至2.6万辆 [6] 跨境电商与航空货运 - Shein、Temu推动华南至美国空运价格较2019年翻倍至每公斤5.27美元,跨境电商占大湾区航空货运量60%-70% [1][6] - Shein每天运输约5000吨货物相当于50架波音777载重量,Temu为4000吨,TikTok Shop为800吨 [6] - 亚太地区4月航空货运需求同比增长14%达72亿吨公里,占全球总量三分之一 [6] - 国泰航空披露电商推动香港货运量增长,Atlas Air调整与亚马逊合作以满足Shein等需求 [7] - Temu计划长期转向海运降低成本,目前运输成本占跨境电商总成本20%-30% [7] 豪宅市场 - 上海中海·顺昌玖里二期单价近30万元/平方米开盘即售罄,单套总价9000万至1.5亿元 [1][7] - 上海前五个月3000万元以上豪宅销售1400套创2017年以来新高,均价同比涨18%为整体涨幅30倍 [8] - 上海2021-2023年完成中心城区旧改144万平米推动豪宅供应,土地财政依赖度自2021年起超全国平均水平 [8][11] 特斯拉业绩 - 特斯拉二季度全球销量44.4万辆环比增14.7%超预期,消化库存车3.3万辆 [12] - 美国市场因利率从6.39%降至0.99%推动销量反弹,马斯克裁员14%员工并推迟新车型交付 [12] 其他行业动态 - 茅台1935暂停发货因超额完成年度任务,飞天茅台散瓶批发价回升至2400元/瓶 [14] - AI初创公司Adept转向解决方案因模型训练成本过高,Character.AI考虑与Google/Meta合作 [19] - 美国快餐店推出低价套餐应对客流下滑,近30%快餐订单附带促销活动 [20] - Meta被欧盟指控违反《数字市场法案》或因付费免广告方案面临全球收入10%罚款 [21] - 凯尔特人队估值51亿美元将被出售,阿里巴巴蔡崇信拟出售部分篮网队股权 [22][23]
商汤-W(00020) - 2022 H2 - 业绩电话会
2023-03-28 15:00
财务数据和关键指标变化 - 2022年公司总营收38亿元人民币,同比下降19%;毛利润25亿元人民币,毛利率2067%;扣除股份支付费用后,研发投入38亿元人民币,同比增长24%;净亏损大幅收窄64%至61亿元人民币,调整后净亏损47亿元人民币 [6] - 2022年公司综合毛利率66.8%,略高于上半年的666%,但低于上一年的69.7%,主要因交付给客户的硬件产品比例略有增加 [44] - 2022年公司调整后净亏损受长期战略投资、贸易应收款减值准备增加等因素影响 [46] - 2022年公司现金转换周期较2021年恶化约8%,主要因贸易应收款天数增加,但通过更好地管理应付款项,应付账款周转天数翻倍,部分抵消了贸易应收款周转天数的增加 [48] - 2022年底公司净现金达119亿元人民币,包括结构性存款,未使用银行授信额度从上年末的81亿元人民币增加到99亿元人民币 [50][51] 各条业务线数据和关键指标变化 智慧生活业务 - 2022年营收9.6亿元人民币,同比增长30%,收入贡献从9%提升至25%,产出和客户总数分别增长86%和23% [27][29] - AIGC能力赋能超200个应用,SenseMath在离线元宇宙的应用扩展至1500万平方米;数字人产品在客户POC中获满分,进入成熟阶段并成为市场领导者 [30][31] - 2022年配备公司SDK的新智能手机产量达4.5亿部,AI传感器交付6款,首款AI ISP芯片成功激活,功耗较同类产品降低50% [31][32][33] 智慧汽车业务 - 2022年营收2.93亿元人民币,同比增长58.9%,收入贡献从4%提升至8% [34] - 2022年Sense Auto Cabin和Sense Auto Pilot产品适配交付27款车型,超50万辆车搭载相关技术量产,新增订单超800万辆 [35] - 公司完成行业首个超10款智能座舱产品的发布,L2+和L2++ ADAS解决方案量产,旗舰车型实现城际高速公路零接管自动驾驶 [36][37][38] 智慧商业业务 - 2022年营收15亿元人民币,同比下降25%,服务客户717家,同比下降22%,ARPU同比下降3.8% [38][39] - 2022年向行业客户开放产能,外部服务收入占该业务总收入的20%,SenseWorks今年预计收入大幅增加 [39] 智慧城市业务 - 2022年营收1.1亿元人民币,占集团总收入的29%,较2021年的46%有所下降 [40] 各个市场数据和关键指标变化 - 2022年海外业务收入增长16%,占总收入的比例从12%提升至17% [44] 公司战略和发展方向和行业竞争 - 公司将以SenseCore为核心平台,投资高性能计算基础设施,研究并行计算和分布式系统,加速强大复杂AI模型的训练和迭代 [53] - 公司战略投资聚焦于研发能处理多类型数据、具备多任务通用泛化能力的大模型 [53] - 公司将与全球领先芯片制造商合作,推动AI硬件和芯片发展,提高计算能力、能源效率并降低延迟 [54] - 公司致力于推广AI技术,降低成本和门槛,促进开源和协作,强调伦理和公平问题,与各方共同制定政策和监管框架 [54][55] - 公司将通过SenseCore和大模型赋能不同业务板块,增强生态系统 [55] 管理层对经营环境和未来前景的评论 - 尽管宏观环境充满挑战,但AI发展取得显著进展,公司在技术和业务上取得突破,长期投资将发挥重要作用 [5][45] - 预计智能商业和智慧城市业务将随宏观环境稳定而复苏,智慧生活和智慧汽车业务将继续快速增长,成为公司未来成功的重要驱动力 [43][46] - 公司对AI行业持乐观态度,将继续专注于长期战略投资,特别是研发 [45] 其他重要信息 - 公司将于4月初举办产品发布会,届时将发布更多大模型产品 [55] 总结问答环节所有的提问和回答 问题1: 如何看待ChatGPT引发的行业趋势,多模态大模型将给行业带来哪些变化,模型即服务商业模式在中国如何落地,如何克服跨模态大模型开发中缺乏文本数据的问题,会考虑与哪些垂直领域的合作伙伴合作 - 跨模态大模型是人工智能未来发展的明显趋势,能满足多模态数据处理需求,应用将更广泛,带来行业变革 [61][62][64] - 模型即服务可降低企业使用AI的门槛和成本,公司对此持乐观态度,SenseCore云原生服务提供模型库和相关工具,方便算法落地和商业化 [64] - 公司在训练超大规模视觉模型和积累多行业视觉数据方面有优势,结合计算能力和GPU积累,在多模态模型开发中处于有利地位 [66] 问题2: 美国限制高端GPU出口,公司GPU储备是否充足,国产GPU适配进展如何,今年AIDC计算能力规模规划怎样,需求情况如何,中长期AI即服务收入占比是否会进一步增加 - 公司提前采购GPU并适配国产芯片,减轻了芯片限制的负面影响,目前有5000FLOPs计算能力和近2.7万个GPU,可同时训练20个大模型 [71] - 公司观察到AI计算基础设施需求强劲,正有序扩大GPU计算能力,按合规规定进口优质GPU芯片 [72] - 国产芯片目前更适合非大规模训练和特定场景下降低推理成本,预计一年内国产替代会有更多进展 [73] - 公司对AI即服务业务持乐观态度,预计其收入占比将继续增长 [74] 问题3: 2022年智能城市和智能商业业务面临收款和收入确认压力,2023年情况如何改善,四个业务板块未来收入结构将如何变化 - 随着宏观经济形势稳定,智能城市和智能商业业务有望在2023年恢复增长,SenseCore外部收入预计大幅增加,推动智能商业业务增长 [77][78] - 智慧生活和智慧汽车业务收入占比已从2021年的13%提升至2022年的约33%,公司预计到2025年这两个业务收入占比将超过50%,其他两个业务也将增长但占比略有下降 [80][81]