表格数据在AI应用中的重要性 - 表格数据在金融、医疗健康、教育、推荐系统及科学研究领域广泛应用[1] - 表格数据本质上是一种结构化的信息表示方式 在组织与表达复杂数据关系方面具有天然优势[3] 深度神经网络在表格数据建模中的发展 - 深度神经网络（DNN）凭借其强大的表示学习能力 在表格数据建模上展现出潜力[2] - DNN在表格数据相关应用中已取得显著进展 如点击率预测、异常检测、推荐系统与时间序列预测等[6] - 现代深度学习方法在多个方面的改进 推动了DNN在表格数据建模中的复兴 其性能已逐步接近甚至超过传统树模型[6] 表格表示学习方法分类 - 现有方法按泛化能力划分为三大类：专用模型（Specialized）、可迁移模型（Transferable）和通用模型（General）[2] - 专用方法是最早提出、使用最广泛的一类方法 围绕如何从特征层面和样本层面获得高质量表示展开讨论[9] - 可迁移方法基于预训练模型进行学习 能够提升学习效率并降低对算力资源和数据规模的依赖[12] - 通用模型是在可迁移模型基础上的进一步发展 将预训练表格模型的泛化能力扩展到多种异构的下游表格任务中[19] 表格数据建模的核心挑战 - 表格数据通常具有属性类型异质性 包含数值型、类别型或混合型等多种数据类型[4] - 表格数据面临测量噪声、缺失值、异常值、数据不准确以及隐私保护等问题 这些因素加大建模复杂性[4] - 表格数据缺乏空间或序列结构 使得传统深度学习架构难以直接适用[24] - 表格数据对不完整或错误的记录更加敏感 缺失值可能引入显著偏差 严重影响模型预测效果[25] - 许多表格数据集中存在类别分布不均的问题 尤其在分类任务中某些类别样本数量远少于其他类别[27] 表格数据建模的评估方法 - 单任务评估中分类任务常用准确率或错误率 回归任务常用均方误差（MSE）、平均绝对误差（MAE）和均方根误差（RMSE）[33] - 多任务评估早期主要依赖"平均排名"方法 常结合"临界差异比较"一起使用[34] - 近期研究提出更多多样化的评估指标 如算术平均指标、移位几何均值（SGM）误差等[35] - 基准测试应涵盖不同规模的数据集 包括样本量和特征数量较大的数据集以及较小规模的数据集[36] - 带语义的benchmark开始关注结合任务相关的元信息或整合属性名称 如UniTabE、OpenTabs等数据集[38] 模型选择与性能评估 - 模型选择通常在验证集上进行 包含超参数调优和提前停止两部分[41] - 为评估模型的泛化能力 常采用独立的训练/验证/测试集划分 典型比例为64%/16%/20%[42] - 近期研究表明基于固定验证集的超参数调优不够稳定 易导致对验证集过拟合[43] - 对于小规模数据集 已有多种替代评估策略 如重新打乱数据划分可提升泛化性能[43]

大模型进入RL下半场 - 行业关注点从模型算法转向实际效用 需要重新定义问题和设计真实用例的evaluation [1] - 现有评估体系面临挑战 需有效衡量Agent产品的ROI [1] - 创企和应用AI的企业需通过模型测评结果指导产品开发落地 [1] Agent测评基准发展 - SuperCLUE推出中文通用AI智能体测评基准AgentCLUE-General 对主流Agent产品能力进行深度剖析 [1] - 公司在模型测评领域经验深厚 与国内外模型及Agent团队保持紧密联系 [1] 行业交流活动 - 邀请SuperCLUE联合创始人朱雷探讨大模型和Agent评估核心难题 [2] - 线上分享活动定于5月15日20-22点举行 [3] 行业热点话题 - Agent产品定价模式与付费机制成为关注焦点 [4] - 红杉AI峰会指出行业共识：AI从卖工具转向卖收益 [4] - YC合伙人认为当前AI应用问题源于产品设计能力不足 [4] - 红杉资本强调应用层价值 预测下一阶段是Agent时代 [4] - 企业落地Agent需关注关键指标选择 [4]

核心观点 - OpenAI采用「迭代部署」哲学 先发布不完美产品再公开迭代 与整个社会共同学习模型能力[4][10] - 公司坚持「模型最大化」理念 避免过度构建「脚手架」 因模型能力每2-3个月就有突破性进展[10][11] - 优秀AI公司必须同时是一流研究公司和产品公司 研究团队与产品团队需深度协作而非接力开发[13] - 行业低估了模型微调价值 未来特定用例需定制微调模型 组合多个专用模型解决复杂问题[17][18] - 模型评估能力成为AI产品经理核心技能 需通过结构化测试精准衡量模型在不同任务的表现[6][28] 产品发布策略 - 命名混乱反映优先级排序 模型命名重要性低于快速迭代 如GPT-4 1晚于4 5发布但性能更优[1][9] - 季度路线图仅作方向指引 实际执行高度灵活 因技术变化速度远超传统行业[5][8] - 内部使用热度是产品成功风向标 如图像生成功能推出前已在员工中形成病毒式传播[24] 组织架构与人才 - 产品团队保持精简 仅25名产品经理 依赖产品导向型工程师自主决策[14][15] - 招聘产品经理核心标准：主动性强、适应模糊性、高情商 需在技术复杂性中推动跨团队协作[15] - 研究人员嵌入每个产品团队 形成「研究-产品」闭环 避免沦为自身模型的API消费者[13][16] 技术发展趋势 - 模型能力呈指数级提升 GPT-4o mini成本仅为GPT-3 5 API的1/100 性能却显著增强[33] - 聊天界面仍是AI交互最佳载体 非结构化沟通能最大化利用模型理解人类语言的优势[37][38] - 视频生成工具Sora改变影视制作流程 导演可快速生成50个创意版本再精修 成本降低90%[33] 行业机会判断 - 基础模型公司不会覆盖所有垂直领域 创业者应聚焦行业特定数据和用例进行微调创新[19] - 评估体系决定产品上限 需针对微调模型开发定制化测试标准 如客户支持场景的准确率校准[31] - 提示工程重要性将降低 未来可通过「示例植入」实现轻量级微调 降低用户使用门槛[20]