人工智能可靠性挑战 - 人工智能聊天机器人存在不可靠问题 包括答非所问、捏造信息等 如何让人工智能更“靠谱”和“负责”成为国际人工智能学术会议的重要议题 [1] - 人工智能的置信度值校准问题突出 当人工智能表现得非常自信时 用户更容易采纳其建议 但这些建议很可能是错的 反之 人工智能犹豫不决时 用户可能会拒绝其正确建议 [1] - 人工智能存在“认知疲劳”的系统性效应 随着对话时间增长 模型会开始“走神” 表现为偏离指令、重复输出内容 并以自信口吻生成不可靠信息 [2] 人工智能可靠性研究进展 - 研究团队设计系统以应对“认知疲劳” 通过追踪注意力衰减等三个关键指标 将人工智能何时开始“疲劳”可视化 并提供实时干预手段 例如在人工智能偏离指令时重新输入原始指令 [2] - 研究重点从单一聊天机器人扩展到可自主完成任务的智能体及多智能体协作网络 研究者不仅关注其能力与效率 也反复探讨其边界和可控性 [2] 人工智能未来发展重点 - 完全放手让智能体自主完成任务并不简单 当前智能体的行动边界非常宽 能写代码 可以在计算机上做人类能做的任何事情 研发重点应转向人类与智能体的协作 建立透明交互 [3] - 人工智能当前表现存在不确定性 这与人类尚未完全理解其内部运作机制密切相关 对其为何高效、如何失败、在哪些方面脆弱等问题缺乏科学解释 系统性探索人工智能内部机制和原理变得非常紧迫 [3]