人工智能可靠性挑战 - 人工智能聊天机器人存在不可靠问题 包括答非所问、捏造信息等 如何让人工智能更“靠谱”和“负责”成为国际人工智能学术会议的重要议题 [1] - 人工智能的置信度值校准问题突出 当人工智能表现得非常自信时 用户更容易采纳其建议 但这些建议很可能是错的 反之 人工智能犹豫不决时 用户可能会拒绝其正确建议 [1] - 人工智能存在“认知疲劳”的系统性效应 随着对话时间增长 模型会开始“走神” 表现为偏离指令、重复输出内容 并以自信口吻生成不可靠信息 [2] 人工智能可靠性研究进展 - 研究团队设计系统以应对“认知疲劳” 通过追踪注意力衰减等三个关键指标 将人工智能何时开始“疲劳”可视化 并提供实时干预手段 例如在人工智能偏离指令时重新输入原始指令 [2] - 研究重点从单一聊天机器人扩展到可自主完成任务的智能体及多智能体协作网络 研究者不仅关注其能力与效率 也反复探讨其边界和可控性 [2] 人工智能未来发展重点 - 完全放手让智能体自主完成任务并不简单 当前智能体的行动边界非常宽 能写代码 可以在计算机上做人类能做的任何事情 研发重点应转向人类与智能体的协作 建立透明交互 [3] - 人工智能当前表现存在不确定性 这与人类尚未完全理解其内部运作机制密切相关 对其为何高效、如何失败、在哪些方面脆弱等问题缺乏科学解释 系统性探索人工智能内部机制和原理变得非常紧迫 [3]

人工智能可靠性挑战 - 人工智能聊天机器人存在不可靠问题 包括答非所问 捏造信息等 如何让人工智能更“靠谱”和“负责”是第40届人工智能促进协会年会的重要议题[1] - 人工智能的置信度值校准问题突出 一项名为“盲目自信的陷阱”的研究显示 当人工智能表现得非常自信时 用户更容易采纳其建议 但这些建议很可能是错的 而当人工智能犹豫不决时 用户却可能拒绝正确的建议 这反映了人工智能系统的置信度值未被正确校准 向使用者传递了误导性信号[1] - 人工智能存在“认知疲劳”的系统性效应 随着对话时间增长 模型会开始“走神” 表现为偏离原始指令 重复输出内容 甚至自信地生成不可靠信息[2] 人工智能可靠性研究进展 - 研究团队设计系统应对“认知疲劳” 通过追踪注意力衰减等三个关键指标 将人工智能何时开始“疲劳”可视化 并提供实时干预手段 例如在人工智能偏离指令时重新输入原始指令以纠正对话[2] - 研究者关注智能体的边界和可控性 从单一聊天机器人到自主智能体 再到多智能体协作网络 其行动边界非常宽 能写代码并执行计算机上的多种操作[2] - 行业专家强调研发重点应转向人机协作 建立智能体与人类之间的透明交互具有现实紧迫性[2] 人工智能内部机制理解 - 当前人工智能表现存在不确定性 这与人类尚未完全理解其内部运作机制密切相关 行业专家指出 仍无法对人工智能为何高效 如何失败 在哪些方面脆弱给出令人满意的科学解释[3] - 对人工智能内部机制和原理的系统性科学探索变得非常紧迫 必须打开人工智能的“黑箱”[3]