人工智能可靠性挑战 - 人工智能聊天机器人存在不可靠问题 包括答非所问 捏造信息等 如何让人工智能更“靠谱”和“负责”是第40届人工智能促进协会年会的重要议题[1] - 人工智能的置信度值校准问题突出 一项名为“盲目自信的陷阱”的研究显示 当人工智能表现得非常自信时 用户更容易采纳其建议 但这些建议很可能是错的 而当人工智能犹豫不决时 用户却可能拒绝正确的建议 这反映了人工智能系统的置信度值未被正确校准 向使用者传递了误导性信号[1] - 人工智能存在“认知疲劳”的系统性效应 随着对话时间增长 模型会开始“走神” 表现为偏离原始指令 重复输出内容 甚至自信地生成不可靠信息[2] 人工智能可靠性研究进展 - 研究团队设计系统应对“认知疲劳” 通过追踪注意力衰减等三个关键指标 将人工智能何时开始“疲劳”可视化 并提供实时干预手段 例如在人工智能偏离指令时重新输入原始指令以纠正对话[2] - 研究者关注智能体的边界和可控性 从单一聊天机器人到自主智能体 再到多智能体协作网络 其行动边界非常宽 能写代码并执行计算机上的多种操作[2] - 行业专家强调研发重点应转向人机协作 建立智能体与人类之间的透明交互具有现实紧迫性[2] 人工智能内部机制理解 - 当前人工智能表现存在不确定性 这与人类尚未完全理解其内部运作机制密切相关 行业专家指出 仍无法对人工智能为何高效 如何失败 在哪些方面脆弱给出令人满意的科学解释[3] - 对人工智能内部机制和原理的系统性科学探索变得非常紧迫 必须打开人工智能的“黑箱”[3]