Workflow
Hope 架构
icon
搜索文档
谷歌新架构逆天,为了让AI拥有长期记忆,豆包们都想了哪些招数?
36氪· 2025-12-09 08:48
可以说,大模型的「短期能力」决定了它能不能把一句话说通,但长期记忆真正决定的,其实是它有没有资格被称为「助手」。 也正是因为这一点,去年最后一天谷歌研究团队提出的 Titans 架构,在 2025 年被反复翻出来讨论,并不意外。这篇论文试图回答的,并不是「上下文还能 拉多长」这种老问题,而是一个更本质的命题: 当注意力只是短期记忆,大模型到底该如何拥有真正的长期记忆。 日前,Google在其发布的论文《Nested Learning: The Illusion of Deep Learning Architectures》中,提出了一个名为 HOPE 的新框架试图解决大模型长期记忆 的问题。 这一架构备受关注,因为长期记忆一直困扰着大模型的发展,甚至影响着AI落地到智能体的广度与深度。 今天让 AI 写一段漂亮的回答不难,难的是隔了一周、换了工作任务,它还记得你之前某次对话的关键细节,不断更新对你的个性化记忆。也只有在这一 刻,大模型才真正开始接近「持续工作的智能体」,而不是一次性消耗品。 图片来源:谷歌 在 Titans 里,Transformer 的 self-attention(自注意力机制)被明确界定 ...