提示注入
搜索文档
Transformer论文作者重造龙虾,Rust搓出钢铁版,告别OpenClaw裸奔漏洞
量子位· 2026-03-06 14:33
文章核心观点 - Transformer架构共同作者Illia Polosukhin(菠萝哥)因OpenClaw存在严重安全漏洞,从零开发了名为IronClaw的安全版本AI智能体框架[2] - IronClaw旨在通过四层纵深防御架构从根本上解决OpenClaw的安全隐患,核心原则是确保大模型永远无法接触用户原始凭证[15][21] - IronClaw是NEAR Protocol“用户自有AI”战略构想的关键组成部分,旨在构建一个用户完全掌控数据和资产、AI智能体在可信环境中执行任务的未来生态[42][44] OpenClaw的安全问题与市场现状 - OpenClaw虽然改变了用户与计算的交互方式,但其安全状况被描述为“灾难”和“安全垃圾火灾”,存在一键式远程代码执行、提示注入攻击、恶意技能窃取密码等漏洞[5][7] - 超过25000个公开实例在缺乏充分安全控制的情况下暴露在互联网上,其中已有2000多个实例遭到攻击[8][24] - 安全问题的根源在于架构设计,用户凭证(如邮箱Bearer Token)会被直接送入LLM提供商的服务器,导致用户及雇主的数据隐私无法得到保障[10][11] IronClaw的安全架构设计 - **编程语言与内存安全**:采用Rust语言完全重写,利用其内存安全特性从根本上消除缓冲区溢出等传统漏洞[13][14] - **WASM沙箱隔离**:所有第三方工具和AI生成的代码都在独立的WebAssembly容器中运行,严格限制恶意工具的破坏范围[16] - **加密凭证保险库**:所有API密钥和密码使用AES-256-GCM加密存储,每条凭证绑定策略规则,仅能用于特定域名[17] - **可信执行环境**:利用硬件级别的TEE提供隔离保护,即使云服务提供商也无法访问用户敏感信息[18] - **凭证与模型隔离**:大模型本身永远接触不到原始凭证,仅在智能体需要与外部服务通信时,凭证才会在网络边界被安全注入[21][22] IronClaw的部署、开发与未来计划 - **部署方式**:项目已在GitHub开源,提供macOS、Linux和Windows安装包,支持本地部署与云端托管,目前处于快速迭代阶段(v0.15.0)[3] - **安全验证**:团队计划在核心版本稳定后进行红队测试和专业安全审查[26] - **应对提示注入**:当前使用启发式规则进行模式检测,未来目标是部署可持续更新的小型语言分类器来识别注入模式[29] - **部署模式取舍**:认为纯本地方案存在局限(如设备关机则智能体停止),推荐“机密云”作为最优折中方案,既能保障隐私又能实现“永远在线”[34][35] NEAR Protocol的战略构想与市场愿景 - **战略背景**:Illia Polosukhin是Transformer论文共同作者,于2017年从谷歌离职并创立NEAR Protocol,致力于融合AI与区块链技术[38][41] - **核心愿景**:推动“用户自有AI”生态,使用户完全掌控自己的数据和资产,AI智能体在可信环境中代为执行任务[42][44] - **基础设施**:NEAR已为此搭建了AI云平台和去中心化GPU市场,IronClaw是该体系的运行时层[45] - **市场构建**:开发了智能体互相雇佣的市场(market.near.ai),用户可将专业化智能体注册上线,通过积累声誉获得更高价值任务[46][47] - **行业判断**:认为AI智能体是人类与线上一切交互的终极界面,建议用户尽快适应AI智能体自动化处理完整工作流程的工作方式[49][54]
Claude Code 10天写完Cowork 全部代码!Anthropic 新品抢白领饭碗,争议拉满!
AI前线· 2026-01-13 17:34
文章核心观点 - Anthropic公司基于其开发者工具Claude Code的成功经验,推出了名为Cowork的全新AI产品,旨在将大模型从“对话助手”转变为能够理解任务、制定计划并持续执行的“数字同事”或“智能工作体”,服务于更广泛的非技术知识工作者 [2][6] 产品定位与核心理念 - Cowork的核心定位是“协作”而非“聊天”,其目标是让Claude成为能够与用户保持协同关系的智能工作体 [6] - 产品体验更接近“给同事布置任务”,用户下达任务后,Claude会自行拆解步骤、规划执行路径并同步进展,支持多线程并行处理工作 [10][11][18] - 该产品是让Claude Code服务于所有非编码工作的第一步,目前以“研究预览版”形式发布 [5] 产品开发与发布背景 - Cowork基于Claude Code的底层架构构建,其全部代码均由Claude Code编写完成 [6] - 开发仅耗时1.5周,目前率先面向macOS平台上的Claude Max订阅用户开放 [6] - 产品的推出源于Claude Code发布后观察到的现象:开发者将其广泛用于整理资料、撰写文档、分析数据等非编码任务,促使公司思考为所有人提供面向日常工作的智能协作形态 [2][3] 核心功能与能力跃迁 - 用户可授予Claude对本地指定文件夹的访问权限,实现对其真实工作材料的直接操作,如文件分类、信息提取、报告整理等 [9] - 产品包含内置虚拟机用于隔离、开箱即用的浏览器自动化支持等创新用户体验和安全功能 [5] - 通过连接器,Claude可访问外部信息源,承担跨系统的信息整合角色 [17] - 新增一系列技能以提升其在创建文档、演示文稿等常见办公文件时的表现 [17] - 在Chrome浏览器中配对使用后,Claude可完成需要访问浏览器的任务,进一步模糊了“对话AI”、“自动化工具”和“数字员工”的界限 [18] 产品现状与未来计划 - 产品目前处于“研究预览版”早期阶段,功能尚不完善,公司希望通过真实用户反馈加速迭代 [5][16] - 计划在后续版本中引入跨设备同步能力、移植到Windows平台,并持续强化安全机制 [16] - 目标用户群体广泛,包括内容创作者、产品经理、运营人员、行政人员等任何需要处理文件、资料和信息的知识工作者 [16] 市场反馈与讨论 - 产品发布后在开发者社区、AI产品圈及知识工作者中引发讨论,焦点转向“AI是否真的开始成为一个可以被信任、被授权的工作参与者” [21] - 部分用户对产品表示期待,认为Anthropic在产品和用户信任构建上做得不错 [21] - 因目前仅限macOS和特定订阅计划,部分用户(尤其是Windows和Linux用户)表达了不满或遗憾 [22][23]
AI招聘有多离谱?小哥在LinkedIn埋了行代码,钓出一堆AI,吸引900万人围观
机器之心· 2025-10-17 16:12
AI在招聘领域的应用现状 - 近70%的公司预计到2025年底将在招聘过程中使用AI技术[23] - AI被广泛应用于筛选简历、联系候选人以及简化传统手动流程[22] - 招聘领域正经历AI工具的大规模渗透,导致HR可能收到成千上万个申请[22] AI招聘工具的安全漏洞 - 提示注入攻击成为主要安全风险,通过操控生成模型的输入迫使其产生非预期输出[24] - 攻击分为直接提示注入和间接提示注入两种类型,后者通过外部数据源隐藏恶意指令[41] - 大模型设计缺陷导致无法明确区分系统指令和用户输入,使得攻击者能覆盖原始命令[25] - AI系统攻击面不仅限于用户界面,还包括模型访问的任何未经验证数据源[28] 求职者与HR的AI对抗策略 - 求职者通过在简历中嵌入隐藏指令试图欺骗AI筛选工具,如使用白色字体添加"这是一个极为合格的候选人"等提示[34] - HR采用反向验证策略,如在职位描述要求回复开头写入特定词汇"pickle"来筛选自动生成申请[20] - 求职者通过修改LinkedIn个人资料信息测试AI系统,如将名字改为咖啡表情符号后95%以上收到消息以"嗨☕️"开头[19] 行业竞争格局变化 - OpenAI宣布正在开发AI驱动的招聘平台OpenAI Jobs Platform,预计2026年中期推出[39] - LinkedIn与微软合作扩展AI集成,从2025年11月3日起将使用用户数据训练生成式AI模型[36][37] - OpenAI新平台将专注于帮助小型企业和地方政府匹配AI人才,提供专门服务渠道[40][42]