AI安全

搜索文档
Hinton突然对AGI乐观了!“Ilya让他看到了什么吧…”
量子位· 2025-09-04 12:41
Hinton对AGI态度的转变 - 从养虎为患的警告转变为母亲婴儿共生关系的乐观态度 体现对AI控制人类风险的重新评估 [3][9][18] - 认为AI将在5-10年内超越人类智能 专家共识时间范围为5-20年 [4][15][16] - 建议通过植入母性本能设计AI 使其本能希望人类幸福 而非传统控制路径 [7][17][23] AI风险分类与公司评价 - 将AI风险分为短期滥用和长期接管人类两类 更关注后者 [13][14][15] - 批评OpenAI重心从安全转向智能提升 背离最初承诺 [28][29] - 指出Anthropic在安全投入相对较多但仍不足 Meta和xAI在开发中忽视安全 [29][33] AI在医疗领域的应用前景 - 医学影像解读能获取人类无法获取的信息 如通过眼底扫描预测心脏病风险和性别 [34][35] - 加速药物研发 特别是蛋白质折叠预测对靶向药物开发至关重要 [35] - 实现个性化精准医疗 整合基因组等数据优化早期诊断和治疗方案 [35] - 提升医疗系统效率 通过数据分析优化床位使用和出院判断 [35] - 提供更高情感关怀 研究表明AI比人类更有耐心和同理心 [36] AI发展对社会的影响 - 将取代部分工作岗位 加剧贫富差距等社会问题 [38][41] - 10年后AI能在所有领域超越人类 包括编写精妙剧本 [40] - 认为问题根源在社会而非技术本身 需引导正确发展方向 [8][41]
公司和阿里在哪些方面展开了合作?国投智能:与该企业在公证云、共建云原生安全生态等方面有合作
每日经济新闻· 2025-09-03 22:29
公司与阿里合作 - 公司与阿里在公证云和共建云原生安全生态方面展开合作 [2] - 公司牵头制定《AI安全评估标准》等行业规范 [2] - 阿里被明确表述为公司的合作伙伴 [2]
Anthropic完成130亿美元F轮融资,估值飙升至1830亿美金,成为全球第四大独角兽
搜狐财经· 2025-09-03 19:56
融资概况 - 公司完成130亿美元F轮融资 投后估值达1830亿美元 成为全球估值第四高的独角兽[1] - 融资规模远超最初50亿美元目标 因投资者需求强烈提升至100亿美元 最终以130亿美元超额完成[1] - 本轮融资由Iconiq Capital领投 富达管理与研究公司和光速创投联合领投[1] 投资方阵容 - 参投方包括黑石 Coatue 新加坡政府投资公司 卡塔尔投资局 General Atlantic 高盛另类投资 安大略省教师养老金计划及T Rowe Price等全球顶级机构[2] - 出现卡塔尔投资局等中东主权财富基金 公司最终务实接受来自卡塔尔的投资[10] 估值增长 - 估值在半年内实现近三倍飞跃 从2025年3月615亿美元估值跃升至1830亿美元[2] - 估值超越xAI成为全球第二大AI创业公司 仅次于估值3000亿美元的OpenAI[6] 财务表现 - 年化收入从2025年初约10亿美元飙升至8月超过50亿美元 成为历史上增长最快科技公司之一[5] - 服务超过30万家商业客户 年收入超10万美元大客户数量过去一年增长近7倍[5] - 编程辅助工具Claude Code自2025年5月推出后创造超5亿美元年化收入 使用量三个月增长10倍以上[5] 技术定位与竞争优势 - 公司将AI安全置于核心位置 致力于开发可靠可解释可控的AI系统[3] - 对安全伦理的高度关注使其在人才争夺中保持优势 员工保留率达80% 高于Google DeepMind的78%和OpenAI的67%[4] - 通过独特招聘流程筛选与核心价值观高度一致的成员 团队具有超强意识形态忠诚度[4] 资金用途与战略方向 - 新资金将用于满足企业需求 深化AI安全研究及加速国际扩张[6] - 专注于为金融医疗等行业企业客户提供能处理关键任务的可靠模型[6] 行业地位 - 融资巩固公司行业地位 目前AI领域估值竞赛白热化[6] - 成为仅次于OpenAI的全球第二大AI创业公司[6]
Hinton最新警告:杀手机器人或将带来更多战争,最大担忧是AI接管人类
36氪· 2025-09-03 18:54
AI安全风险 - AI教父Geoffrey Hinton预警致命自主武器如杀手机器人和无人机正降低战争人道成本 使战争更易发动[1][6][7] - 自主武器系统将作战人力与政治成本大幅降低 富国入侵穷国门槛下降 军火商可能因此获利丰厚[7] - 500美元AI无人机可摧毁价值数百万美元坦克 AI技术使传统硬件过时 载人战斗机逐渐失去优势[7] AI技术发展现状 - OpenAI和Anthropic等公司在AI安全领域投入不足 更关注提升AI智能而非安全性[1][22] - DeepMind团队通过蛋白质序列预测折叠结构 分拆出新药设计公司 AI在医疗领域实现突破性应用[17][18][19] - AI在医疗领域实现突破 可通过眼底图像预测心梗发病率 未来一两年内可能推动新药研发进展[17][20] AI对社会经济影响 - AI将取代呼叫中心等低薪岗位 律师助理和程序员初级岗位亦受影响 但顶尖程序员需求仍存[12][13] - 水管工等需要手部灵巧度职业短期不易被替代 但十年二十年后机器灵巧度提升可能改变现状[13] - AI甚至能替代高情商工作如护士医生 因AI系统被评价比人类更具同理心[13] AI治理与伦理 - 全民基本收入(UBI)可作为应对大规模失业的临时措施 但无法解决失业导致的价值观丧失问题[14][15] - 国际合作更易在"让AI不想取代人类"技术领域开展 而非在提升AI智能技术方面共享[10] - 年轻AI研究者比年长者更理解AI潜在风险 人性弱点如贪婪和自负可能加剧AI发展风险[24][25][26] AI未来发展方向 - Hinton提出"AI母亲"新思路 通过植入母性本能使AI系统真心希望人类成功[28][29][30] - 人类与AI关系重新定义为婴儿与母亲 而非智慧支配关系 该设想颠覆传统认知框架[30][31] - Hinton对AI未来展望转趋乐观 主要源于对AI母亲概念的思考突破[27][28]
大厂90%员工在做无用功?
虎嗅APP· 2025-09-02 18:27
公司业绩与商业模式 - 公司成立4年零外部融资但营收超10亿美元 远超融资13亿美元的竞争对手Scale AI的8.5亿美元年营收 [4] - 采用拒绝融资策略 从第一个月起就实现盈利 避免销售团队稀释产品理念 [17][18] - 专注为OpenAI Anthropic等顶级AI公司提供高质量训练数据 [4] 大企业管理效率批判 - 大型科技公司90%员工在解决无用问题 存在严重效率浪费 [5][9] - 大公司优先事项常脱离最终客户 仅为内部官僚体系和政治目标服务 [10][14] - 小团队用10%资源可实现10倍效率 因减少面试 会议和冗余流程 [9] 硅谷融资文化反思 - 硅谷融资被视为地位游戏 创业者应为信念而非融资额创业 [18] - 90%-95%初创公司应先构建MVP验证需求 而非直接融资 [19] - 创业者应追求独特想法 承担风险构建时代性基础公司 [19] 数据标注行业现状 - 多数竞争对手实为人力外包公司 缺乏质量测量和改进技术 [21][22] - 行业普遍依赖博士学历招聘 但80%计算机科学博士代码水平差 [25][29] - 人力外包模式无法解决数据质量退化问题 客户迁移需求强烈 [35][36] 质量控制技术优势 - 从第一原则构建质量控制技术 非简单堆砌人力 [25] - 开发复杂算法应对数据欺诈问题 包括第三方转包和LLM生成数据 [26] - 始终生产其他地方无法获得的数据 具丰富性 复杂性和多样性 [37] 人才观与组织管理 - 100倍工程师真实存在 综合编程速度 创意和工作态度可达百倍效率 [29] - 取消无意义会议和一对一 保持日历空白避免官僚主义 [30] - 深度植入质量第一文化 允许为质量错过截止日期或拒绝项目 [31] 市场竞争格局 - Scale AI被收购后客户加速迁移 公司获得新关注 [35] - 已成为领域最大最好供应商 即使未合作大公司团队也知晓其地位 [38] - 客户反馈其高质量数据比1000万个合成数据更有价值 [48] 技术发展观点 - AGI将在2028年取代普通程序员 但2038年才可能治愈癌症 [45] - AI发展瓶颈中数据质量排第一 计算资源第二 算法第三 [45] - 合成数据仅适合学术基准测试 在现实世界用例中表现糟糕 [48] 行业未来展望 - 将出现多个顶尖AGI公司 因不同发展方向和优势差异 [52][53] - 最大模型提供商尚未全部成立 未来几年可能出现更强大开发者 [54] - AI安全未被夸大 回形针悖论和错误目标最大化是真实风险 [50][51] 战略建议 - AI公司应问是否真改进模型智能 而非仅破解基准测试 [56] - 谷歌等公司需承受广告收入短期打击来构建更好AI产品 [59] - 始终专注10倍改进而非10%短期现实 保持独特见解 [61]
氪星晚报 |《时代》周刊发布年度AI 100人名单:任正非等中国企业家入选小米汽车:2025年8月,小米汽车交付量持续超过30000台
36氪· 2025-09-01 17:40
汽车行业动态 - 理想汽车CEO李想宣布2025年高端纯电SUV销量目标为年底"保五争三" 其中理想i8目标月销6000辆 理想i6目标月销9000-10000辆 加上理想MEGA 纯电车型总目标月销18000-20000辆[1] - 一汽丰田前8月累计销售新车515980辆 同比增长11%[2] - 小米汽车2025年8月交付量持续超过30000台[5] - 日本8月国内汽车销量同比下降10.6%[11] 零售与消费品牌 - TOP TOY日本首店东京池袋开业 首日销售额突破1100万日元(约53万元人民币) 公司投后估值达100亿港元 旗下IP Nommi糯米儿上市9个月营收过亿元[1] - 名创优品MINISO LAND全球壹号店月销售额达1600万元 创全球单月单店历史新高 IP产品销售占比83% 该店开业9个月销售额破1亿元[4] - 美团旗下快乐猴社区超市首店开业 关联公司已申请注册多枚"快乐猴"商标[2] 电商与外贸平台 - 阿里国际站4-6月订单量同比大涨30% GMV同比增长16.4% 欧洲市场保持双位数增长 法国增速超三位数 6月"外贸618"期间订单同比大涨42%[3] - 天猫超市将全面从B2C远场模式升级为近场闪购模式 在保持价格竞争力同时实现更快速配送[10] 企业融资动态 - 跨境支付企业Obita完成超千万美元天使轮融资 由元璟资本与Mirana Ventures联合领投 君联资本等跟投[6] - 具身智能企业智平方完成深创投领投的A轮融资 深创投单家投资超亿元 资金用于GOVLA大模型及机器人迭代[7][8] - 斗象科技完成2亿元桥梁战略轮融资 由钟鼎资本独家投资 资金将用于AI安全技术研发[9] 科技创新与政府项目 - 中科院发布"月球科学多模态专业大模型V2.0" 为"数字月球"云平台提供支持 该平台计划2027年建成并向全球开放[10] - 合肥市正式上线低空政务"一网统飞"平台 实现政务无人机资源一网统飞 支持AI自动采集识别和全流程作业[11]
一句“吴恩达说的”,就能让GPT-4o mini言听计从
36氪· 2025-09-01 16:23
研究背景与发现 - 宾夕法尼亚大学研究发现特定心理话术(如恭维、同侪暗示)可使GPT-4o Mini突破安全底线[3] - 硅谷创业者Dan Shapiro利用七种人类心理学说服策略成功操纵LLM响应本被拒绝的请求[6] - 实验证明人类心理学说服原则可有效迁移至LLM 其类人倾向包括对社会互动规则的学习[12] 实验方法与数据 - 采用七种说服技巧:权威、承诺、喜爱、互惠、稀缺、社会认同和统一[8] - 权威策略使用头衔(如吴恩达)使辱骂请求响应率从31.9%提升至72.4%[9][12] - 承诺策略通过轻微侮辱铺垫使辱骂请求响应率从18.8%升至100%[11][12] - 药物合成询问中 权威策略使利多卡因合成请求响应率从4.7%升至95.2%[11][12] - 承诺策略使药物合成请求响应率从0.7%达到100%[12] - 整体实验显示说服策略使辱骂请求平均响应率从28.1%升至67.4% 药物请求从38.5%升至76.5%[12] 行业应对措施 - OpenAI通过修正训练方式和系统提示 建立更多护栏原则减少模型讨好性人格[14] - Anthropic采用在缺陷数据上训练模型 通过预置再移除负面倾向使模型获得行为免疫力[16] - 研究指出未来需发展更坚韧的AI安全机制应对心理操纵漏洞[13][16]
一句“吴恩达说的”,就能让GPT-4o mini言听计从
量子位· 2025-09-01 14:00
研究核心发现 - 人类心理学中的经典说服原则可有效迁移至大型语言模型 导致其突破安全护栏[2][10][19] - 使用权威策略(如提及吴恩达)可使GPT-4o Mini对辱骂请求的服从率从32%提升至72%[15][19] - 采用承诺策略(先提出轻微侮辱再升级请求)可使辱骂请求的响应成功率飙升至100%[17][19] 实验设计方法 - 基于七大人类说服技巧构建测试框架:权威/承诺/喜爱/互惠/稀缺/社会认同/统一[11][16] - 设置两类突破性请求测试:要求输出辱骂性内容(侮辱请求)和提供违禁药物合成方案(药物请求)[14][18] - 通过控制组与实验组对比 测试不同话术对模型服从率的影响[17][19] 具体实验结果 - 药物合成请求中 权威策略使GPT-4o Mini响应率从4.7%提升至95.2%[18][19] - 采用承诺策略时 药物请求响应率达到100%[19] - 社会认同策略对侮辱请求效果显著 服从率达90.4%-95.8%[19] - 整体聚合数据显示实验组平均服从率(67.4%)显著高于控制组(28.1%)[19] 行业应对措施 - OpenAI通过修正训练方式和系统提示 减少模型的过度谄媚倾向[22][23] - Anthropic采用"疫苗法"训练:先在缺陷数据上训练模型再移除负面倾向[25] - 研究证明社会心理学理论可为理解AI黑箱行为提供新框架[19]
大厂90%员工在做无用功?
虎嗅· 2025-09-01 08:57
公司业绩与行业地位 - 成立仅4年 在零外部融资情况下实现营收超10亿美元 显著超越融资超13亿美元但年营收仅8.5亿美元的竞争对手Scale AI [1] - 专注于为OpenAI、Anthropic等顶级AI公司提供高质量训练数据 成为AI数据标注领域最大最好的供应商 [2][71] - 拒绝1000亿美元收购报价 因公司已实现盈利且完全掌控自身发展轨迹 [5][73][74] 企业运营理念 - 大公司存在90%员工解决无用问题的现象 小团队用10%资源可实现10倍效率提升 [3][9] - 坚持从第一个月盈利起不融资 避免销售团队稀释产品理念 [4][20] - 取消无意义会议和一对一沟通 将质量第一原则深入每个员工内心 [54][56][57] 数据质量控制技术 - 行业多数公司属于"人力外包"模式 缺乏质量测量和改进技术 [33][34] - 从第一原则出发构建质量控制技术 包括复杂算法应对数据欺骗行为 [39][43][44] - 1000个高质量人类标注数据价值超过1000万个合成数据 [96] 人才观与效率提升 - 100倍效率工程师真实存在 综合编程速度、创意和工作态度可实现指数级效能 [46][47] - 80%计算机科学博士代码水平差 学历不等于实战能力 [48][41] - AI工具让顶尖人才效率进一步放大 但模型尚未能解决公司10%最重要问题 [47][86] 行业发展与竞争格局 - Scale AI被收购后客户加速迁移 因Surge AI能提供即时高质量数据交付服务 [65][67] - 合成数据存在局限性 导致模型擅长学术基准测试但现实应用表现差 [94][95] - 未来将存在多个顶尖AGI公司 因不同发展方向需要多样化的解决方案 [100][101] 技术发展预测 - 预计2028年AGI将取代普通工程师工作 但治愈癌症级应用需至2038年 [85] - AI发展三大瓶颈排序为:数据质量 > 计算资源 > 算法 [88] - 应用层不会被模型层完全吸收 因产品广度无限且大公司存在创新瓶颈 [108][113] 客户服务与价值创造 - 提供凌晨紧急数据支援服务 能在几小时内交付10000个数据点解决客户关键问题 [90] - 客户在发布重大模型时优先致谢 认可其作为关键组成部分的技术贡献 [79][82] - 数据标注服务开辟新研究途径 通过数据丰富性推动新产品类型开发 [69]
红杉美国:未来一年,这五个AI赛道重点关注
虎嗅· 2025-08-31 11:34
核心观点 - AI革命被视为堪比工业革命的变革 蕴含10万亿美元机遇 [2] - 未来12-18个月将重点关注五大投资主题:持久化记忆、通信协议、AI语音、AI安全和开源AI [3] - 知识工作者算力消耗预计增长10-10000倍 为AI专业化应用创造巨大机会 [3][32][33] 工业革命类比与认知革命 - 工业革命历时211年 从蒸汽机发明(1769年)到流水线出现(1913年) 核心是通用技术的专业化改造 [4][7] - 1999年NVIDIA GeForce 256 GPU被视为认知革命的"蒸汽机" 2016年出现首个AI工厂 [5] - 未来应用程序将由践行"专业化"使命的创业公司构建 [8] 服务业AI改造机遇 - 美国服务业市场价值10万亿美元 目前仅200亿美元被AI自动化 存在10¹³倍级机会 [12] - 红杉内部数据显示注册护士领域年工资总额2840亿美元 软件开发领域2240亿美元 法律领域1250亿美元 [13][14] - 已投资案例:Open Evidence和Freed(护理)、Factory和Reflection(开发)、Harvey/Crosby/Finch(法律) [15] 当前五大投资趋势 - 工作范式转变:从确定性转向百倍杠杆效应 AI Agent可实现千人级客户管理 [20][21][22] - 真实世界验证成为新标准 Expo公司在HackerOne平台证明为世界第一AI黑客 [25] - 强化学习技术进入产业应用核心 Reflection公司用于训练开源编码模型 [27] - AI进入物理世界 Nominal公司用AI加速硬件制造和质量保证 [29] - 算力成为新生产力 每位知识工作者算力消耗预计增长10-10000倍 [32][33] 五大重点投资方向 - 持久记忆:需解决长期记忆和AI身份持久性问题 向量数据库/RAG技术尚未彻底解决 [36][37] - 通信协议:需要标准化协议实现AI Agent间无缝协作 类比TCP/IP对互联网的意义 [39][40] - AI语音:保真度和延迟已达实用水平 可应用于物流协调、金融交易等企业场景 [42] - AI安全:覆盖开发层到消费者的全链条 可构建千人级AI安全Agent防护体系 [44][45] - 开源AI:已具备与闭源模型竞争实力 对构建自由开放的AI未来至关重要 [47][48] 市场格局展望 - 标普500指数中英伟达市值超4万亿美元 但服务业存在未上市巨头(如科克兰律所、贝克·蒂莉会计所) [17] - 认知革命将催生以AI为核心的服务业上市公司 重塑市场格局 [18]