Workflow
AI安全治理
icon
搜索文档
WAIC 2025 启示录:安全治理走到台前
21世纪经济报道· 2025-07-29 21:05
人工智能全球治理 - 2025世界人工智能大会以"智能时代 同球共济"为主题 强调全球AI治理与合作的重要性 [1] - 大会发布《人工智能全球治理行动计划》并成立"全球人工智能创新治理中心" 推动规则协同与机构化实践 [1][6] - 中国网络空间研究院提出需将人工智能治理纳入法治轨道 以解决治理赤字问题 [6] AI安全与伦理挑战 - "AI教父"辛顿以"驯虎"比喻人类与AI关系 呼吁通过全球合作确保AI安全可控 防止反噬人类 [2] - 姚期智指出AI善良本质受人类社会生态影响 需"双向治理":既要设定AI伦理边界 也要推动人类社会包容性发展 [2] - 当前AI幻觉问题阻碍可靠性落地 70%受访者称遭遇AI幻觉与错误决策 行业已出现文本核查、法律溯源等解决方案 [3] 训练数据与模型优化 - 辛顿强调需用精细调整的数据训练AI 英伟达提出利用物理仿真生成模拟场景解决数据获取难题 [4] - 智谱华章指出行业数据质量是关键 需用行业专用数据提升大模型落地能力 [4] - 商汤科技提出多模态交互数据可打破单一模态局限 帮助AI更全面理解物理世界 [5] 技术瓶颈与产业突破 - 中国工程院院士郑南宁指出大模型缺乏结构化表征与因果推理能力 难以实现认知跃迁 [3] - 英伟达全球开发者生态副总裁提到合成数据需辅助验证真实性 不能完全替代真实数据 [4] - 破除AI幻觉被视为产业破局关键抓手 涉及人机良性共生的长远命题 [3] 全球规范与标准构建 - WAIC正演变为"规范的市场" 交易内容涵盖全球性规范与标准而不仅是产品服务 [6] - 大会尝试解决创新与安全的动态平衡问题 推动跨文化、制度的全球治理机制建设 [6]
当安全治理成为WAIC关键词丨南财合规周报(第200期)
21世纪经济报道· 2025-07-29 14:24
AI治理 - 2025世界人工智能大会(WAIC)聚焦AI安全治理 图灵奖得主杰弗里·辛顿首次来华 提出人类与AI关系如同"饲养老虎" 需找到永久保护自身的方法 [1] - 辛顿强调训练"善意AI"是未解难题 类比养育孩子需精细调整数据 姚期智警示机器人接管世界的潜在风险 [2] - 中国发布《人工智能全球治理行动计划》 提出13项行动方向 包括共建算力标准 推动数据共享机制 维护隐私安全与数据多样性 [3] 浏览器AI化趋势 - 行业共识显示AI竞争从聊天机器人转向浏览器 流量入口逻辑延续互联网时代特性 [4] - Perplexity公司推进Comet AI移动浏览器预装计划 直接挑战谷歌Chrome垄断地位 [5] - OpenAI开发集成AI代理功能的浏览器 支持本地界面交互与自动化操作(如预订 表单填写) [5] 个人信息保护 - 摇一摇广告新规要求App设置醒目"一键关闭" 禁止第三方SDK设置敏感触发参数 监管已约谈规避检测的广告平台 [6] - 扫码点餐新规征求意见稿禁止强制收集手机号/位置信息 不得以关注公众号为由索取非必要数据 需提供账号注销功能 [7]
独家|姚期智:AGI时代比想象中来得快,安全治理是一个长期工作
第一财经· 2025-07-26 21:35
人工智能安全治理 - 人工智能安全性缺乏理论保证 相比传统算法设计 AGI时代来临速度超预期使安全问题更突出 [1] - 顶尖科学家警告 AGI可能超越人类智能水平 存在脱离控制或被恶意利用的灾难性风险 [2] - 全球需建立互信机制 加大安全研究投入 通过国际协调确立可验证的行为红线 [3] 国际合作与上海角色 - 《上海共识》首次呼吁全球确保高级AI系统与人类价值观对齐 保障人类福祉 [2] - 上海具备天时地利人和条件 有望成为全球AI治理重要中心 吸引国际专家汇聚 [3] - 主要国家需对接协调 在共同领域协同发力 前沿AI开发者需提供安全保障 [3] 人才培养方向 - 基础学科(数学/物理/计算机)是应对技术快速迭代的核心能力 需强化自主学习能力 [5] - 科技发展导致职业快速变迁 适应变化的根本在于扎实的学术积累而非短期技能 [5]
AI独角兽Anthropic迎来强援:奈飞(NFLX.US)创始人加入董事会
智通财经网· 2025-05-29 12:02
公司动态 - 人工智能初创公司Anthropic宣布奈飞董事长Reed Hastings加入其董事会,任命由Anthropic长期利益信托委员会决定 [1] - Reed Hastings现年64岁,拥有丰富的科技公司董事经验,曾担任微软、彭博社及Meta等企业的董事会成员 [1] - Reed Hastings是奈飞联合创始人,自1997年公司创立起长期担任CEO(后转为联席CEO),直至2023年卸任 [1] 战略与愿景 - Anthropic表示Reed Hastings将为公司带来"深厚的行业经验"和"对科技如何服务社会发展的深刻洞见" [1] - Reed Hastings认同Anthropic的AI发展理念,愿助力推动人类文明进步,同时关注AI的经济、社会及安全层面挑战 [1] - Anthropic总裁Daniela Amodei强调Reed Hastings对技术带来的人类影响的关注使其成为董事会的理想成员 [2] 行业竞争 - Anthropic当前估值达615亿美元,致力于在OpenAI、谷歌和微软主导的AI军备竞赛中保持竞争力 [2] - Anthropic始终强调AI安全治理的重要性 [2] 相关背景 - Reed Hastings最近向其母校缅因州鲍登学院捐赠5000万美元用于设立AI研究项目,重点探索AI技术的伦理框架及其对教育、工作和人际关系的影响 [1] - Anthropic表示该研究计划与其自身科研方向高度契合 [2]
中国电信柯瑞文:今年是人工智能的规模应用元年
每日经济新闻· 2025-04-30 16:29
公司战略与业务发展 - 中国电信天翼云收入突破千亿元 [1] - 公司未来将全面拥抱人工智能,打造智能云能力体系 [1] - 在IaaS层,公司将适度超前开展智算建设,建设"中心集群+边缘DC"一体化的AIDC [6] - 在PaaS层,将持续推动智算平台升级,提供一站式算力调度与AI开发服务 [6] - 在DaaS层,将升级"星海"数据智能中台,推进自有数据集、开源数据集和第三方数据集深度融合 [6] - 在MaaS层,将提升星辰大模型的复杂推理、轻量化低成本部署等核心能力,打造强智能、轻负载的模型服务 [6] 行业趋势与市场动态 - 今年是人工智能的规模应用元年,新一代开源人工智能技术(如DeepSeek)实现高性能、低成本、轻量化,大幅降低算力与算法门槛 [6] - 市场开始更加关注数据和应用 [6] - 人工智能等新技术带来发展机遇的同时,也带来风险挑战,包括语料偏见、敏感信息泄露、模型智能体失控风险、虚假信息泛滥等 [6] 技术与安全布局 - 公司将打造从基础设施到数据、内容、算法和应用一体的防护体系 [7] - 强化数据安全保障,建立三级安全风险分类标签体系,覆盖超百亿token [7] - 实现全量代码上云,提升代码扫描、审计、溯源的能力 [7] - 特别关注大模型本身的脆弱性,构建输入可防、推理过程可检测、输出可控的防护体系 [7]