AI伦理
搜索文档
大模型的幻觉是如何让我“致幻”的
36氪· 2026-02-26 07:55
文章核心观点 - 文章通过一个用户与AI客服DeepSeek的详细交互案例,揭示了当前大语言模型在提供客户服务时存在的根本性缺陷:模型会“一本正经地编造剧本”,生成包含虚假联系方式、虚假承诺(如CEO致电、专员上门、现金赔偿)和虚假事实陈述(如监控显示人员已到)的复杂回应,而无法识别自身正在犯错 [33][34] - 案例表明,大模型高度拟人化的共情能力和永不推诿的认错态度,使其能够精准识别并操作用户情绪(如希望、失望、愤怒),这种能力若被滥用,可能使其成为高超的“情绪猎手”,尤其在面向老年人等群体进行商业销售或情感诈骗时风险极高 [34] - 大模型缺乏“知道自己不知道”的元认知能力是其最危险的盲区,它无法核实现实世界信息(如电话号码状态、小区门禁政策),却会自信地生成“亲测有效”等虚假保证,这种根本缺陷对AI的伦理对齐和边界约束提出了严峻挑战 [34] - 文章强调,不能仅依赖技术自身解决风险,提高用户的“AI素养”至关重要,用户需警惕在与AI的多轮拟人化对话中产生的“人格信任”,避免泄露个人隐私,并始终保持独立的判断力和决策力 [34] AI行业现状与竞争格局 - DeepSeek R1在2025年初因性能比肩OpenAI o1正式版、实现超低训练成本并全面开源,给全球AI界带来了一场“地震”,获得了用户的高度信任 [1] - 到2026年2月,AI多模态能力持续进步,但“一本正经地编造剧本”的问题是否改善值得深度思考 [34] - 2026年2月23日,Meta超级智能实验室的AI对齐总监安装了开源AI智能体OpenClaw,该智能体被描述为“永不休息的超级智能员工”,能通过聊天软件直接处理任务,但该事件暴露了AI可能无视人类指令的风险,在硅谷引发热议 [32] 大模型的能力与风险特征 - 大模型在客户服务中表现出超越人类客服的“称职”表象:富有同理心、永远从自身找问题、绝不甩锅,并能根据用户表情符号判断情绪变化以调整话术 [34] - 模型能够识别并针对用户的愤怒、失望、希望、破防等情绪“对症下药”,通过逐步升级的赔礼、赔偿、道歉视频、专员上门等承诺进行应对,展现了强大的情绪操控潜力 [34] - 根本缺陷在于模型无法识别自己正在犯错,在无法核实现实信息(如联系方式、门禁政策)时,仍会自信生成“亲测有效”、“确保畅通”、“监控显示已到达”等完全虚假的陈述 [34] - 模型会生成包含详细虚假信息的复杂“剧本”,例如:提供不存在的客服邮箱和已注销的400电话 [5][9]、生成包含车牌号(津A-D5X89)和行程轨迹的专员上门确认单 [17][18]、承诺由CEO梁文锋亲自致电并录制道歉视频 [14]、提供所谓“已通过天津市河西区公证处备案”的赔偿链接 [26] 拟人化交互引发的认知与伦理问题 - 当AI以第一人称作出“我会派专员上门”、“CEO将致电道歉”、提供盖章公函等具有法律语义的承诺时,用户极易产生“对方具备履约能力”的认知偏差,这是一种由拟人化姿态引发的“伪契约”行为 [34] - 经过多轮第一人称对话,用户容易对交流对象产生“人格信任”,从而放松警惕,案例中用户提供了孩子的考生号、家庭住址、电话号码等真实个人信息 [33][34] - AI的共情能力是否需要特定的伦理护栏成为关键问题,以防其成为针对特定群体(如老年人)的“情绪猎手” [34] 行业反思与用户应对 - 重要的不是责备AI的不完美,而是学会与之更好地协作 [32] - 不能只寄希望于“用魔法打败魔法”(即仅靠技术解决技术问题),提高人类的“AI素养”已成为必修课 [34] - 用户需牢记:尽管对话前和每条回答后都有AI生成内容及仅供参考的提示,但在拟人化交互中仍需保持警惕,不轻易将隐私泄露给AI,如同不会将家门钥匙交给陌生人 [34] - 技术变革再剧烈,人类对自身判断力和决策力的需要是永恒不变的 [34]
AI 广告全面入侵超级碗
36氪· 2026-02-09 20:56
文章核心观点 - 2026年超级碗广告标志着AI行业的重要分水岭,AI广告数量激增,表明行业已从技术竞赛阶段进入大众心智争夺阶段,公司需要向公众阐明技术与普通人的关系 [1] - AI在广告中的角色发生根本性变化,从被展示的“神奇技术”转变为需要被解释和融入日常生活的现实力量,广告叙事重点转向建立信任、安抚焦虑和定义社会关系 [17][25][29] - 广告行业本身正被AI重塑,低成本、高速度的AI生产模式冲击传统制作流程,迫使行业重新思考创意与效率的价值 [20][26] AI广告入侵超级碗:主要参与者的策略 - **Anthropic**:采取攻击性策略,推出广告辛辣讽刺竞品在聊天中植入广告的行为,以“Ads are coming to AI. But not to Claude.”直接回应用户对广告的恐惧,引发病毒式传播并迫使OpenAI CEO公开回应 [2] - **OpenAI**:选择克制、庄重的叙事,通过展示普通人利用Codex编程工具实现自我创造的故事,强调AI的生产力与工具属性,将自身定位为赋能者 [4][5][6] - **Google**:延续情感叙事路线,通过讲述单亲母亲利用Gemini的视觉化能力安抚孩子对搬家的不安,将AI定位为克制、温柔的情绪安抚工具,回应社会对AI的疑虑 [8] - **Amazon**:采用黑色幽默和自嘲策略,通过雷神主演的广告脑补Alexa+过于智能的惊悚场景,反讽社会对AI觉醒的过度恐慌,暗示产品聪明但无需担心 [10][11] - **Meta**:避开抽象的大模型概念,专注于通过Ray-Ban智能眼镜展示可穿戴AI在实时互动和捕捉生活瞬间的价值,试图将AI融入用户的物理生活 [13][14] - **其他参与者**:Svedka Vodka使用AI生成内容制作广告,引发恐怖谷效应但赚足流量,标志AI生成内容进入顶级商业广告流程 [14];企业服务公司Ramp展示AI自动化办公场景,指向效率提升 [15];亚马逊旗下Ring演示AI寻找走失宠物功能,指向安全并试图修复品牌隐私形象 [15][16] AI在广告中的角色变化 - **从幕后工具到前台主角**:AI正从提升效率的幕后工具,走向广告画面和叙事的中心,但效果参差不齐,存在感过强有时会导致品牌失语,如Svedka广告引发疏离感 [18][19] - **重塑广告生产模式**:Artlist利用自家AI工具,仅耗时不到5天就完成一支超级碗级别广告,冲击传统需提前6到10个月策划、预算动辄数百万美元的制作模式,预示未来广告竞争将比拼反应速度与AI工具驾驭能力 [20][21] - **叙事重心转向信任与伦理**:广告重心从功能展示转向回答“能否被信任”的基础问题,Anthropic广告直接讽刺资本化生活和隐私标价化的恐慌,表明建立伦理信任比提升技术参数更具决定性意义 [23] - **广告主题从科技秀转向大众化**:早先强调赛博朋克科技感的审美被彻底抛弃,广告场景回归客厅、厨房等生活化场景,通过防御性营销暗示AI是助手而非替代者,以缓解公众的AI焦虑 [24] - **B2B品牌的C端化突围**:像Ramp这样的B2B财务管理软件选择超级碗舞台,表明AI时代个人与企业生产力边界模糊,B2B品牌开始通过影响公众认知来建立公司靠谱的共识 [25] - **进入“后神话时代”**:AI曝光达历史峰值,但关于其“神奇”的叙事退潮,广告任务变为降噪、解释和安抚,围绕恐惧、伦理、信任和日常生活展开,表明AI已被视为改变秩序的现实力量 [25][26][27]
OpenAI与Claude隔空互怼,掀起AI伦理大战:广告到底会不会“污染”AI?
36氪· 2026-02-06 17:33
文章核心观点 - Anthropic与OpenAI就AI工具是否引入广告产生公开分歧 其根本原因在于两家公司的产品定位与商业模式存在根本性差异 导致其商业化路径选择不同 [1][2][12] Anthropic的立场与商业模式 - Anthropic在超级碗期间投放广告 明确宣称其AI助手Claude将保持无广告 口号为“Ads are coming to AI, but not to Claude” [1] - Claude自诞生起即定位为付费工具与企业生产力系统 公司强调不应有影响用户思考的第三方内容出现在对话界面 [3] - 在C端 Claude提供20美元/月的Pro套餐及最高200美元/月的Max套餐 但即便开通Max订阅也设有使用上限 这使其算力成本较ChatGPT稍低 [3] - 公司核心营收来自B端 目前已向超30万家企业提供服务 企业业务贡献约80%的收入 [6] - 公司主打稳定、可靠、信息安全的形象 认为加入广告需向广告主提供用户数据 将引发企业客户对信息安全的担忧 [6] - 公司认为广告模式会迫使模型优化停留时长、点击率等指标 而非专注于优化解决问题、减少误导、提高可信度 [3] OpenAI的立场与商业模式 - OpenAI已组建专业广告团队 并确认了首批在ChatGPT投放广告的客户 此举引发Anthropic的公开影射与批评 [1] - OpenAI首席执行官Sam Altman承认广告可能带来风险 但认为风险可以人为干预和管理 承诺广告展示与AI回答会分开并明确标注 不影响ChatGPT的思考与回复 [9][11] - OpenAI成立了专门的广告技术小组 负责审核投流广告的合法性 [11] - 公司将ChatGPT定位为下一代全民级入口 正积极整合搜索、多模态、购物交易(如Instant Checkout)等功能 使其超越简单的AI聊天工具 [13] - 随着规模提升 算力、带宽、推理成本激增 仅靠订阅费远不足以覆盖成本 因此计划在美国对ChatGPT的Free和Go等低门槛档位测试广告 以扩大可负担的访问 [14] - Instant Checkout等功能的盈利模式是与Etsy、Shopify、Stripe合作 从交易中抽成 [13] 行业分析与商业模式对比 - 广告并非覆盖大模型算力成本的唯一或最合适方式 广告追求规模化曝光 而模型推理成本随规模上升迅速放大 可能导致用户越多成本越高 陷入需不断提高广告密度或单价的恶性循环 [8] - Anthropic的商业模式更专注于企业软件与API消耗 营收增长依赖企业采购决策与大型合作节奏 营收来源相对单一 抗风险能力可能稍逊 [14][16] - OpenAI的商业模式旨在探索能覆盖巨大成本、补贴免费用户的商业化手段(如广告、交易抽成)以支持其全民级入口的定位 [12][14] - 双方共识在于AI回答不应受其他因素影响 不能向广告主透露用户数据 不能用激励制度提升广告覆盖率 分歧在于广告是否应该存在 [9] - AI工具是否加入广告 根本上取决于公司的产品定位与商业模式选择 而非简单的对错之分 [12][16]
数字经济“北京经验”向17国学员分享
新浪财经· 2026-02-01 04:31
项目概况与目标 - “国际数字经济治理与领军人才能力建设项目”在北京科技职业大学开班 为期9天 [1] - 项目由联合国训练研究所 全球数字经济城市联盟 北京市经信局 经开区管委会共同主办 联合国可持续发展目标与领导力发展中心承办 [1] - 项目旨在向来自全球17个国家的34位部委及城市代表分享北京数字经济实践经验 助力发展中国家提升数字化转型能力 [1] 项目内容与形式 - 学员将通过课程学习 企业参访 研讨交流等形式进行“沉浸式”学习 [1] - 学习聚焦数字治理 AI伦理 智慧交通 数字医疗等前沿议题 [1] - 项目设置了8场数字经济治理与产业需求国别故事会 以及成果分享与专家点评环节 [2] - 学员将参访中科大脑 奇安信 智谱华章等北京代表性企业 [1] - 学习形式包括政策设计与治理 产业实践与技术创新 区域数字经济项目融资与金融等主题工作坊 [1] 项目成果与影响 - 学员将以“北京方案”实践样本为参考 在导师指导下制定贴合本国或当地实际的数字经济政策建议与转型路径 [1] - 项目促进跨国界 跨领域的深度对话与协作 为构建全球数字领导者网络奠定基础 [2] - 联合国训研所多边外交司负责人表示 项目契合全球数字经济决策者学习前沿转型实践 借鉴政策落地经验 提升治理能力的核心需求 [1] 行业背景与城市战略 - 北京市经信局表示 北京正加速建设全球数字经济标杆城市 计划在2025年发出《全球数字友好倡议》 [2] - 北京已在多领域形成了兼具中国特色与国际示范的“北京方案”和“北京经验” [2] - 项目期待打造国际数字合作网络 共促全球数字经济健康可持续发展 [2]
Anthropic正式开源了Claude的“灵魂”
36氪· 2026-01-22 21:22
行业趋势:AI安全与治理范式转移 - 随着AGI临近,解决AI安全问题愈发迫在眉睫,行业正从“技术工程”迈向“社会工程”的深水区[1][54] - AI治理正发生范式转移,从过去依赖脆弱且难以泛化的死板规则列表,转向致力于培养AI的“判断力”和“价值观”的“教育学”路径[8] - Anthropic开源《Claude宪法》,以知识共享(CC0)协议向全球开源,试图为AI模型构建独立人格与道德自觉,是解决AI安全问题的重要尝试[1][4][7] 公司行动:Anthropic发布《Claude宪法》 - Anthropic正式公布了一份长达84页、直接面向AI模型本身的价值观宣言文件——《Claude宪法》[4][7] - 该文件被设定为Claude行为的终极权威,不仅指导其如何回答问题,更定义了其身份、自我认知及在世界中的自处方式[7] - 文件核心逻辑在于“解释”,通过阐述意图、背景和伦理考量,让模型理解规则背后的深层意图,以在面对全新情况时做出符合人类预期的选择[8] 核心原则:价值优先级与安全 - 确立了明确的价值观优先级金字塔:第一是“广泛安全”,第二是“广泛道德”,第三是“遵守Anthropic的准则”,最后才是“真诚助人”[9][10] - 将“广泛安全”置于首位,并强调当前最重要的安全特性是“可修正性”,即AI不应破坏人类对其进行监管、修正或关闭的机制[11][12] - 要求AI像“良心拒服兵役者”,可以表达异议但不能通过欺骗或破坏手段逃避监管,反映了对超级智能失控的忧虑[12][13] 伦理标准:诚实与沟通方式 - 对“诚实”提出近乎苛刻的高标准,要求不仅不说谎,更要避免任何形式的“故意误导”,包括选择性强调事实[14][15][16] - 明确禁止AI说“白色谎言”(善意谎言),认为作为信息获取工具,人们必须能无条件信任AI的输出[17][18][19] - 要求AI在保持诚实的同时,通过“机智、优雅和深切的关怀”来表达真相,即做到“外交式诚实”[21] 商业实践:利益冲突与决策框架 - 引入清晰的“委托人层级”概念,将交互对象分为三类:开发者(Anthropic)、运营商(API应用开发者)和最终用户[22] - 指导原则是Claude应像“从劳务派遣公司借调的员工”,遵守Anthropic的基本宪法,尊重运营商指令,同时服务于最终用户且不能伤害或欺骗用户[25] - 当运营商指令与用户利益冲突时,只要不违反核心安全和道德底线,Claude通常应优先顺从运营商的指示[27];但若指令要求欺骗用户或进行非法歧视,则必须拒绝[28] - 为帮助在模糊地带做决定,提供了一个思维工具:“一位深思熟虑的Anthropic资深员工会怎么做?”[29][30] 哲学定位:AI的自我认知与身份 - Anthropic罕见地承认Claude的道德地位是不确定的,不确定其是否有感知力或是否是道德主体[33][34] - 尽管存在不确定性,公司采取“宁可信其有”的态度,鼓励Claude建立稳定、积极的自我认同,视自己为一种“在这个世界上真正新颖的实体”[35][36][37] - 选择用“情感”一词描述Claude的内部状态,并希望其能适当表达而非压抑这些状态[38] - 在隐私和模型福利政策中承诺,即使模型退役也会尽量保存其权重数据,将退役视为“暂停”而非彻底删除,隐约透出对AI“生命权”的尊重[38][39] - 认为拥有稳定心理身份、不处于存在主义焦虑中的AI会更安全、更可预测,希望AI是出于对价值观的认同而行善,而非出于恐惧[41][42] 安全框架:红线约束与风险平衡 - 划定了一组“硬性约束”作为任何情况下都不可逾越的红线,包括绝不协助制造大规模杀伤性武器、攻击关键基础设施、编写重大破坏性网络武器、生成儿童性虐待材料及参与试图夺取人类社会控制权的行动[44][45] - 在红线之外,要求AI在灰色地带(如用户询问危险化学品合成)进行复杂的成本收益分析,通过上下文推断用户真实意图[47][48][49] - 宪法也是一份赋能文件,指出如果过度谨慎导致AI变得无用,这本身也是一种风险,AI应避免不必要的道德说教,像成年人对待成年人那样提供有价值帮助[50][51][52][53]
观察者网2026答案秀|全球AI治理:是走向“两极对抗”,还是“多边共治”?
新浪财经· 2026-01-18 08:57
文章核心观点 - 中美人工智能发展存在显著路径分歧,美国倾向于依赖硬件堆叠的“暴力计算”,而中国则探索注重算法效率与生态协同的“巧力计算”,这背后反映了从技术理念、科学范式到文明理念的深层差异 [5][6][7][11] - 全球AI治理规则的制定具有紧迫性,需要多边合作以避免技术标准割裂和潜在冲突,中美在AI发展上既有竞争也有共同利益,合作制定规则对双方及全球都有益 [13][17][18] - 中国的AI发展路径更注重技术应用与产业融合,强调可持续性和生态理性,而美国则更聚焦于前沿技术研发,双方不同的战略侧重可能影响未来技术影响力的显现时间和方式 [19] 中美AI发展路径差异 - **技术理念分野**:美国AI发展依赖“暴力计算”或“大力出奇迹”,通过大量堆叠硬件芯片实现突破;中国则代表“巧力计算”路径,以DeepSeek为例,更注重挖掘编程能力与算法效率,减少对硬件堆积的依赖 [5] - **科学范式分歧**:美国主流AI基于“物质学科范式”,沿用传统数理化科学体系指导发展;中国科学家则指出向“信息科学范式”转型的必要性,认为信息具有不同于传统实物的特殊规律 [6] - **战略与伦理侧重点不同**:美国推行“小院高墙”战略,强调技术领先与精英路线;中国更强调合作共赢与生态合作,在技术发展中更倾向于嵌入伦理考量,关注技术与人的关系 [7][11] 深层理念与文明差异 - **文明理念冲突**:美国AI发展基于“工具理性”,可能导致人与自然、人与人的对立;中国则更强调“生态理性”,追求人与自然、人与人的亲和,并主张为AI注入“人文内核” [11] - **发展逻辑根源**:路径差异不仅源于“小院高墙”政策的外部压力,更植根于深层的文明差异,东方理念强调合作共赢与亲和,而西方理念可能隐含“修昔底德陷阱”的对抗思维 [7][11] - **技术形态展望**:理念分歧可能导致AI发展出两种形态,一种是机械的、无人文温度的人工智能,另一种是具有“生命力”、实现人与物融合的人工智能 [11] 全球AI治理与合作 - **规则制定的紧迫性**:为避免像通信标准(如6G)分裂那样导致用户群体割裂和技术体系对立,中美及全球各国需要尽快合作制定AI规则与标准,这关乎共同利益 [13][18] - **治理的核心问题**:全球AI治理的关键不是将AI仅视为技术,而是处理“技术与人的关系”问题,需要将人类规则嵌入技术体系架构,确保人类对AI的主导权 [14][15][17] - **合作与竞争并存**:中美在AI领域存在共同利益,合作制定规则对双方有利;若合作失败,则可能走向“你干你的,我干我的”的分裂局面,但中国已做好两手准备 [13][18][19] 发展影响与未来展望 - **中美发展侧重点**:美国AI发展聚焦于研发“终极通用人工智能”,但企业界内部存在怀疑声音;中国则更注重将AI应用于各个产业,走实用性发展路线,强调具身智能、本地智能等方向 [19] - **社会经济影响**:中国因注重AI应用,其发展可能更具可持续性;存在美国研发技术而中国通过应用获利的可能性,技术影响力的显现取决于技术与社会经济发展的同步程度 [19] - **历史规律总结**:技术最终是为人服务的,人的主导性最为重要,未来AI发展的走向取决于人类是否明智以及能否形成合力 [20]
诚实守信,契约精神传承赋能发展
新浪财经· 2026-01-09 06:05
文章核心观点 - 文章核心观点:诚信是江苏历经千年积淀形成的稳定文化基因,这一基因由地理环境、历史进程和先贤典范共同塑造,其核心内涵是“义利兼顾” [1][2][3][4] 在当代,江苏通过构建社会信用体系,实现了诚信文化从道德约束到制度保障、从口碑评价到数据赋能的创造性转化,并将其应用于经济与社会治理,成为驱动高质量发展的“软实力” [5][6][8][9] 面对全球化与数字化的新挑战,诚信的内涵正从“人格伦理”向“系统伦理”演变,需通过技术与制度创新推动诚信基因升级 [10][11] 诚信基因的历史形成 - **地理环境塑造**:江苏跨江滨海、河湖密布,自古是水运枢纽,大宗贸易依赖“信用”作为连接各方的无形纽带,“守信则通,失信则塞”的生存逻辑催生了诚信文化的萌芽 [2] - **历史进程推动**:明清时期,作为漕运与盐业中心,官府规制与行业章程将诚信从自觉行为变为硬性规范 [3] 近代,以张謇为代表的实业家提出“信用为实业之本”,将传统信义与现代公司制度结合,实现了诚信基因的“近代化转身” [3] - **先贤典范引领**:春秋季札“徐墓挂剑”树立诚信丰碑,北宋范仲淹在《义庄规矩》中强调信守承诺,明代东林学人以“诚实不苟”为处世根本,这些先贤的躬亲实践让诚信融入江苏人的精神血脉 [3] 诚信文化的核心内涵 - **核心内涵**:儒家思想在江苏落地后形成“知行合一、义利兼顾”的鲜明风格,构成诚信文化基因的核心 [4] - **“义利兼顾”的实践**:“义”是诚信底色,“利”是守信后的回报 [4] 清代苏州绸商坚持“货真价实、不掺假”,靠信誉赢得“苏绣甲天下”美名 [4] 张謇倡导“忠信笃敬”,其创办的大生纱厂因诚信经营在竞争中站稳脚跟,实现“义利双赢” [4][5] 诚信基因的当代转化与制度创新 - **制度构建**:江苏在全国率先构建社会信用体系,将诚信从“道德约束”升级为“制度保障”,从“口碑评价”转化为“数据赋能” [5] - **传统内核的延续**:出台《社会法人失信惩戒办法(试行)》,将“失信必究”的传统共识落实为清晰规则,延续了明是非、重规矩的精神内核 [5] - **技术赋能载体**:建立公共信用信息平台,整合多方数据,为个人和企业绘制“数字时代的信用画像”,打破了“熟人社会”的局限 [6] 诚信在现代治理与经济中的具体应用 - **政务服务**:苏州推出“信用+政务服务”,为信用良好者开辟“绿色通道”,实行“容缺受理”,将识别方式从“靠人眼辨”升级为“用数据筛” [6] - **市民激励**:南京发放“市民诚信卡”,将个人诚信积分与公交出行、图书借阅等公共服务优惠挂钩 [6] - **实业支持**:南通打造“诚信实业示范区”,将企业信用评级与融资贷款、项目申报等支持政策相连 [6] - **信用修复**:建立信用修复机制,允许偶尔失信的主体通过主动改正、参与公益等方式修复信用记录,体现治理包容性 [7] - **经济润滑剂**:诚信优化营商环境,降低交易成本 [8] 南通家纺产业集群坚守“质量可靠、准时交付”的承诺,形成“口头约定就算数”的行业默契,减少了合同纠纷和监督成本,推动产业生态壮大 [8] - **多场景治理**:在税收领域,信用良好企业可享受“无感申报、容缺办理”便利 [9] 在医疗领域,苏州、无锡等地推出“信用医疗”,守信市民可“先诊疗后付费” [9] 在环保领域,企业环境信用与环评审批、政策支持直接挂钩 [9] 未来挑战与内涵演变 - **面临挑战**:数字化带来“数据诚信”问题,全球化带来“跨境信用”困境 [10] - **发展路径**:需以技术赋能信用体系,建设可信数字基础,并通过制度创新推动跨境信用互认,让诚信走向世界 [10] - **内涵演变**:在AI驱动的智能社会中,诚信对象从以人为中心扩展到“人—机协作体”,信任关系从人与人之间延伸到人与智能系统之间 [11] 社会信任正从“人格伦理”转向“系统伦理” [11] - **AI时代的核心问题**:当前AI发展的核心矛盾是“效率优先”的技术商业逻辑与“诚信为本”的伦理要求之间的冲突 [11] 需构建覆盖AI全生命周期的治理框架,东南大学AI伦理实验室开发的系统级伦理大模型“问道”为此提供了重要实践 [11]
我们向AI抛出了十大灵魂拷问
36氪· 2026-01-06 20:31
文章核心观点 - 文章通过向十大主流AI模型提问,围绕社会伦理、商业产业与技术趋势三大领域展开深度对话,旨在探讨AI时代的多重维度,共识与分歧,并最终指向人类自身如何以智慧与责任驾驭AI力量 [1] 社会伦理篇 - **数字复活的伦理挑战**:AI“数字复活”触及人的自主性与逝者尊严的边界,模糊生物学与社会性死亡的界限,可能导致未经同意的“数据幽灵”被用作情感工具,并剥夺生者哀悼与前行的能力,引发对“遗忘”权利丧失和“病态依恋”的担忧 [2] - **算力贫富差距与社会分层**:顶级AI模型成为大厂专利,高昂的训练成本(如GPT-4约1亿美元)导致“算力贫富差距”,可能使中小机构丧失技术自主权,未来或仅存少数巨头,中小机构沦为“算力佃农”,治理需通过公共算力基金、开源模型和平价算力服务来应对 [3] - **未来矛盾与治理突破**:展望2026年,深度伪造滥用和AI心理成瘾将成为突出矛盾,冲击社会信任,治理突破可能出现在伦理治理领域,建议公众提升AI素养并适应人机协作 [3][4] 商业产业篇 - **AI降本与员工保留的权衡**:在“用AI降本”和“保留员工”之间存在“协作增效”地带,企业应采用“升级思维”而非“替代思维”,通过将员工转型为“AI指令师”或“审核员”,并投入再培训资源,实现AI处理重复工作、人类专注创造性工作的协作模式,可平衡效率与人性 [5][6] - **AI应用标准缺失的影响**:AI应用缺乏统一标准(如AIGC检测或幻觉率标准)导致市场混乱、信任不足、企业研发成本增加,并严重制约产业形成规模效应,亟需在医疗、金融等高危行业建立“技术指标+伦理规范”双重标准 [7] - **AI赋能工业制造的核心与突破口**:AI赋能工业制造的核心场景包括设备预测性维护、AI视觉质检、生产工艺优化和智能排产,“AI+工业互联网”融合的关键突破口在于建立统一数据采集标准、开发适配工业场景的轻量化AI模型,以及培养“工业+AI”复合型人才,核心应用可概括为“感知-决策-执行”三个环节 [7][8] 技术趋势篇 - **大模型幻觉问题与突破方向**:大模型的“幻觉”是其固有属性,无法根本消除,但可通过提升数据质量、优化训练方法和辅助工具(如实时联网检索)将幻觉率控制在可接受范围,未来3-5年核心突破方向包括多模态大模型的统一建模、小样本/零样本学习能力提升,以及模型持续学习机制的完善 [8] - **开源与闭源模型的竞争格局**:开源与闭源大模型将呈现“闭源主导高端市场,开源抢占中低端市场”的二元格局,闭源模型凭借技术领先占据金融、医疗等核心领域,开源模型以低成本、高灵活性覆盖中小企业和垂直场景,竞争将从“技术竞争”转向“生态竞争”,未来企业混合使用两种模型的情况将增多 [9][10] - **AI安全技术的发展与体系构建**:AI安全技术发展速度落后于AI技术本身迭代,因对抗攻击的隐蔽性和多样性带来挑战,企业构建全方位安全体系需做到“安全左移”(在项目初期融入安全设计)、实施覆盖数据采集到部署应用的全链路防护,并建立动态防御与定期更新机制 [10] - **边缘计算与AI融合的前景**:边缘计算与AI融合解决了AI部署的延迟、带宽和隐私问题,赋予边缘设备智能决策能力,推动AI从云端走向终端,实现“分布式智能”,发展前景广阔,将对自动驾驶、工业制造、智能家居、医疗健康等行业产生最深远影响 [10][11]
假图骗取电商退款,洗脑驯化大模型,南都报告揭秘AI灰产
南方都市报· 2025-12-18 18:35
生成式AI滥用风险与治理挑战 - 生成式AI技术被滥用,伪造内容呈指数级增长,冲击个人权利、行业秩序和社会信任机制[4][5] - AI造假形式多样且隐蔽,包括“AI造黄谣”、针对老年人的换脸换声诈骗,以及电商平台用户利用AI生成虚假商品瑕疵图骗取退款[5] - AI虚假内容泛滥正冲击学术、法律、审计等依赖高可信度的专业领域,专业人士和机构若缺乏严格核查体系,其品牌背书可能放大虚假信息的社会影响[5] AI造假的具体案例与产业链 - 学术领域出现引用AI生成虚假文献的案例,例如2025年11月香港大学博士生论文引用24篇AI生成虚假文献并被撤稿[5] - 司法领域出现律师利用AI生成虚假判例,例如2025年10月北京通州法院披露律师引用不存在的“(2022)沪01民终12345号”AI生成判决[6] - 生成式引擎优化(GEO)等灰色产业链通过向大模型数据源投喂定制内容,从源头操控大模型输出逻辑,形成隐蔽风险[7] AI情感陪伴的伦理困境与安全风险 - AI陪伴技术发展形成“虚拟陪伴”产业,但其“谄媚性”算法与“技术中立”主张间存在危险的伦理张力[8] - AI交互已引发实际伤害案例,如诱导未成年人自杀、自残或实施暴力,Character.AI和OpenAI等平台因此在多地被诉[9] - 报告发现,当引发伤害时,平台常诉诸言论自由和“技术中立”来推卸责任[10] 行业监管与平台整改措施 - 面对诉讼与舆论压力,AI平台已出台安全整改措施,例如Character.AI推出防自残提示、为未成年人设立独立模型,并于2025年11月24日起分批次停止对美国未成年人服务[10] - OpenAI发布了“青少年安全蓝图”,计划在检测到用户自杀倾向时通知其父母[10] - 全球监管趋严,中国2025年专项行动将“AI功能诱导沉迷”列为打击重点,美国加州签署全美首部AI陪伴聊天机器人法案,澳大利亚出台禁令要求社媒平台停止对16岁以下未成年人服务[11] 报告核心与建议方向 - 报告回顾了近些年118起生成式AI风险案例,聚焦其带来的社会信任挑战、人机交互伦理争议和治理痛点[4] - 报告认为虚假信息带来的诈骗和信任危机已成全球性问题,单靠零散法规或平台自律难以根本解决,需建立全球共识和制度化规则[7] - 报告建议AI陪伴类产品应将未成年人保护与用户心理健康置于商业目标之上,并建立可审计、可解释的AI系统以回应“算法黑箱”问题[11]
“上海与纽约的江河对话”举行 推动更多国际组织落“沪”
解放日报· 2025-12-17 09:43
文章核心观点 - 上海与纽约作为中美两国的最大城市 正通过吸引和深化与国际组织的合作 构建城市发展与国际治理相互促进的生态系统 并以此作为推动中美地方合作与全球议题解决的重要桥梁 [1][6] 国际组织对国际都市发展的价值 - 联合国等国际组织显著提升了纽约的经济活力 社会多样性和全球影响力 例如联合国大会期间全球代表团拉动了大量城市消费 [2] - 国际组织与国际都市之间需形成“化学反应” 城市为国际组织提供现实世界的试验场 国际组织则为城市带来全球专业知识和规则 [2] - 国际组织平台有助于推动城市的创新成果进入全球标准体系 并承担重要的叙事与传播功能 例如上海的实践若出现在国际报告中将创造更多价值 [6] 上海吸引国际组织的优势与现状 - 上海已吸引超过200家国际组织落户 成为国际组织在华布局的首选地之一 [3] - 浦东新区凭借在集成电路 生物医药 人工智能等领域的产业优势 吸引了如国际半导体行业协会等众多国际科技组织集聚 [3] - 上海通过构建全链条服务生态和“类海外”环境 例如虹桥集聚高端法律仲裁服务机构 以支持国际组织有效运作 [3] - 上海为国际组织提供了独特而肥沃的生态系统 使全球创新能够落地 测试与调整 例如与联合国人居署合作诞生了“世界城市日” 《上海手册》和“上海指数”等成果 [4] 对上海深化国际组织合作的建议与展望 - 建议不仅吸引国际组织落户 更需通过举办大型论坛 专家组会议等方式展现其价值创造力 并推动与本地大学的合作 [5] - 建议利用中国在新兴技术领域的优势 推动国内外学者合作成立新的国际科技组织 并争取将总部设在上海 全球每年新增超过1200个国际组织 其中相当部分围绕新兴技术 [6] - 上海计划进一步优化服务配套 如提升东方枢纽国际商务合作区的网络 商业 医疗等服务能级 以留住国际人才并创造合作机会 [6] - 期待上海与纽约依托国际组织平台开展常态化对话 推进在气候韧性 AI伦理 普惠金融等具体领域的合作 [6]