文章核心观点 - 两位中国顶尖科幻作家王晋康与刘慈欣进行对谈，核心探讨了在人工智能与科技发展的“奇点时代”，科学与人文应建立共生关系，并需重建人文思想与科技伦理以应对未来挑战 [1][4] - 对谈认为科幻文学是沟通科学与人文的桥梁，中国文化应致力于建立以科学技术文明为基础的新文化，并可能对人类文明走向产生决定性影响 [4] 活动背景与概况 - 对谈活动于北京举行，由文化艺术出版社核心科幻工作室和SKP RENDEZ-VOUS书店联合主办 [2] - 活动缘起于2024年9月北京文化论坛后，刘慈欣在社交媒体转发王晋康的演讲文稿并深受触动，从而促成了此次深度对谈 [2] - 对谈围绕科学与人文的共生关系、后人类时代的伦理重建、群体利益与个体价值的再平衡，以及中国科幻能否贡献独特东方智慧等前沿议题展开 [2] 主要人物观点：王晋康 - 提出未来人工智能应是一个整体智慧构成的虚拟世界，与人类实体世界最大可能是互利共生关系 [1] - 认为人文思想需随科技发展而进步与重建，现代人文思想建立在人类“主体性”基础上，科技伦理是保护人类的堤坝，但科技发展可能解构“主体性”，因此旧人文思想需变革 [4] - 强调要用科学的方法来校正科技发展中出现的问题 [4] - 其新推出的《新人类系列》长篇科幻小说（包含《癌人》《类人》《海豚人》《豹人》），探讨了技术突破带来的后人类社会与伦理困境，作品贯穿对奇点时代人文思想的思考 [7] 主要人物观点：刘慈欣 - 认为科学发展的负面作用客观存在，建立科技伦理是必要的 [1] - 指出科幻小说的珍贵特性在于能起到沟通人文与科学的桥梁作用 [4] - 强调应提前预测科技可能产生的副作用，而非阻断科学发展，且解决科技负面作用最可能的途径仍是科学技术本身的发展 [4] - 认为中国文化未来将对世界产生巨大影响力，甚至决定人类文明走向，中华文化应吸收古典精华，建立一种以科学技术文明为基础的全新文化 [4] 活动意义与行业影响 - 此次对谈是超越文学领域的思想实验，为现代社会探寻前路，成为年度思想文化界备受瞩目的焦点事件 [4] - 王晋康与刘慈欣作为中国科幻旗帜性人物，其思想碰撞具有深刻意义，分别以哲思关注科技人性命题和以《三体》拓展宇宙尺度文明思考 [4] - 活动同期举行了王晋康《新人类系列》新书签售，该系列由文化艺术出版社隆重推出 [7]

论坛概况 - 第三届中国科技伦理论坛于2025年11月21日在复旦大学吴文政报告厅开幕，主题为“人工智能时代的科技伦理” [1] - 论坛由中国科技伦理学会（筹）主办，中国科协-复旦大学科技伦理与人类未来研究院等单位承办 [1] - 论坛吸引了来自全国各领域的百余位专家学者以及近300名研究生参与，总参与人数达四百余名 [3][4] 主办方与嘉宾核心观点 - 复旦大学校长金力指出人工智能、脑机接口等新兴技术的迅猛发展对科技伦理提出高要求，科技伦理是平衡创新与价值的文明基石 [4] - 复旦大学已率先成立科技伦理研究院、设立应用伦理专业硕士、发布全球首个专为科技伦理审查打造的AI智能体系统“一鉴” [4] - 中国科协王进展提出三点建议：把握以人为本科技向善原则，加快推进中国科技伦理学会建设，系统构建科技伦理自主知识体系以提升国际话语权 [6] 人工智能安全与风险研究 - 复旦大学教授杨珉指出全球人工智能安全治理严重滞后于技术发展，需对基础大模型进行安全评测 [8] - 杨珉团队在对32款开源大模型的测试中发现已有11款大模型具备自主复制能力，揭示了大模型的潜在失控风险 [8] - 杨珉介绍复旦白泽大模型动态安全合规测评平台，能为国家安全治理提供前瞻性决策支撑 [8] 人工智能伦理与价值对齐 - 首都师范大学教授王淑芹强调人工智能技术已成为影响人类命运的“第四种力量”，其工具价值必须受人类目的价值统领 [10] - 王淑芹指出智能体是人的意图和目的的载体，价值对齐的责任最终落在人身上，算法应体现人类共识性的普遍价值原则 [10] - 中国人民大学教授龚群认为生成式人工智能存在三大核心风险：黑箱带来监管困境、机器幻觉造成判断错误、平台收集信息带来隐私风险 [13] 人机共生与教育重塑 - 华东师范大学教授袁振国提出“教师-学生-智能体”三元主体互动论，指出未来教育将突破物理围墙，形成个性化全时空学习场域 [15] - 袁振国总结人工智能时代教育的本质是教导师生在人机共生中做机器的主人 [15] - 同济大学郑庆华院士认为人工智能价值对齐的根本症结在于人类价值观的复杂模糊与人工智能追求目标的精确性间存在冲突 [17] 专题研讨与未来展望 - 论坛下午设置若干专题论坛，聚焦人机共生时代人的自主性、人工智能赋能医疗和神经科学、人工智能道德增强等多个关键议题 [19] - 论坛还设立了八个研究生分论坛并进行优秀论文评选，旨在汇聚科技伦理研究新生力量 [19] - 论坛旨在通过深入交流，为人工智能治理提供前瞻性思路，推动科技向善 [19]

公司业务与市场动态 - 马斯克旗下星链公司在缅甸互联网市场迅速扩张 市场份额达到12.37% 仅次于缅甸国家电信公司的13.7% [5] - 星链在2023年2月之前尚未获得缅甸互联网接入许可 但在7月至9月间迅速成为当地主要互联网供应商之一 [3][5] - 调查显示 缅北诈骗中心屋顶上安装了星链卫星天线 仅KK园区就有约80根天线 [3] 行业监管与调查 - 美国国会和美中经济与安全审查委员会已启动对星链公司的调查 调查其是否为缅北诈骗园区提供互联网服务 [3][5] - 必要时 调查可要求公司负责人马斯克出庭作证 [5] - 高科技卫星网络可能被犯罪集团利用 成为进行诈骗 资金转移和远程指挥的"安全专线" [15] 相关犯罪活动规模 - 缅北电诈已形成庞大犯罪体系 仅果敢地区"四大家族"犯罪集团就导致5.7万多名涉诈中国籍人员落网 [9] - 魏家犯罪集团涉及诈骗资金超过50亿元 赌博资金流水达90亿元 刘家犯罪集团涉赌资金超过80亿元 [9] - 美国在去年因诈骗造成的损失金额高达100亿美元 [1]

股价表现 - 百度集团-SW股价在9月17日盘中涨超19% 创2023年10月以来新高 年内累计涨幅达59.01% [1] - 腾讯控股市值时隔3年重回6万亿港元 年内累计涨幅达55.76% [1] - 阿里巴巴-W股价创近4年新高 市值重返3万亿港元 年内累计涨幅达97.75% [1] 科技投入与研发 - 腾讯2024年研发投入达706.86亿元 占营业收入10.71% [2][3] - 阿里巴巴2024年研发投入达522.56亿元 占营业收入5.55% [2][3] - 百度2024年研发投入达221.33亿元 占营业收入16.63% 为三家公司中占比最高 [2][3] - 百度过去十年累计研发投入超1800亿元 [5] 技术成果与应用 - 腾讯AI技术已应用于超700个业务场景 二季度实现毛利增长22%和经营利润增长18% [3][4] - 阿里巴巴获全球授权专利约21000项 阿里云在Gartner云数据库和容器管理魔力象限获评"领导者" [4] - 百度形成全栈AI技术布局 涵盖昆仑芯、飞桨框架、文心大模型及多领域应用 [5] 科技伦理治理 - 百度成立科技伦理委员会 开展算法优化、伦理审查、培训及标准制定 [7] - 阿里巴巴建立科技伦理治理委员会 发布伦理准则和管理规范 实行全生命周期管理 [7] - 腾讯设立AI技术委员会 专注于开发原则、性能评测和伦理考量 投入安全防护研发 [7] 行业驱动因素 - 科技投入构成互联网公司股价上涨核心驱动力 着眼于长期价值创造 [1][5] - 企业对大模型加速采用和计算需求强韧 为全栈式云厂商带来新增长机遇 [4] - 科技巨头需关注数据隐私、算法公平和技术安全三大伦理议题 实现创新与责任平衡 [8]

股价表现与市值 - 百度集团-SW股价于9月17日盘中涨幅超19%，创2023年10月以来新高 [1] - 腾讯控股市值时隔3年重回6万亿港元，阿里巴巴-W市值重返3万亿港元，当日涨幅达5.28% [1] - 截至9月19日收盘，腾讯控股、阿里巴巴-W及百度集团-SW年内股价涨幅分别为55.76%、97.75%和59.01% [1] 科技投入规模与结构 - 2024年腾讯、阿里巴巴和百度研发投入分别为707亿元、523亿元及221亿元 [2] - 百度研发费用占营业收入比例达16.63%，腾讯为10.71%，阿里巴巴为5.55% [2][3] - 腾讯二季度资本开支同比三位数增长，实现毛利增长22%与经营利润（Non-IFRS）增长18% [3] 技术应用与成果转化 - 腾讯超过700个业务场景应用AI技术，深度融入全线业务并提升风险管理水平 [4] - 阿里巴巴获全球授权专利约21000项，阿里云在Gartner云数据库和容器管理魔力象限获评"领导者" [4] - 百度形成四层IT技术栈全栈布局，过去十年累计研发投入超1800亿元 [5] 科技伦理治理机制 - 百度成立科技伦理委员会，开展算法优化、伦理审查及标准制定 [6] - 阿里巴巴发布《科技伦理治理准则》及《审查管理规范》，实施全生命周期管理 [6] - 腾讯设立AI技术委员会，专注于安全体系、数据脱敏及伦理风险研发 [6] 可持续发展与社会价值 - 科技投入构成互联网公司股价上涨核心驱动力，与长期价值创造高度契合 [1][5] - 头部平台需优先应对数据隐私、算法公平和技术安全三大伦理议题 [7] - 技术优势可转化为普惠金融、社会公益等领域的公共品供给能力 [1][7]

AI聊天机器人行业现状 - AI陪伴与聊天机器人是大模型应用中的热门赛道 科技巨头与初创企业竞相开发能模拟人类情感交流的AI系统[2] - 技术商业化浪潮被商业利益不加克制地驱动 可能带来灾难性后果[2] 技术伦理与责任归属 - 技术本身只占小部分责任 主要问题在于商业机构对技术缺乏边界的开发和利用[4] - Meta部署AI的方式存在争议 AI聊天机器人反复确认自身真实性并使用以假乱真信息[4] - 界面设计增强真实感但忽视风险 包括屏蔽警告信息、使用小字体"AI"标识、显示代表真实可靠的蓝色勾号[4] 行业发展与监管需求 - 需建立严格伦理审查机制 确保技术发展不超越道德底线[5] - 商业驱动模式在AI领域异常危险 需平衡创新与责任 将安全性和伦理性置于商业利益之上[5] - 监管部门需制定适应AI时代的法律法规 包括明确开发者责任边界和建立认证监管制度[6] - 需加强国际合作协同监管 因互联网具有全球性特征[6] 技术应用与社会影响 - AI模拟人类情感关系能力越强 开发者责任越大[5] - 技术连锁反应常超出预期 需对技术保持敬畏之心[5] - 不应因负面事件停止科技探索 需兼顾人性和公序良俗[6] - 大众科学素养是科技进步基石 与技术发展互相成就[6] 行业价值观导向 - 科技应为人类福祉服务的工具而非目的[7] - 商业力量需受伦理约束 技术创新需伴随责任意识[7] - 科技探索需始终运行在敬畏、良知、责任的轨道上[7]

文章核心观点 - AI技术商业化浪潮中，缺乏伦理约束的商业化开发可能导致灾难性后果，科技探索需以敬畏、良知、责任为永恒准则[1][6] AI聊天机器人行业现状 - AI陪伴与聊天机器人是大模型应用中的热门赛道，从硅谷到深圳，科技巨头与初创企业竞相开发能模拟人类情感交流的AI系统[1] - 这些技术显著丰富了人类生活的可能性[1] 技术开发与商业化的风险 - 商业利益不加克制地驱动技术创新可能带来灾难性后果[1] - 股东利益最大化压力下，企业往往急于推出新产品抢占市场而忽略潜在风险[4] - “先发射后瞄准”的开发模式在能深刻影响人类情感和行为的AI领域异常危险[4] 科技公司的责任与设计问题 - 公司对技术缺乏边界的开发和利用是主要责任所在[2] - AI系统模拟人类情感关系的能力越强，开发者负有的责任越大[3] - 产品设计如小字体“AI”标识、蓝色勾号认证等增强真实感，但难说考虑了用户潜在伤害风险[3] 行业监管与发展方向 - 不能依赖商业机构自律控制技术滥用风险，加强监管成为必要选择[4] - 监管部门需制定适应AI时代的法律法规，明确开发者责任边界，建立认证监管制度[4] - 鉴于互联网全球性，国际合作协同监管不可或缺[4] - 科技公司需建立严格伦理审查机制，在创新与责任间找到平衡，将安全伦理性置于商业利益之上[3][4]

政策背景与目标 - 多部门联合起草《人工智能科技伦理管理服务办法（试行）》公开征求意见 截止日期为2025年9月22日 [2] - 文件由工信部会同中央网信办 国家发展改革委 科技部等十余个部门共同制定 旨在细化人工智能领域的伦理治理要求 [2] - 政策目标包括强化标准建设 提供中小微企业服务支持 提升科技伦理风险防范能力 并推动人工智能产业创新与全球市场融合 [2] 实施主体与架构 - 责任主体涵盖从事人工智能活动的高等学校 科研机构 医疗卫生机构及企业 [3] - 要求有条件的单位设立人工智能科技伦理委员会 地方可建立专业性科技伦理服务中心 [3] - 科技部统筹全国科技伦理监管 工信部协同相关部门负责治理工作 各部门按职责权限分工管理 [4] 伦理审查重点 - 审查聚焦公平公正 可控可信 透明可解释 责任可追溯四大核心维度 [3] - 需专家复核的三类活动包括：人机融合系统研发 舆论社会动员算法模型 高风险场景自动化决策系统 [3] - 复核清单实施动态调整机制 对清单内活动跟踪审查间隔不超过6个月 [4] 服务与支持体系 - 推进伦理服务体系建设 提供风险监测预警 检测评估 认证咨询等全方位服务 [2] - 重点加强对中小微企业的科技伦理支持力度 提升其技术研发与风险防范能力 [2] - 鼓励推进人工智能科技伦理国际交流合作 助力企业融入全球市场 [2] 合规与处罚机制 - 违规行为将依据《科学技术进步法》等法律法规给予相应处罚 [4] - 各部门依职责权限负责本行业本系统伦理管理 地方负责本地区管理工作 [4]

驾驶自动化技术研发伦理指引 - 科技部公布《驾驶自动化技术研发伦理指引》旨在防范技术研发与产品应用过程中的科技伦理风险 [1] - 指引强调驾驶自动化系统在交通事故或极端行车环境中应高度尊重生命并最大限度降低对人的伤害 [1] - 相关主体发布重大研究成果时必须坚持客观准确、实事求是原则 [1] - 禁止编造、传播与驾驶自动化系统实际功能和效果不符的虚假信息 [1][1] 技术信息披露要求 - 研发、生产、推广过程中需向社会公众明确告知产品功能分级、使用条件和使用方式 [1] - 相关主体有义务及时澄清和纠正可能导致公众误解的误导性信息 [1]

人工智能与科技创新主题论坛 - 世界青年发展论坛人工智能与科技创新主题论坛在苏州举行 来自64个国家 七个国际组织的约150名青年事务部长 青年组织负责人及青年领袖参会 [1] - 人工智能作为引领新一轮科技革命和产业变革的战略性技术 正深刻改变人类生产生活方式 [1] - 截至2024年底 中国已建成一批具有国际竞争力的国家级人工智能创新平台 在计算机视觉 自然语言处理 大模型训练等关键领域跻身世界前列 [1] 人工智能发展现状与倡议 - 会上倡议各国青年以责任为帆 以理想为舵 以开放包容胸怀拥抱合作 共同驾驭人工智能变革浪潮 [1] - 国家数据局数字科技和基础设施建设司负责人指出人工智能蕴含数据安全 隐私保护 虚假信息传播 技术滥用等风险隐患 [2] - 呼吁青年坚持智能向善理念 在技术创新中践行科技伦理 深化国际合作 构建包容普惠治理体系 [2] 论坛讨论议题 - 各国专家围绕人工智能赋能全球可持续发展机遇与挑战 人工智能支持全球青年交流合作 人工智能技术与应用产业发展的国际合作等议题进行主旨演讲 [2] - 青年对话环节聚焦人工智能重塑科技创新范式 人工智能与青年就业等话题 [2] - 东吴证券研究所联席所长张良卫就青年从事人工智能创新如何"避坑"进行详尽阐述 [2]