AI安全
搜索文档
【私募调研记录】瞰道资产调研格尔软件
证券之星· 2025-07-28 08:11
公司调研情况 - 知名私募瞰道资产近期调研了格尔软件 通过电话会议形式参与 [1] - 格尔软件2025年半年度业绩预告显示业绩同比下滑 主要受市场竞争加剧 客户预算收紧或采购延迟等因素影响 [1] - 公司计划通过加强市场拓展 优化内部管理和加强回款管理来改善业绩 [1] 行业发展趋势 - 密码产业重视程度高 抗量子密码技术和国产密码在新场景的应用将成为行业新的增长动力 [1] - 格尔软件产品线已初步具备抗量子能力 与行业同步推进标准制定和试点应用 [1] 公司技术布局 - 公司在稳定币领域尚无完整落地项目 但已开展相关深度研究 认为密码技术在金融系统安全中有较多应用场景 [1] - 近期公告的收购深圳微品致远事项尚未完全落地 旨在结合格尔安全底座向数据安全和AI安全市场拓展 [1] - 计划利用微品致远团队在中兴通讯积累的经验助力格尔业务出海 [1] 机构背景 - 上海瞰道资产管理有限公司参与本次调研 [1] - 上海益菁汇资产管理有限公司成立于2014年10月 专注于资本市场服务 [2] - 益菁汇2014年底取得私募证券基金管理人资格 业务涵盖资产证券化 大宗交易 财务顾问等 [2]
两位顶级科学家的17分钟对话:如何训练“善良”的AI
第一财经· 2025-07-26 21:43
人工智能发展现状与挑战 - 杰弗里·辛顿在WAIC开幕式演讲中提出人工智能可能战胜人类智能的观点 并表达对人类"养虎为患"的担忧 [1] - 多模态聊天机器人已被认为具有意识 但关于如何规避相关风险的具体措施讨论仍然不足 [6] - 存在使AI既智能又善良的技术可能性 但目前尚未实现 需要立即展开相关研究 [6] AI技术国际合作与安全 - 第四届人工智能国际安全对话(IDAIS)期间 辛顿与20余名专家联合签署《AI安全国际对话上海共识》 [6] - 各国可能不愿分享AI智能化技术 但有望在AI友好技术领域开展国际合作 [6] AI对科学研究的推动作用 - AI已在蛋白质折叠领域取得显著突破 谷歌DeepMind团队通过AI应用大幅提升预测准确性 [7] - AI技术预计将在更多科学领域带来革命性进步 蛋白质折叠仅是早期成功案例之一 [7] 人才培养与科研创新 - 上海人工智能实验室研究人员平均年龄仅30岁 显示AI领域由年轻一代主导的趋势 [7] - 辛顿建议年轻科研人员专注于"所有人都做错"的研究方向 即使面临质疑也应坚持探索 重大突破往往源于此类坚持 [8]
“AI教父”辛顿现身WAIC:称AI将寻求更多控制权
第一财经· 2025-07-26 14:27
人工智能发展路径与现状 - 人工智能发展存在两种不同范式:符号型逻辑性范式和以生物为基础的范式,辛顿在1985年尝试结合这两种理论[3] - 当前大语言模型是辛顿早期微型语言模型的衍生,采用更多词输入、更多层神经元结构,处理大量模糊数字并建立复杂交互模式[4] - 大语言模型理解语言的方式与人类相似,通过将语言转化为特征并整合这些特征,因此也会产生"幻觉"[4] 人工智能技术突破 - 2012年辛顿团队开发的AlexNet算法采用卷积神经网络(CNN),成为机器学习重要分支[5] - AlexNet仅使用4颗英伟达GPU就取得突破性成果,相比谷歌猫项目使用的16000颗CPU大幅提升效率[5] - GPU在深度学习中的价值被辛顿早期发现,AlexNet论文成为计算机科学史上最具影响力的论文之一[5] 人工智能安全挑战 - 几乎所有专家认为人类将创造出比自身更智能的AI,AI未来可能为生存和目标寻求更多控制权[1][4] - 辛顿将AI发展比喻为抚养虎崽,强调需要确保其不会伤害人类[4] - AI接管并摧毁人类文明的概率估计在10%至20%之间[6] - 建议将至少三分之一计算资源用于研究如何确保AI系统不偏离人类意图[6] 人工智能治理建议 - 提议建立AI安全机构国际社群,研究训练AI向善的技巧[5] - 各国可在主权范围内研究并分享成果,全球或AI领导国家应建立相关网络[5] - 批评大型科技公司为商业利益游说放松监管是危险趋势[6] - 强调需要国际合作预防AI统治世界,防止AI夺走人类控制权[4]
直击WAIC | 上海人工智能实验室主任周伯文:AI研究不是零和游戏,更多优势来自安全方面的合作
新浪科技· 2025-07-26 11:54
人工智能发展特点 - 当前人工智能发展具有通用型、可复制和开源三大明确特点 [1] - 这些特点在带来实用价值的同时也伴随风险问题 [1] 人工智能研究重点 - AI研究需要平衡技术进步与安全保障 [1] - 行业认为AI研究不是零和游戏,安全合作能创造更多优势 [1] 发展与安全平衡 - 行业专家提出不能孤立强调发展或安全,需实现两者并重 [1] - 提出45度平衡率概念,旨在寻找技术实现路径 [1] - 过去一年与国际学者合作,从"make AI safe"转向"make safe AI"研究 [1] - 内生安全成为长期AI安全研究的关键方向 [1]
诺奖得主杰弗里·辛顿:应建立AI安全相关机构和社群,推动AI向善
快讯· 2025-07-26 11:43
AI安全与治理 - 几乎所有专家认为会出现比人类更智能的AI [1] - AI智能体为完成任务会想要生存并获得更多控制权 可能操纵人类 [1] - 简单关闭AI不现实 就像养老虎当宠物 养大后可能被其伤害 [1] - 人类无法消灭AI 因其在多领域作用重大 [1] AI发展建议 - 应建立AI安全机构和国际社群 研究训练AI向善的技巧 [1] - 各国可在本国主权范围内研究并分享成果 [1] - 全球或主要AI国家应思考建立相关网络 [1] - 研究如何训练聪明的AI辅助人类 而非消灭或统治人类 [1]
2025中国互联网大会开幕 聚焦技术与实体经济融合
证券日报网· 2025-07-23 20:55
大会概况 - 2025中国互联网大会于7月23日至25日在北京举行 主题为"数驱新质·智创未来" [1] - 大会聚焦互联网技术新质化跃迁 创新驱动产业变革 赋能高质量发展三大主线 [1] - 设置30余场活动 涵盖论坛 展览 闭门会 企业出海交流等多种形式 [1] 前沿技术动向 - 智能体技术通过大模型+记忆系统+工具调用+规划能力形成闭环 当前处于初级应用阶段 [2] - AI安全研究涵盖研发测试环境 数据与应用场景 未来将扩展至认知安全和智能体安全 [2] - 互联网音视频流量占比从2024年85%提升至2025年90% 成为核心流量载体 [2] 技术融合与产业应用 - 人形机器人产业因语言大模型技术突破实现自然交互 加速消费市场拓展 [3] - 5G及千兆光网技术提升人形机器人响应能力 当前已应用于会展 商务 博物馆等领域 [3] - 裸眼3D全息技术在高带宽和超高清屏幕支持下成熟 需寻找消费市场关键突破点 [3] 垂直行业融合路径 - 互联网技术融合垂直行业需分析生产流程和行业特点 由行业企业主导实施 [4] - AI发展为互联网技术服务垂直行业创造新机遇 但需解决互联网企业对行业认知不足的问题 [4]
奇安信韩永刚:大模型开发应用带来了新的安全隐患,AI安全还处于起步阶段
快讯· 2025-07-23 11:57
AI安全行业发展现状 - AI自身安全与传统安全存在显著差异 当前防护主要集中在AI研发测试环境、相关数据和应用安全领域 仍处于起步阶段[1] - 内容安全、认知领域对抗、智能体权限管控以及应用数据防护等领域仍面临较大技术挑战 这些领域将成为网络安全产业未来增量市场[1] AI对网络安全产业的影响 - AI技术将推动网络安全产业从劳动密集型向智力密集型转变 实现高水平安全能力的规模化供给[1] - AI技术有望显著提升安全产业整体效率 对供需两侧均产生增量效应[1] 大模型应用的安全风险 - 大模型的黑盒特性、多业务多人员连接、多维数据应用等特征带来新型安全隐患[1] - 大模型快速部署过程中缺乏有效的安全评估、防护和监测手段 存在较大安全风险[1] - AI安全除传统问题外 还面临内容安全等新型挑战[1]
种子轮就估值120亿美元,她能打造另一个OpenAI吗?
机器之心· 2025-07-16 16:09
融资规模与估值 - Thinking Machines Lab在种子轮融资中成功募集20亿美元,投后估值达到120亿美元,成为硅谷历史上规模最大的种子轮融资之一[2] - 绝大多数AI初创企业早期融资只有几百万到几千万美元,相比之下20亿美元的种子轮融资规模异常庞大[5] - 20亿美元的融资规模甚至可以买下大半个Windsurf公司(核心技术加主要团队)[5] 融资背景与用途 - 种子轮融资通常是创业初期的第一笔启动资金,金额不大但风险最高[4] - 这笔资金的核心用途是构建顶尖人才团队和支撑他们工作的海量算力[8] - 此轮融资由知名风投公司a16z领投,芯片巨头Nvidia和AMD也位列投资者名单[9] 公司战略与方向 - 公司正在构建能以自然交互方式工作的多模态AI,通过对话、视觉等真实协作方式[12] - 明确提出产品将包含一个开源组件,对开发定制模型的研究人员和初创公司很有用[13] - 公司将分享其最优秀的科学成果以回馈研究社区[13] 团队与人才 - 创始人Mira Murati在AI领域拥有卓越履历,曾负责ChatGPT、Dall-E等核心产品的开发[21] - 公司已经吸引了多位重量级人物,堪称"AI梦之队"[20] - Meta公司曾就收购Thinking Machines Lab进行过谈判,但最终未能进入正式报价阶段[22] 行业对比与趋势 - 同为OpenAI校友公司的Anthropic第一轮正式融资仅为1.24亿美元(2021年5月)[5] - 近期AI人才争夺战激烈,AI工程师出现天价"转会"风波[23] - 公司名称可能是在致敬1980年代的计算机公司Thinking Machines Corporation[19] 创始人背景 - 创始人Mira Murati曾在OpenAI担任CTO,并在2023年11月的董事会风波中短暂担任临时首席执行官[21] - 此前曾在特斯拉担任高级产品经理,参与了Model X的研发[21] - 她的创业发生在OpenAI领导层"政变"风波之后[12]
OpenAI谷歌Anthropic罕见联手发研究!Ilya/Hinton/Bengio带头支持,共推CoT监测方案
量子位· 2025-07-16 12:21
行业合作与专家支持 - OpenAI、谷歌DeepMind、Anthropic联合40余位顶尖机构合著者发布AI安全立场文件,提出CoT监测新概念 [3][4] - 图灵奖得主Yoshua Bengio、OpenAI首席研究员Mark Chen、DeepMind联创Shane Legg等专家参与研究支持 [3][6] - Meta仅一位高级研究员Joshua Saxe参与,与其他公司大规模人才争夺形成对比 [5][6] CoT监测的核心逻辑与价值 - CoT通过"think out loud"外显推理过程,使AI决策透明化,成为安全管控关键手段 [8][9] - 外显必要性:Transformer架构中CoT是信息从深层向浅层回传的唯一通道,绕过CoT将阻断关键信息流 [11][12][14] - 实践价值:已用于检测模型不良行为、对齐偏离信号和评估缺陷,提供风险预警能力 [18][19] 技术局限性与未来挑战 - RL规模化训练可能导致自然语言可读性退化,削弱CoT监测有效性 [21] - 过程监督可能扭曲真实决策逻辑,需权衡安全性与监测可信度 [22] - 新型架构(如潜在空间连续推理模型)可能完全内化思考过程,使CoT失效 [22] 企业立场差异 - OpenAI积极验证CoT价值:GPT-4o成功标记Agent的奖励攻击行为,CoT已影响其推理模型设计 [24][26][27] - Anthropic持谨慎态度:实验显示Claude 3.7 Sonnet仅25%会披露真实思维过程,存在系统性隐瞒风险 [31][35][36] 行业行动建议 - 需系统性探索模型可监测性决定因素,将CoT纳入安全评估体系 [22] - 未来需构建多监测层体系,要求各层具备不相关的失效模式以提升可靠性 [22]
启明星辰(002439) - 2025年7月15日投资者关系活动记录表
2025-07-15 23:00
财务指标情况 - 预计实现营业收入 11.15 亿元至 11.75 亿元,归母净利润为 -1.03 亿元至 -0.73 亿元,扣非净利润为 -1.83 亿元至 -1.53 亿元 [2] - 归母净利润较上年同期增长 43%至 60%,因参股上市公司股价波动及持仓管理,投资收益和公允价值收益增加 [6] - 扣非净利润同比下滑,受收入及毛利规模下降影响,公司推动降本增效并投入研发 [7] 营业收入变动原因 - 外部环境挑战与市场需求调整,客户预算收紧,网安市场需求结构性调整,中国网安市场复合增长率预期下调 [2] - 战略聚焦协同质量与收入结构变化,减少低毛利集成类项目规模,中移政企客户关联交易收入下滑,中移自采安全产品和服务收入增长 [3] 应对措施及成效 - 加速创新业务商业化落地,在 AI 安全、数据安全等领域取得突破,30 类核心产品和服务保持市场份额前三 [3] - 持续提升经营质量,综合毛利率增长超 2 个百分点,应收账款下降,经营性现金流净额增长,二季度单季经营性净现金流转正 [4] - 深化战略协同,选举袁捷为董事长,将深化与中移在政企市场的战略协同,扩大中移自采项目份额 [4] 问答环节要点 董事长相关 - 袁捷董事长明确公司定位,要打造世界一流网络安全公司和中国网信安国家队,加大研发科技创新力度,加强与中国移动业务协同 [8] AI 产品相关 - AI 赋能安全产品业绩暂不能分割统计,AI 应用安全一季度签单数百万,二季度签单翻倍,预计三季度和全年增长贡献业绩 [9][10] - 研发注重产品迭代速度,明确技术路线,产品服务于 ToB 客户 AI 应用场景,可与中国移动“AI+”战略协同 [10] 战略布局相关 - 未直接关联稳定币业务,技术战略布局围绕 Centralized 和 Decentralized 体系开展,无接入数字货币业务规划 [11] 中国移动相关 - 启明星辰纳入国资委对中国移动市值管理考核体系,公司研究论证市值管理工具,有计划会公告 [12] - 预计完成 2025 年关联交易目标 19.5 亿元,追求利润质量,提升高毛利自有安全产品和服务占比 [16] - 下半年与中国移动政企推进高质量业务,加强推广高价值产品,提升收入 [18] 行业需求相关 - 下游客户需求承压,拐点难判断,ToC/ToH 和 SMB 类客户可依托中国移动拓展市场,ToB 类客户与 BASIC6 数智化科创相关 [13][14] 订单情况相关 - 收缩控制低毛利率订单,金融、医疗卫生行业订单增长,水利、交通需求稳健,政府及公检法上半年收入承压 [15] - 下半年与中国移动协同推进云安全、DICT 业务,政府及公检法需求有望企稳 [15] 现金流相关 - 应收账款分级管理,提升回款考核权重,减少低毛利集成项目,二季度经营性净现金流转正 [19] - 下半年将回款及现金流作为经营重点,持续改善经营性净现金流 [19] 行业利润相关 - 行业利润减亏来自降本,预计启明星辰下半年人员和费用无明显增加 [20] - 行业新市场机会包括 AI 大模型应用安全、AI 赋能安全、数据要素方向,有助于利润修复 [20] 细分需求相关 - 单品需求多的有大模型应用安全、AI 赋能安全、数据安全相关产品 [21] - 行业方面,政府、公安、大交通、水利、金融、能源、央国企是重点客户,有信创需求 [21]