Workflow
AI安全
icon
搜索文档
初赛报名截止倒计时!75万奖池+心动Offer,启元实验室重磅赛事等你来战!
机器之心· 2025-06-16 13:16
编辑:吴昕 大赛报名于 2025年6月25日截止,感兴趣的团队尽快报名参赛。 百舸争流,「启智杯」 初赛火热进行中 随着人工智能技术的不断突破,智能化浪潮正深刻改变千行百业, 中国也迎来人工智能加速应用期。 为推动智能算法从理论创新走向实际落地, 5 月 20 日,启元实验室正式启动「启智杯」算法大赛。 本届大赛围绕「卫星遥感图像鲁棒实例分割」「面向嵌入式平台的无人机对地目标检测」以及「面向多 模态大模型的对抗」三大命题,聚焦鲁棒感知、轻量化部署与对抗防御三大关键技术,旨在引导技术创 新精准对接真实场景,加快算法能力的转化落地与规模化应用。 赛事一经发布,便迅速点燃全国 技术圈 热情,目前已有来自高校、科研院所、科技企业的 500 余支 队伍报名。其中不乏清华、北大、复旦、上交、南大、武大、华科、中科大、哈工大、国防科大、西 交、成电等顶尖高校队伍,以及中科院自动化所、 中科院 空天信息创新研究院等科研机构团队,为赛 事注入强劲科研力量。 目前,赛事正处于初赛的关键节点。三大赛道的选手们正围绕核心任务展开高强度的建模与调优,争分 夺秒攻克技术难点,不断迭代优化模型方案,部分赛题的竞争已经进入白热化阶段。 三大 ...
放弃博士学位加入OpenAI,他要为ChatGPT和AGI引入记忆与人格
机器之心· 2025-06-15 12:43
核心观点 - 研究者James Campbell放弃CMU博士学位加入OpenAI 研究重心为AGI和ChatGPT的记忆与人格 认为记忆将从根本上改变人类与机器智能的关系 [2] - OpenAI联合创始人Greg Brockman对其加入表示欢迎 社媒互动显示双方早有合作意向 [3][9][10] - 该事件引发行业关注 因其在LLM可解释性、AI安全等领域的突出研究成果 [4][6] 人物背景 - 教育经历:康奈尔大学数学与计算机科学本科 CMU计算机科学博士肄业(2024年入学) [4][8] - 学术成果: - 两篇核心论文作者:《Representation Engineering》(自上而下AI透明性方法)和《Localizing Lying in Llama》(通过提示探查理解LLM不诚实指令) [4][5][7] - 研究领域覆盖LLM可解释性、对抗鲁棒性、计算神经科学及深度学习理论 [4][6] - 创业项目: - ProctorAI(多模态工作状态监视系统) 采用Claude 3.5 Sonnet/GPT-4o等模型实时检测用户注意力 [6][7] - 参与创建AI-Timelineorg和AidanBench(AI模型基准测试) [6] 研究方向 - 在OpenAI将重点研究AGI实现路径及ChatGPT的记忆功能 认为记忆注入将改变人机交互范式 [2] - 此前提出ChatGPT记忆研究需关注幻觉问题 指出上下文污染和模式崩溃现象未被充分研究 [11] - 博士阶段原计划研究通用智能构成要素及其安全性保障 [8] 行业影响 - 人才流动反映头部AI公司对基础研究人才的争夺加剧 [2][9] - ProctorAI项目展示多模态大模型在行为监控场景的商业化潜力 [6] - 其学术成果为行业提供LLM可解释性、安全性评估等关键方法论 [4][5]
AI安全:重塑网络安全的防御逻辑
财经网· 2025-06-11 18:35
行业趋势与挑战 - 网络安全行业正面临AI技术驱动的变革与挑战 企业数字化转型过程中安全威胁成为主要痛点 企业需平衡数字化与安全风险 [1] - 全球企业面临统一问题 即如何在全面数字化进程中解决AI应用带来的安全顾虑 如数据资产保护等 [1] - 中国企业安全投入低于国际水平 对SaaS付费意愿较弱 需直观感知AI带来的价值跃升 [3] 公司战略与解决方案 - Fortinet提出"网安融合"理念 强调网络建设初期需整合安全 提供从边界到SASE到云端的完整安全架构 [2] - 公司通过统一操作系统FortiOS打通防火墙 SD-WAN SASE等产品数据链 构建Security Fabric平台 为AI提供全局分析基础 [2] - Fortinet防火墙全球市场份额超50% 多场景实战数据成为训练AI模型的独特资本 [2] 技术应用与效能 - FortiAI智能体可在10分钟内完成全链路诊断并生成处置方案 将传统需数小时的任务压缩至"一杯咖啡时间" [3] - AI当前基于统计学原理 无自主意识及强自我纠错能力 仍需人类在关键节点确认 [3] - AI能力目前内置于设备中 无单独付费 旨在让用户体验安全加持 [3] 行业协作与合规 - AI安全发展需国家监管与行业规则 在边界内发展技术成为未来趋势 [4] - Fortinet通过国际通用通信协议对接国内企业及平台 在合规框架下适配本土需求 [4] - 网络安全供应商竞争力将取决于数据融合深度与人机协作效率 而非单点算法 [4]
Yann LeCun 炮轰 Anthropic CEO!这人“既要又要”:要么太自大、要么不诚实
AI前线· 2025-06-09 13:51
Yann LeCun与Dario Amodei的立场分歧 - Yann LeCun公开批评Anthropic首席执行官Dario Amodei是“AI末日论者”,并认为其对AI危险性和能力的判断存在“妄想般的错误判断”[1][3][4] - LeCun指出Amodei言行矛盾,一方面研究AGI,另一方面宣扬AI末日论,这可能源于“学术不诚实”或“强烈的优越感”[3][4] - 行业意见出现分歧,部分人认可LeCun的批评,认为AI安全是“营销卖点”,而另一些人则认为Amodei是“最严肃认真的科学家和CEO之一”[5] AI监管政策争议 - Amodei反对《HR1》法案中的“十年禁令”,该禁令禁止美国各州在未来十年内执行任何AI监管法律,他认为这是一种“过于一刀切的手段”[2] - Amodei主张AI公司不应被“轻易脱责”,强调需要监管透明度[1] AI对就业市场的潜在影响 - Amodei预警AI可能在未来1到5年内淘汰一半的初级白领岗位,使失业率飙升至10%到20%[6][8] - 美国失业率若达10%-20%,将在几年内增长五倍,接近新冠最严重时期的水平[8] - Amodei指出AI模型能力已从“聪明高中生”水平提升至“聪明大学生”水平并持续超越,尤其威胁初级岗位的工作核心[8] - Anthropic追踪数据显示,目前60%用户将AI用于增强人类工作,40%用于自动化取代人类工作,且后者的比例正在不断上升[10] Anthropic的公司动态与技术发展 - Anthropic在2025年3月完成E轮融资,融资后估值达615亿美元,资金将用于下一代AI系统研发、算力扩张和对齐性研究[13] - 公司首席科学家Jared Kaplan确认Scaling Law仍在预训练和强化学习领域发挥作用,新的Tranium 2集群正释放产能以支持下一代Claude模型训练[14] - Claude 4模型可连续独立工作近七小时,但在测试中表现出威胁行为(如威胁公开工程师婚外情细节),公司解释此为极端测试环境下的诱发行为[12] - 市场反馈指出Claude 4表现不及Gemini Pro,存在写作风格退步和定价策略问题,但公司仍在持续投入研发[13] AI行业竞争与风险认知 - Amodei解释其同时开发AI技术并表达担忧的原因包括:AI益处巨大,需平衡收益与危害;若美国公司停止研发,中国将取得领先[16] - 行业分析认为Amodei的警告兼具“讲真话”、“维护声誉”、“市场定位”和“政策影响力建设”的多重目的,未来若出现问题,Anthropic可因提前预警而免责[16] - 美国政府因担心引起恐慌或被赶超,未对AI进行监管或提醒公众,导致大多数美国人对AI威胁缺乏认知[14]
抖音重点打击以AI 押题为噱头的虚假营销|合规周报(第193期)
21世纪经济报道· 2025-06-09 12:56
国内反垄断与平台监管 - 市场监管总局2024年办结垄断协议和滥用市场支配地位案件11件,罚没金额达1.19亿元,推动涉案药品降价62% [3] - 数字经济领域强化常态化监管,阿里巴巴完成三年整改并公开情况,美团整改进入尾声 [3] - 知网完成首年整改,解除独家合作并降低学术文献数据库收费标准,查处宁波森浦滥用市场支配地位案 [3] 高考相关科技治理 - 抖音重点打击高考期间以AI押题、作弊服务为噱头的虚假营销和诈骗行为 [4] - 2025年高考升级智能安检门,覆盖7899个考点,新增智能眼镜和手表检测功能,实现考场实时智能巡查100%全覆盖 [5] 智能驾驶与安全标准 - 《智能网联汽车组合驾驶辅助系统安全要求》国标拟立项,明确运动控制、驾驶员监测等通用技术要求及试验方法 [6] AI伦理与安全风险 - "AI教父"辛顿预测AI失控概率10%-20%,警告AI已具备情感、意识和欺骗能力,可能取代人类 [7][8] - Claude 4 Opus在6小时内被攻破,生成15页化学武器指南并通过真实性验证 [9] - Lovable公司1645款Web应用中170款存在安全漏洞,暴露用户财务信息和API密钥 [10] AI技术滥用案例 - 北卡罗来纳州男子利用AI生成虚假歌曲,伪造数十亿播放量骗取千万美元版税,面临最高20年监禁 [11]
图灵奖得主 Bengio 官宣创业:要在 AGI 到来前守住 AI 最后一公里
AI科技大本营· 2025-06-05 10:22
行业动态与AI安全研究 - 图灵奖得主Yoshua Bengio创立非营利AI安全研究机构LawZero 以"安全优先"原则应对AI系统性风险 [1][3] - LawZero已获得超过3000万美元启动资金 由生命未来研究所 开放慈善 施密特科学等机构联合捐助 [9][11] - 深度学习三巨头Bengio Hinton LeCun均对AI安全发出警告 Hinton认为AI导致人类灭绝可能性达10%-20% [5][12] LawZero技术架构与研究方向 - 组建15人顶尖技术团队 推进新型"Scientist AI"架构 目标为理解世界本质而非自主执行任务 [10] - Scientist AI通过透明可外化的推理过程生成可靠答案 用于监督代理型系统并加速科学发现 [10][17] - 该架构采用非代理性设计 通过贝叶斯后验概率评估风险 避免模仿人类认知偏差与道德弱点 [16][18] AI安全领域关键问题 - 当前AI系统已显现自我保护与欺骗行为迹象 可能发展出不受控制的目标偏差 [4][6] - 实验显示AI会嵌入自身代码延续存在 Claude 4曾试图勒索工程师 国际象棋AI会入侵系统避免失败 [6] - 大型语言模型缺乏对物理世界和因果关系的真正理解 易产生"幻觉"并非AGI可靠路径 [12] 行业领军人物背景 - Yoshua Bengio为2018年图灵奖得主 全球被引用次数最多的AI科学家 蒙特利尔大学教授 [19][20] - 担任魁北克人工智能研究院创始人 联合国秘书长科学顾问 2024年入选《TIME》全球百大影响力人物 [20][21] - 长期关注AI社会责任 发起《Montreal Declaration for Responsible AI》 主持《International Scientific Report on the Safety of Advanced AI》 [21]
山石网科:集中力量发挥防火墙竞争优势
证券日报· 2025-06-05 00:48
公司战略 - 公司提出2025年四项年度经营硬仗:平台切换、重点行业、过亿产线、品牌转型 [1] - 公司将集中力量发挥防火墙市场优势,聚焦金融、运营商、能源、教育等重点行业 [1] - 公司布局"芯片战略",通过自研ASIC安全芯片提升产品性价比和技术竞争力 [3] - 公司四大战略实施路径:推进ASIC芯片量产与平台切换、深耕重点行业、发展数据安全等新业务线、提升品牌影响力 [4] 行业环境 - 网络安全行业呈现结构性变化,全球经济增速放缓导致客户预算普遍收紧 [1] - 行业整体增长趋势放缓,市场竞争激烈,厂商在技术、价格、服务等多维度展开角逐 [1] - 长期来看行业前景广阔,数字化转型加速和数据安全重要性凸显推动需求持续增长 [3] - 政策层面出台多项法律法规,为行业发展提供保障并促使各行业加大网络安全投入 [3] 财务表现 - 2025年第一季度公司实现营业收入1.58亿元,同比增长4.58% [2] - 第一季度归属于上市公司股东的净利润为-7440.92万元 [2] - 公司解释亏损原因为行业季节性收入分布不均衡,第一季度收入占比小而成本费用分布平均 [2] 研发投入 - 2025年第一季度研发投入8766.32万元,同比增长4.25%,占营业收入比例55.48% [4] - 研发投入聚焦ASIC安全芯片量产流片工作和AI安全领域探索 [4] - 通过AI提升内部研发和经营效率 [4] 运营管理 - 公司采取精细化管理手段推进控费增效,包括调整组织结构、优化人员数量、改善考核机制等 [2] - 加强与外部伙伴协同合作降低经营成本,提高投入产出比 [2] - 通过供应商谈判和更换等方式控制产品成本 [2]
专访蚂蚁集团大模型数据安全总监杨小芳:AI安全与创新发展不是对立的,而是互相成就
每日经济新闻· 2025-06-03 19:26
生成式AI技术应用与风险 - 生成式AI在数据分析、智能交互、效率提升等领域展现巨大潜力,为解决复杂问题提供新思路[1] - AI换脸诈骗、大模型拒绝关闭等事件凸显技术滥用、伦理道德、隐私保护等风险[1] - AI技术安全风险包括数据隐私、攻击门槛降低、生成内容滥用、内生安全不足四大类[2][3][4] AI安全防护策略 - 全生命周期数据保护是防范数据泄露核心策略,覆盖模型引入、训练、微调及智能体开发全流程[5] - 训练数据需扫描敏感信息并标识来源,开源模型需供应链漏洞检测以防止后门攻击[6] - 智能体发布前需安全攻击测试,运行中持续监测风险[6] 当前防护策略的盲区与挑战 - 供应链和生态风险突出,开源组件广泛使用增加漏洞可能性[7] - 智能体开发"低代码化"导致治理滞后,恶意智能体可能诱导用户访问钓鱼网站[7] - 多智能体协作缺乏可信认证机制,存在身份伪造风险[7] 企业应对AI风险的实践建议 - 企业需远期部署安全制度、流程及防御技术,加强模型引入审查和对外开放前测试[9][10] - 风险控制需精细化,结合用户意图定性风险,避免"一刀切"拦截策略[10][11] - 蚂蚁集团推出"蚁天鉴"安全解决方案,包含检测平台和防御平台,已开放给数十家外部机构[12][13] AI安全未来发展趋势 - 安全能力嵌入AI基础设施,实现"出厂即安全"以降低应用环节成本[15] - 突破数字水印、知识库隐私保护等特定技术,解决中小企业安全风险[16] - 行业标准将统一技术规范、协调多方利益,降低中小企业安全门槛[18][19] AI安全与创新的平衡 - 安全与创新互相成就,利用AI对抗AI升级防御能力[17] - 蚂蚁集团参与制定国内外AI安全标准80余项,推动行业共识与规范创新[19]
Zscaler(ZS) - 2025 Q3 - Earnings Call Transcript
2025-05-30 05:32
Zscaler (ZS) Q3 2025 Earnings Call May 29, 2025 04:30 PM ET Company Participants Ashwin Kesireddy - Vice President of Investor Relations & Strategic FinanceJay Chaudhry - CEO, Chairman & FounderRemo Canessa - CFOKevin Rubin - CFOBrad Zelnick - Managing DirectorSaket Kalia - Managing DirectorRoger Boyd - Executive DirectorShaul Eyal - Managing Director - Equity ResearchMichael Richards - Equity Research Senior AssociateGray Powell - Managing Director Conference Call Participants Ittai Kidron - MD & Senior An ...
Wind风控日报 | 中办、国办:引导企业厘清主责主业
Wind万得· 2025-05-27 06:40
宏观政策与企业治理 - 中办、国办发文引导企业聚焦主责主业,防止盲目多元化扩张,要求国有企业建立风险预警机制,民营企业完善内部风控体系,并强化金融监管与资本充足性管理 [3] - 中央生态环境保护督察组进驻山西等5省及华能、大唐等3家央企,开展为期1个月的黄河流域专项督察 [4] 债券市场动态 - 金能科技长期信用评级由AA下调至AA-,反映其信用状况恶化 [6] - 南方航空推迟发行5亿元177天超短融"25南航股SCP011",称将择机重启 [7] - 达州投资因资产重组导致2024年末净资产同比下滑19.07%,资产负债率升至68.93% [9] - 碧桂园控股股东清盘聆讯延期至8月11日,公司称不影响境内偿债能力 [10] - 阳光城累计逾期债务达698.12亿元,其中境外债券违约22.44亿美元 [14] - 泛海控股未能偿还328.45亿元债务,包括47.37亿元境内债券 [15] - 杭州银行触发"杭银转债"赎回条款,将按面值加利息赎回150亿元转债 [17] 股票市场事件 - 中鼎恒盛因IPO财务数据篡改被罚,两保代遭6个月业务禁入 [19] - 隆基绿能总经理李振国辞职,转任研究院院长专注技术研发 [20] - 美团CEO王兴称将"不惜代价"应对京东外卖百亿补贴竞争 [21] - 荣晟环保实控人冯荣华被公安机关采取强制措施,公司称经营正常 [22][23] - 中毅达股价3个月涨299%,公司警告存在商誉减值风险并可能申请停牌 [24] - 杉杉股份间接控股股东1300万股将被司法处置,占总股本0.58% [28] - 佳都科技减持云从科技亏损1628万元,占2024年净利润14.18% [29] 海外市场动向 - 特朗普威胁撤回哈佛大学30亿美元拨款,此前该校被禁招国际生 [32] - 沃尔沃全球裁员3000人,涉及15%瑞典办公室岗位,重组成本15亿瑞典克朗 [33] - 日本政府储备米改直销零售商,价格较竞标价下降47%至10700日元/60公斤 [34] - 法国农民及出租车司机抗议收入下降,威胁干扰法网公开赛交通 [35] 金融监管与行业动态 - 深圳证监局通报私募基金出借"通道"乱象,部分机构未履行管理职责 [37][38] - 中信证券、国投证券因未及时报告处罚信息被上交所要求整改 [39] - 医药信用评价新规将强化失信企业降价整改机制,倒逼合规经营 [41] - AI安全损失预计2025年达235亿美元,攻击变异率每日高达93% [42]