周天虹披露招商银行Token消耗:5月底日均消耗量达330亿,业务部门应用为主
大模型编程的行业现状与挑战 - 近期Uber案例分析反映的核心问题是超预算的Token消耗,主要集中在大模型编写代码方面,而非业务部门将大模型用于业务管理[1][3] - 大模型的出现改变了软件研发模式,当前在编程方面作用显著,但仍存在大量基础性问题待解决[1][3] - 大模型编程面临高昂成本,以及两个关键技术问题:一是大型软件架构能力仍偏弱;二是即使功能正确率高,仍会产生面条式代码(难以阅读)、性能问题、安全问题等技术缺陷[1][3] 美国头部科技公司的政策反思 - 包括微软、Amazon在内的美国头部公司,内部曾推行旨在最大化Token利用的政策,即“Tokenmaxxing”[1][4] - 目前这些公司正在对“Tokenmaxxing”政策进行反思,并开始做出相应调整[1][4] 招商银行的应用策略与现状 - 招商银行在内部软件开发中已应用大模型编程技术,总体采取“积极跟进、审慎应用”的策略[2][4] - 在算力投入方面,招行当前用于大模型编程的算力仅占总算力投入的5%[2][4] - 招行业务部门的大模型Token消耗量巨大,截至5月底日均消耗量已达到330亿[2][4]