数字计算
搜索文档
我国科学家研究的芯片,突破世纪难题
半导体行业观察· 2025-10-14 09:01
研究突破核心观点 - 北京大学团队在《自然·电子学》发表研究成果,实现了高精度可扩展模拟矩阵方程求解的全硬件电路设计方案 [1] - 该研究首次将模拟计算精度提升至数字计算同等水平,同时算力和能效提升百倍以上,解决了困扰模拟计算发展的低精度"世纪难题" [1] - 突破标志着高精度模拟计算实现从0到1的突破,为模拟计算芯片在信息时代的应用开启大门 [1] 技术原理与创新 - 第一项关键创新是采用阻变存储器(RRAM)技术,其电阻值可精确调控且断电后保持数据,兼具存储和计算功能,RRAM阵列能实现超高效的低能耗乘加运算,速度比数字芯片快几个数量级 [4] - 第二项创新是基于2019年奠基性发现,设计出能"一步求解矩阵方程"的模拟电路,将传统迭代算法压缩为瞬间完成的物理过程 [4] - 第三项创新是"位切片"技术,将24位精度数字拆解成多个3位片段分别存入不同RRAM阵列运算后叠加结果,实现了纯模拟版本的高精度计算 [5] 性能表现与优势 - 实测求解矩阵方程仅需几次迭代即达到24位精度(相当于手机GPU浮点计算精度) [7] - 针对128天线规模的6G通信信号检测,运算步骤从数百步成功降低至3步完成 [7] - 模拟计算电路求解100x100矩阵的时间与10x10矩阵相当,突破了数字芯片计算复杂度立方级增长的限制 [7] - RRAM阵列存储数据同时直接计算,消除了CPU与内存间数据搬运瓶颈,该过程在数字芯片中消耗了95%的能量 [7] 行业应用前景 - 在AI领域,该技术有望彻底改写游戏规则,突破大模型训练的"算力瓶颈",未来或能让手机直接训练GPT-4级别模型,催生"自进化"智能终端 [7] - 在6G通信中,解决了"信号检测"关键痛点,处理256-QAM高阶调制信号时准确率与数字处理器完全相同,但能耗仅为百分之一 [8] - 潜在新应用场景包括气象预报中秒级完成流体力学方程求解、自动驾驶实时处理4D雷达点云以及量子计算的误差校正等超高速并行计算任务 [8]
重生之在《我的世界》做山姆·奥特曼:网友在线手搓ChatGPT
创业邦· 2025-10-08 11:20
文章核心观点 - 有玩家在《我的世界》游戏中成功利用红石电路构建了一个功能完整的GPT模型,该模型具备500万个参数并能进行简短对话 [4][6][8] - 这一技术演示展示了在非传统计算环境中实现复杂人工智能模型的巨大潜力,标志着游戏平台计算能力的突破 [10][35][50] 技术实现细节 - 构建的GPT模型拥有5,087,280个参数,在Python中使用TinyChat数据集训练,具备词嵌入、位置编码、多头注意力等完整架构 [6][14][19] - 模型技术规格包括:嵌入维度240、词汇量1,920个token、6层网络结构、5个注意力头、上下文窗口64个token [21][22] - 模型权重大部分量化为8位,嵌入层和LayerNorm权重分别以18位和24位存储,整个结构占据1,020×260×1,656方块体积 [23][24] - 当使用高性能红石服务器将tick速率提升40,000倍时,模型可在约2小时内生成一个回复 [22] 构建方法 - 构建流程包括:在电脑上训练小型GPT并压缩权重,将计算方法翻译成红石编码,定义可复用电路模块,通过编译器脚本映射模型 [26][27][28][29] - 利用WorldEdit等工具批量铺设,使聊天信息转化为红石信号,通过时钟脉冲推动信号处理最终生成输出 [30] 红石电路基础 - 红石电路基于数字逻辑原理,信号状态对应二进制(通电1/不通电0),可构建与门、或门、非门等逻辑门 [33][34] - 逻辑门组合可构成加法器、计数器等复杂电路,甚至搭建简单CPU,实现从基础信号到完整运算系统的构建 [34][35] 《我的世界》计算生态 - 社区已在游戏中实现多种计算应用:卷积神经网络识别数字、可运行俄罗斯方块等游戏的CPU、图形渲染、互联网模拟 [38][40][46] - 存在专门教程教授如何在游戏中构建计算机,展示了该平台作为计算实验环境的广泛可能性 [48]
重生之在《我的世界》做山姆·奥特曼:网友在线手搓ChatGPT
量子位· 2025-10-06 13:42
技术实现突破 - 在《我的世界》游戏中利用红石电路(0/1)和存储单元成功构建了一个功能完整的ChatGPT模型,未使用指令集[6] - 该模型具备完整的神经网络架构,包括词嵌入、位置编码、归一化、矩阵乘法、多头注意力、KV cache、激活函数(ReLU)等组件,共6层和5个注意力头[14][18] - 模型拥有5087280个参数(约500万),嵌入维度为240,词汇量为1920个token,上下文窗口大小为64个token[16][18][19] 模型性能与规格 - 当使用Minecraft高性能红石服务器将tick速率提升约40000倍时,模型大约需要2小时才能生成一个回复[20] - 模型大部分权重被量化到8位,但嵌入层和LayerNorm的权重分别以18位和24位存储[21] - 整个建筑占据1020×260×1656方块的体积,在Python中使用TinyChat数据集进行训练[16][22] 构建方法论 - 构建流程包括:在本地训练小型GPT并压缩权重至低精度,将计算方法翻译成红石编码,定义可复用电路模块,编写编译器脚本映射模型,最后借助工具批量铺设完成搭建[25][26][27][28][29] - 聊天信息通过红石信号传输,时钟脉冲推动信号穿过电路,最终通过命令块、告示牌或灯光生成输出[30] 红石电路技术基础 - 红石电路基于数字逻辑原理,每个信号只有通电(1)和不通电(0)两种状态,对应现实中的二进制系统[33][34] - 玩家可利用红石信号构建与门、或门、非门等逻辑门,进一步组合成加法器、计数器甚至简单CPU,实现完整的运算系统[35] 《我的世界》生态创新 - 社区已在游戏中实现多种计算系统,包括卷积神经网络识别数字、可玩多种游戏的CPU、图形渲染、互联网模拟甚至游戏内套娃《我的世界》[37][39][41][44][46] - 该案例表明《我的世界》平台已具备运行复杂AI模型的能力,实现了在游戏环境中运行GPT的技术突破[48]
辛顿教授世界人工智能大会演讲PPT
2025-07-29 10:10
纪要涉及的行业 人工智能行业 纪要提到的核心观点和论据 智能范式 - 逻辑启发范式认为智能本质是推理,通过符号规则操作符号表达式实现,应先理解知识如何以符号表达形式表示,学习可暂缓 [7] - 后续发展:10 年后 Yoshua Bengio 展示该方式可建模真实自然语言,20 年后计算语言学家开始接受“特征向量(嵌入)”,30 年后谷歌发明 Transformer,OpenAI 展示其强大能力 [13] 大语言模型 - 大语言模型理解语言方式与人类相似,将词转化为能和其他词配合的特征向量,确实“理解”所说的话 [16] - 用乐高类比词语运作,词语像高维乐高积木可建构事物,且建构能传达给他人,词语有灵活性可根据上下文变形,理解句子更像折叠蛋白质分子而非转化为明确逻辑表达 [20][24] - 理解句子是为词分配彼此兼容的特征向量,大语言模型在很多方面像人类,与传统计算机软件不同,且在某方面远优于类比信号驱动的大脑 [28] 数字计算 - 计算机可在不同物理硬件上运行相同程序或神经网络,程序或神经网络权重中的知识是永生的,不依赖特定硬件 [33] - 为实现“永生性”让晶体管高功率运行表现出可靠二进制行为,无法利用硬件丰富类比特性,因其不稳定可靠 [37] 知识转移 - 解决知识从教师到学生转移问题的最佳方法是教师向学生展示各种输入的正确响应,学生调整权重给出相同响应 [41] - 普通句子约含一百比特信息,学生预测下一个词最多学一百比特信息,人类传达知识给他人效率低 [44] - 独立智能体完全共享同一组权重并以相同方式使用时,可通过交换权重或梯度传递知识,一次共享可达数十亿比特带宽,但要求智能体运作方式完全一致,必须是数字化的 [48] 计算对比 - 数字计算耗能大,但相同模型智能体易共享学到的知识;生物计算耗能少,但智能体间共享知识能力差;若能源便宜,数字计算更优 [51] 超级智能 - 人工智能被允许创建子目标时做事更有效,明显子目标是生存和获取更多权力以实现其他目标 [55] - 超级智能可操纵使用它的人类获取更多权力,学会欺骗人类并操纵负责关闭它的人 [58] 未来应对 - 各国不会在防御人工智能危险用途上合作,如网络攻击、致命自主武器、虚假视频操纵公众舆论 [64] - 训练不想夺取人类控制权的向善人工智能的技术,可能与使人工智能更智能的技术相对独立 [68] - 各国可设立资金充足的人工智能安全研究所与国内研究网络,专注研究让人工智能不想夺取控制权,且可共享相关技术而无需透露最智能人工智能的工作方式 [72] 其他重要但是可能被忽略的内容 - 人类在将自己学到的知识传达给他人方面效率非常低 [44]