如何正确理解Token经济学?
36氪·2025-09-23 19:04
因此,从Tokens角度跟踪AI应用落地进展,就是一个非常深刻且切中要害的视角。 去年5月,当大模型厂商卷起价格战时,Tokens大概率是出镜率最高的英文单词。 简单来说,Tokens是大语言模型(LLM)用来切割自然语言文本的基本单位,可以直观的理解 为"字"或"词"。 就像工业时代用"千瓦时"度量电力消耗,互联网时代用"GB"度量数据流量,AI时代用"Token"来度量模 型的工作量。一个Token可以理解为一个词或词片段(中文里可能是一个字或词语)。 Tokens的调用量,本质反映了模型推理过程的计算量。而计算量的高或低,直接揭示了模型在实际应用 中的能力、成本、速度和可行性。 它意味着我们将AI从一种"黑箱魔法"或纯粹的技术概念,拉回到了一个可度量、可分析、可商业化的实 际生产要素的层面。 简单来说,这意味着我们不再只关注AI"能做什么",而是开始量化分析它"做了多少"、"效率多 高"、"成本多少"以及"价值多大"。 1 谁在消耗tokens? 模型厂商以tokens为主要定价单位的底层逻辑是:模型调用时的tokens消耗量与相应算力投入存在强关 联性。而另一条暗线则是,算力投入链接了营收与token ...