美国晶片巨头Nvidia上星期举行年度人工智能（AI）盛会GTC，行政总裁黄仁勋表示，在AI时代，智能词元/TOKEN是新货币，这是继全球首富马思克指能源是AI时代货币外，另一个计价单位。

Token是一个电脑领域的多义词，早年在虚拟货币中以「代币」含义出现在入众眼前，比如比特币、以太坊等都属于Token。随着人工智能时代来临，Token不再是虚拟货币，近日改成为词元，相当于大语言模型处理、理解和生成文本的最小基本计算单位。若以人类自然语言为例，我们讲的语言最小单位通常是单字，而在电脑语言中，Token就相当于人类的单字，当然并非是一个字等于一个Token，而是介乎「字」和「词语」之间的计算单元。

一个Token可以拆分成几个字，主要视乎AI大模型配套的分词器（Tokenizer）决定，不同语言、不同模型拆分结果会有差异。例如中文「人工智能」四个字，有些大模型拆分成「人工」和「智慧」两个Token，有些把「人工智能」视为一个Token。所以即命是同一段文字，不同大模型采用不同的分词器规则，Token数量可能天差地别，OpenAI、Meta、阿里巴巴等都有专门的分词器规则，随着多模态大模型发展，图像、音讯、视频等非文本内容，也会被模型拆分为对应的视觉Token、音讯Token，好方便处理，但其分词逻辑基本一致，都是将非结构化的资料，拆分成可计算的最小单元。通常来说，大模型在单次对话中能够处理的Token数量越高，大模型能力也越强。

近日随着OpenClaw「龙虾」爆红，Token消耗量呈几何级数式增长，由于OpenClaw的每一项任务，都会分解成不同的指令，指令并行时会消耗大量的Token，因此有些高频「养虾」的开发者发现每月帐单支出可达上万元人民币。2024年内地整体日均Token消耗量约1000亿个，今年2月，这日均消耗量已飙升至180万亿个。随着大模型正从聊天AI，向自主执行复杂任务的AI智能体发展，Token消耗量呈现出几何级增长趋势。不少行业人士认为，全球大模型行业正在迈向Token经济，即大模型的价值不再只以前沿推理能力作为单一指标，而是加入『以Token计价』的商业经济指标。故此上星期阿里巴巴更宣布成立Alibaba Token Hub事业群，以创造Token、输出Token、应用Token为目标。

近日OpenAI客户要若要使用最先进的模型，就须支付15美元以购买100万个Token。NVidia的黄仁勋指，在电力受限的AI基础设施中，最好确保架构被尽量优化，因为AI推理是工作负载，Token是新的商品，算力是新收入。故此未来每家公司都要思考他们的Token工厂生产效率。当然他亦不忘卖卖广告，指NVidia在软件架构上做了提升，在更新前，平均大约每秒产出700个Token，现在达到将近5,000个，提高了7倍，适合各巨头公司应用。

编写、报道：劳家乐