上周文本亚星APP手机版注册开户。一家AI草创公司正演示里面让一台条记本当地运转70亿参数模子，连绝扩写一篇3000字的产物文案，全程没掉速的。

玄妙不正在模子，但正在插正在M.2插槽上的一颗AI芯片。那颗芯片专为文本扩写那类自回归任务设念扩写，片上集成了128MB SRAM，把KV缓存全塞进去，避开了几回读取内部内存的提早吧？现场工程师说，同样的模子正在高端GPU上跑到第800个token就起头卡顿。文本扩写看起来简单，芯片理想是推理任务里最“吃”硬件的场景之一。每生成一个词，模子都要回看前面所有词了，KV缓存越滚越年夜。GPU的算力再强。

数据正在HBM和计较单元之间搬来搬去内存。功耗和提早就上去了。AI芯片厂商起头换思绪，取其堆浮点算力，不如把内存带宽和容量做到极致了。Groq的LPU、Cerebras的WSE成推，都正在走那条路。一位芯片架构师告诉我，文本扩写的吞吐量瓶颈，七成来自内存子系统的。国内玩家也没忙着。某头部AI芯片公司比来流片了一款推理芯片，专门劣化了长文本扩写理新的留神力计较。

他们把浓密化做到硬件层了，跳过无关的历史token，实测正在4K长度下。文本扩写速度汲引2.3倍。

不中的。一位接近该项目疆场的工程师泼了冷水，公用芯片的软件栈太薄，客户迁移本钱高，生态是比流片更难的坎。市场数据也正在印证那个标的目的。2024年全球AI推理芯片出货量中，支撑长文本扩写的型号占比岁首年月的12%涨还有三季度的31%。

价格已廉价的，单卡报价普遍正在1.5万到3万美圆。

云厂商情愿买单。果为文本扩写间接挂钩告白文案、客服对话、代码补全那些能收钱的场景。我试过用消费级隐卡跑7B模子的扩写，逾越2000字后速度断崖式下跌，体验近不如云端公用芯片。文本扩写把AI芯片的合做拉回了内存墙。谁能正在每瓦功耗下塞进更多KV缓存啊？谁就能让扩写任务跑得更久、更廉价啊？那不是算力竞赛的起点，很可能是推理芯片分化的起点。