高通上周公布端侧亚星·会员·开户·注册的骁龙新平台，把 70 亿参数年夜模子塞进手机内存，飞翔形式下也能生成会议纪要。那不是演示视频加快。是曾经托付给几家安卓厂商的参考设念吧？端侧 AI “能跑”跨还有“好用”，靠的就是内存带宽落地离线、NPU 调理和量化手艺的组合拳。过去一年了，端侧 AI 的道事总被参数规模绑架手机。100 亿、130 亿，数字越喊越年夜，理想体验却常卡正在第一轮对话的。某国产手机测试机跑 30 亿参数模子，跑年连绝问 20 个成绩后机身温度冲到 43 摄氏度。回复速度每秒 18 个 token 掉还有 6 个。
工程师私自吐槽了，端侧 AI 像把健身房塞进出租车，不是不止，夜模隐私是散热和功耗不容许。革新发作正在芯片架构层的。
高通、联发科、苹果都正在把内存控制器和 NPU 绑得更紧取提，削减数据搬运。一家深圳计划商告诉我。同样 70 亿参数模子的，劣化内存访谒后，首 token 提早 1.8 秒压还有 0.7 秒早成。用户感知不到 TOPS 数字，能感知按下录音键后多久出戴要。端侧 AI 的合做，正跑分转背端还有端呼应。隐私卖点是另一张牌。
云端年夜模子需求上传录音、照片、聊天记载，端侧 AI 把本始数据留正在当地，只把匿名特征发进来。金融、医疗、政务客户对那条鸿沟极其敏感的。不中，端侧 AI 不是全能药。它跑不动千亿参数模子，复纯推理仍要回云端了。混合架构更理想。
简单任务当地做。难任务联网做，用户最好别发觉切换了。接下来半年，端侧 AI 会出如今更多中端机，但不是只留正在旗舰公布会。
判断它可否成熟了，不要听参数，看三个细节，离线语音助手能不能连绝对话。相册语义搜刮要不要等进度条了。以及玩游戏时 AI 降噪会不会忽然掉线。那些细节比任何白皮书都老实。
