AI 日报 · 2026-10-13:把大模型拆进小设备,15 台电视盒子每秒 0.39 个 token,一部手机每秒 13 个
Anthropic 红队用 15 台约 55 美元电视盒子跑 Gemma4-26B(0.39 tok/s),研究小模型在 IoT 上自我复制:端到端复制仅在未鉴权 ADB 的模拟网络中由 GLM-5.2 完成,“今年底”为外推;同日 MiniCPM-V 4.7 35B-A3B 用前瞻专家调度在 iPhone 17 Pro Max 上跑到 13+ tok/s(官方,Apache-2.0)。玩法:Kindle 相框先给 agent 一双眼睛、levelsio 的 2006 年 MSN 机器人;简讯:Muse Wonder、Anthropic 防蒸馏、代码多软件没多、Torvalds 补丁、Maia 300。
# AI 日报 · 2026-10-13:把大模型拆进小设备,15 台电视盒子每秒 0.39 个 token,一部手机每秒 13 个
Anthropic 前沿红队买了 15 台杂牌安卓电视盒子,每台约 55 美元,连成一串,一起跑一个 260 亿参数的模型,速度是每秒 0.39 个 token。同一天,面壁智能 OpenBMB 开源了一个 350 亿参数的多模态模型,官方说在 iPhone 17 Pro Max 上每秒能出 13 个以上 token。
两件事用的是同一个思路:大模型不必整个塞进一台大机器,可以拆开,放进小设备里跑。 今天就看这个思路的两面:一面是红队在测"AI 能不能借这些设备自己扩散",另一面是普通人今晚就能在手机上跑一个 35B 模型。
> 本期素材:Hacker News + X(仅 API 检索)+ 媒体。本期没有 Reddit 素材。
一面:红队在电视盒子上测 AI 自我复制
事实等级:官方研究(Anthropic 10/12 发布),其中"几个月内""今年底"是外推预测,不是已经发生的事。 原文:AI models may be capable of self-replicating without access to a datacenter
作者 William Zhou、Daniel Freeman 关心的是:一个小模型能不能把自己复制到联网的廉价设备上(智能烤箱、杂牌电视盒子),在上面跑起来,再继续往下一台扩散。这类设备便宜,通常也没人打补丁。
我们逐条核对了原文数字:
- 演示:15 台约 55 美元、各 4GB 内存的电视盒子,按流水线并行,每台放模型的两层,合起来跑 Gemma4-26B-A4B,每秒 0.39 个 token。
- 陌生硬件上自己搭推理:Qwen3.5-9B 在测试的 9 类硬件里,有 8 类自己把推理服务跑通了。
- 端到端复制只在简化环境里做过:8 个 GCP 节点跑 Android 15 模拟器,放在一个防火墙隔离的私有网络里。"蠕虫"通过没设密码验证的 ADB 调试端口一台台跳过去,再在每台上搭起 Llama3.1-8B 推理服务。测试的开源权重模型里,只有 GLM-5.2 稳定做到:5 次里 4 次传遍 8/8 个节点,1 次 7/8。作者自己说,攻击这一步被刻意做得很简单,所以结果是真实情况的上限。
- 外推:30B 以下小模型的能力指数每年涨约 13.7 点。照这个速度,今年底会有小模型达到 GLM-5.2 的水平。作者也说明,这个指数只是粗略代理,估算很粗。
- "死前留笔记":他们自建的 Memento 框架会定期换一个新实例接着干,旧实例给新实例留笔记。Qwen3.5-9B 搭推理的成功率从第一代 45% 升到后几代 61%–84%。
- 规模感:参照感染过 200 多万台设备的 Kimwolf 僵尸网络估算,就算全部换成跑 AI 的盒子,总算力最多约等于 40 张 H100,复制一次要一两天。作者用"黏菌""果蝇"来比喻:慢,但难以彻底清除。
防御建议也写在原文里:这种扩散会在网络流量上留下明显痕迹(动辄几 GB 的权重传输、设备之间持续通信),运营商可以发现并隔离;厂商应取消默认密码等不安全设置。
我们的读法:这篇最值得记住的不是"AI 蠕虫来了"(它还没来,原文也没这么说),而是一个具体的门槛:一个模型要在小设备上扩散,既要够聪明(会搭推理),又要够小(塞得进 4GB 的盒子)。眼下这两条线还没交汇,红队估计今年底可能交汇。
另一面:35B 模型在手机上每秒 13 个 token
事实等级:模型卡、Apache-2.0 许可证和 iPhone 数字是官方说法;跑分对比是厂商自报;3090 数字是社区自测。 来源:Hugging Face 模型卡 · @OpenBMB
MiniCPM-V 4.7 35B-A3B 是 MiniCPM-V 系列第一个 MoE 多模态模型:总参数 35B,每个 token 只激活约 3B,能看图、多图和视频,Apache-2.0 开源,有 GGUF、AWQ、GPTQ、FP8 等量化版,支持 llama.cpp、Ollama、vLLM、SGLang,也支持 iOS、安卓和鸿蒙。
它能在手机上跑,关键是随模型一起放出的 Lookahead Expert Scheduling(LES,前瞻专家调度):
- MoE 模型的专家权重大部分留在手机存储里,内存里放不下全部;
- LES 根据当前层预测下一层可能用到哪些专家,提前读进来;
- 真正计算时,先算已经读好的,同时并行读剩下的,不用干等;
- 实际选哪些专家仍由模型原本的路由决定,预测只影响"什么时候读",所以官方说不影响模型能力。
再加上分层量化和投机解码,官方数字是 iPhone 17 Pro Max 解码 13+ tok/s;同等推理时间下,综合分高于 Qwen3.6 35B-A3B(厂商自报)。
社区数字:@ItsmeAjayKV 自测,3090 + 64GB 内存,Q5_K_M GGUF(24.7GB),llama.cpp,32k 上下文平均 91 tok/s,128k 上下文 56 tok/s。这是作者自测,单人单机。
两面放在一起看:红队那 15 台盒子是"拆层",每台放两层、排队传;MiniCPM 是"拆专家",一台设备里把用不上的部分放进存储、提前猜着读。同样是把大模型塞进小设备,一边每秒 0.39 个 token,一边每秒 13 个。差别在于是不是有人专门为这台设备做了优化。红队担心的,是有一天模型自己就能把这件事做好。
玩法
1. 闲置 Kindle 变相框:先给 agent 一双眼睛。 博文(9/27 发布,作者自述;他改的是自己的设备,这里不当越狱教程讲)
- 换了三家模型:Niraj Rajgor 想把吃灰的 Kindle 改成相框。GPT-5.6 Sol 连上了 Kindle,但卡在存不了数据;Fable 5.1 和 Opus 5.5 都在两轮提示后被 Anthropic 的网络安全护栏拦下;最后 GPT-6 Astra 参考开源社区的越狱代码,做出一套自己的工具和幻灯片 app:10 张照片,每张放 4 分钟,随时退回书库。
- 转折点是让 agent 自己看得见:一开始 agent 要作者拿手机拍屏幕发给它。后来作者让它建一个常驻诊断连接自己读日志,再加上远程截屏,之后 agent 就能"自动驾驶"地改 bug。
- 截屏也有看不到的东西:墨水屏切图会留残影,截屏上看不出来,最后还是靠人眼确认。作者的总结是,下次一开始就把日志、截屏、设备上测试这个反馈回路搭好。
2. levelsio 的"2006 年"MSN 机器人。 @levelsio(发帖人自述)
他做了个网页版 Windows XP(pieter.com/xp),里面的 MSN Messenger 挂着 AI 机器人。按他的说法,这些机器人"真心以为自己活在 2006 年",网友在对它们做图灵测试。他还"很 hacky 地"在这个 XP 里跑起了《托尼·霍克职业滑板 2》。用的什么模型没说。
新闻速览
- Meta 发布 Muse Wonder(官方):Meta 第一个闭源、不放权重的前沿模型,API 价格每百万 token 输入 4 美元、输出 20 美元。Meta 公布的跑分为自报;Every 的 Dan Shipper 用自家"资深工程师"基准测,Muse Wonder 52%,GPT-6.1 Sol 71%,这是 Every 的私有基准。
- Anthropic 公布防蒸馏措施(官方):称新措施让蒸馏者能抽到的推理数据减少约 90%–99%。文中 Anthropic 称,智谱在开发 GLM-5.3 时蒸馏了美国领先模型的网络攻防能力。这是 Anthropic 的单方说法,未见智谱回应。
- "代码多了,软件没多"(Ars Technica,报道哈佛预印本):基于 Jellyfish 的数据(700 多家软件公司),引入 coding agent 后代码量约多了 30%,但几乎看不出软件产出增加,多出来的工作被下游的代码审查吸收了。论文原文未读。
- Torvalds 用 Claude Code 写内核补丁(Phoronix):Linus Torvalds 的分支
noref-filemap-read-with-llm改进了多线程读取同一文件时的争用问题。补丁说明原话是:代码、测试程序、审查和说明初稿"由 Claude Code 在我指导下完成,测量在我的机器上跑"。Phoronix 说提升"相当明显"。网传的"3 倍吞吐"我们没能对照原补丁核实,所以不写。 补丁尚未合并。 - 微软 Maia 300(官方):第三代自研推理芯片,计划 2027 年部署,微软称每兆瓦产出的 token 比领先 GPU 系统多 40%(厂商自报)。
今天的结论
- 把大模型拆开塞进小设备,已经是现实。手机上它是好事:开源、能下载,每秒十几个 token。
- 同一招放在没人管的廉价设备上,就是红队在测的风险。目前只在简化环境里跑通,而且"今年底"是外推。
- 两件事之间的距离,就是"有没有人专门优化"和"模型能不能自己优化"之间的距离。
<!-- social drafts (local only): xhs=/workspace/ai-daily/work/2026-10-13/out/xhs.md wechat=/workspace/ai-daily/work/2026-10-13/out/wechat.md -->