本地 AI 盒子,得先证明自己值得多占一个插座
用户需要本地 AI,不一定需要另一台设备。购买理由要在完整任务里寻找。
英伟达把 DGX Spark 摆上桌面的时候,参数讲得很清楚:GB10 芯片、128GB 统一内存、1 PFLOP 的 FP4 稀疏算力、240W 功耗,3,999 美元。一台「个人 AI 超级计算机」,大小接近一台Mac mini 的放大版。但对于准备下单的用户,真正的问题藏在参数表之外:家里或办公室,是否愿意为它多留一个插座、一段持续在线的电费、一份固件更新的责任。
我对本地 AI 硬件的判断从这个位置出发:它要证明的增量价值,应当包括从安装到持续使用的整笔账。这笔账的第一行,是一个更便宜的起点——用户已经拥有的电脑。
现有电脑已经是替代方案
LM Studio 的官方文档说明,模型下载完成后,本地聊天、文档处理以及本地服务等工作流可以离线运行;下载模型、发现模型和获取更新仍需要网络,外部工具的联网行为也必须另行检查。离线说明
而在「现有电脑」这一侧,天花板比很多人想象的高。Mac Studio M3 Ultra 最高支持 512GB 统一内存、819GB/s 带宽,实测可以在本地流畅运行 6000 亿参数级模型,DeepSeek-R1 的 4bit 量化版输出约 20 tokens/s,几乎无声。对大多数本地 AI 任务,这台「本来就可能出现在桌面上的电脑」已经是专用盒子要面对的第一个对手。
所以专用设备要回答的问题很具体:现有电脑在哪项任务上不够用?性能、持续在线、多人共享、设备连接,还是配置门槛——新设备解决了哪一项,又增加了多少新工作。如果答案只是「把安装过程封装好了」,它可以是一款有价值的易用型产品,但这份价值要靠上手、维护和服务来验证。
隐私要画边界,离线要跑全程
「私有」是个模糊的词。它可能指数据不发给外部服务,也可能指同事之间互不可见;可能只关心模型输入,也可能关心日志、备份和远程维护。模型在本地执行,只覆盖了其中一角——一个 Agent 在本地读取合同,再调用外部工具处理内容,数据照样可能离开设备。把模型从云端搬下来,并不会自动约束其他工具的权限。
因此隐私需求应当写成可检查的边界:什么资料允许被谁读取,什么结果能发到哪里,什么动作必须确认,日志保存到什么程度。这些责任要由设备的默认配置承担,而不是交给一段提示词。
离线同理。演示一次断网问答,说明不了完整工作流能否离线——任务可能在检索、授权、外部数据或更新环节停住。测试应该从任务开始跑到交付,记录每一步停在哪里。
装得下模型,还不等于接得住工作
设备宣传喜欢围绕「能运行多大的模型」展开。DGX Spark 的 128GB 统一内存可以运行千亿参数模型、微调 700 亿参数模型,这是硬指标;但用户实际要完成的任务,还会占用上下文、并发、检索和其他工具资源。Ollama 的上下文文档明确提醒,更大的上下文需要更多内存——模型权重装得下,只证明了众多条件中的一个。上下文说明
我会先拿真实任务比较设备,把硬件选择放到比较之后。比如整理一批允许在本地处理的研究文件,从读取、提取证据到形成带来源的报告;要观察的除了速度,还有漏读、错误引用、任务中断后的恢复,以及人最终花多久检查结果。一台只是更快交出需要大量返工初稿的设备,谈不上提高效率。
专用设备在哪些地方成立
我更愿意关注持续运行的职责。个人电脑会休眠、出门、被其他任务占用;一套共享工作流可能需要稳定的文件权限、固定工具环境和可恢复的任务队列,现场设备可能需要低延迟连接,或在网络不稳定时继续处理。DGX Spark 的 240W 常驻功耗,恰好把这类「持续在线」的成本摆在了明面上——持续在线本身不产生价值,它必须对应持续发生的任务。
另一种价值来自明确的交付责任:用户买到的不只是硬件,还包括可理解的权限、稳定更新、故障恢复和有人负责的服务。配置能力较弱的用户愿意为此付费;相应地,服务成本也要进入商业模型,不能只出现在购买理由里。
硬件的时间尺度尤其重要。NVIDIA 的生命周期说明对模组与开发套件作了区分,提醒产品团队不要将开发验证条件直接等同于长期供货和维护承诺。生命周期说明
二十万条讨论,仍然不能替盒子下订单
这次知识整理重新计算了一组本地 AI 主语料:211,088 条记录,Reddit 占约 90.21%,覆盖特定时间与采集范围,不代表全部潜在用户,详见数据与边界。这些讨论能帮助找到任务和配置问题,但购买意愿需要另外的证据。
尤其要当心极客的容忍度。愿意下载模型、改配置、调试驱动的人,能帮产品发现能力边界,却也在替未来的用户承担他们未必接受的劳动。极客把设备跑通是技术证据;大众用户能长期独立使用,需要另一组证据。
把盒子与替代方案放在同一张验收单上
具体做法:先约定任务、质量门槛、数据边界和使用频率,再把现有电脑、专用本地设备、条件允许的云端方案放到同一张单子上比较。除了采购和服务费用,记录安装、等待、人工介入、失败恢复、维护与升级;设备折旧和持续电费也在其中。暂时估不准的项标成未知,不用乐观数字填平。
比较可能得出三种结论:现有电脑已经足够;软件封装与支持服务更有价值;或者独立设备确实显著降低了完整任务的负担。三种都值得接受,产品选择跟着证据走。
对专用设备,我最终想看到的是:任务确实持续发生,用户不必反复重新配置和解释,设备稳定完成工作,出问题时没有把责任全部退还给购买者。当它开始在每天的工作里变得不可或缺,那个插座才算占得值得。