空间计算需要自己的“触控时刻”

上一篇写 AI Wearable 时，我把眼镜、耳机、戒指和手表从品类表里拿掉，改看输入、输出、控制方式和身体位置。

文章写到最后，还有一个问题没有说完。

当眼睛、手和语音都能成为输入，究竟该由谁负责选中对象，谁负责说清意图，谁来确认，谁来执行？

现在的答案经常是：都可以。

可以看，可以捏，可以说，也可以拿控制器。模态多了，演示也顺了。但“系统支持四种输入”和“用户已经掌握一套交互语言”，中间还隔着很远。

我把眼前这个缺口称为：空间计算还没有迎来自己的“触控时刻”。

触摸屏并不是从 iPhone 才出现。改变移动计算习惯的，是点按、滑动、拖拽、双指缩放逐渐获得了稳定含义。换一个 App，用户不需要重新学习怎样浏览、选择和返回；做一个新 App，开发者也不必重新发明最基础的操作。

所谓空间计算的“触控时刻”，也不会由某个手势单独完成。

它出现的标志是：面对一个陌生的空间应用，用户已经大致知道怎么开始；系统也能稳定回答——你在看什么、你选中了什么、接下来会发生什么、做错了怎样回来。

输入已经够多，分工还没形成

今天的空间设备已经能追踪视线和双手，识别环境，把窗口与三维对象固定在真实空间。Apple 在 visionOS 中以眼睛和手作为主要输入：先看向目标，再用拇指和食指轻点完成操作；Android XR 则把手、眼、语音、键鼠和控制器都纳入系统交互。

这些能力已经能很好地操作“放进空间里的 GUI”。

问题是，操作一个悬浮窗口，和操作真实世界不是一回事。

屏幕有稳定平面，鼠标有明确光标，手指能得到桌面或屏幕支撑。空间里却有深度、遮挡、远近关系和不断移动的人。视线会自然扫过物体，手会抖，手臂悬空久了会累；在办公室或地铁里，用户也未必愿意持续说话、挥手。

更重要的是，空间动作可能触及真实设备。误点一个图标，最多关掉窗口；误关一个阀门、误移动一台机器，后果完全不同。

所以键鼠和触控不能原样搬进三维世界。空间交互要先解决不同模态怎样分工。

语音擅长表达开放目标，却不擅长从密集物体里精确指出“右边第三个零件”。视线最自然，却不能把“看见”直接当成“同意”。手势适合确认和连续操作，但复杂手势难学，也不适合长时间悬空。控制器很可靠，却很难成为随时可用的日常入口。

多模态的价值，在于把一句完整的意图拆给最合适的输入，而不是让用户从四种入口里任选一种。

看、指、捏、说

我更愿意先把空间交互压缩成四个原语。

原语	主要职责	适合做什么	不能默认等于什么
看	建立注意与上下文	高亮候选、读取状态、缩小范围	确认、授权或执行
指	明确对象、区域与方向	消除“这个”“那里”的歧义	高精度连续操控
捏	表达承诺并直接操作	选择、抓取、拖动、缩放、细调	描述复杂目标
说	表达目标、关系与约束	提问、比较、生成、安排多步任务	独自完成精确空间定位

看，让系统知道我此刻关注哪里。

指，把“眼前这一片”收窄成一个对象或区域。

捏，把关注变成一次明确的确认，也承担拿取、移动和调整。

说，则负责手势很难表达的部分：为什么改、要改成什么样、还要满足哪些条件。

这四个词不是行业标准，也不要求每台设备使用同一套传感器。需要稳定的是语义边界。

用户可以用眼睛，也可以用头部朝向或辅助设备建立焦点；可以捏手指，也可以按实体键完成确认。输入方式可以适配，核心含义不能每到一个应用就重来。

OpenXR 的 action 机制已经体现了类似思路：应用声明“选择”“抓取”这类有业务含义的动作，再由运行时把不同设备的具体输入映射过来。平台该固定的是动作的公共含义，不是某一枚按钮。

从 Point and Click 到 Point and Ask

桌面计算的代表动作是 Point and Click：先找到对象，再执行一个明确命令。

空间计算会保留直接操作，也会多出两类更自然的组合。

第一类是 Point and Ask。

我指向一台陌生设备，问：“这个灯为什么一直闪？”

指向提供对象，现场提供上下文，语音提供问题。用户不必先查到设备型号，也不用准确描述“左侧第二排的黑色圆柱体”。空间本身已经进入 Prompt。

第二类是 Point and Act。

我指向机械结构里的一个部件，说：“把这部分拆开给我看。”

或者指向客厅的一块区域：“把这里改成六个人能讨论、又不挡通道的布局。”

前半句确定对象，后半句表达目标。Agent 再把目标拆成步骤、调用工具或生成方案。

麻烦也从这里开始。

系统必须先让我看见它选中了什么，而不是直接猜；修改真实状态前要给预览，高风险动作要再次确认；执行中要显示进度和影响范围；做错后要能撤销、回滚或交还人工。

没有这些反馈，Point and Ask 只是更方便的提问。没有这些控制，Point and Act 会变成一句话触发的黑箱。

直接操作与 Agent，需要快慢两个回路

我抓住一个三维模型，把它转过来。这件事应该立即发生。

如果每次旋转都要等 Agent 理解、规划和回复，哪怕只慢半秒，手里的控制感也会消失。

但当我说：“把这套结构改得更适合儿童使用，先给三个方案，并检查容易夹手的位置”，它就不再是一次直接操作。系统需要理解目标、查找约束、修改对象，甚至运行检查。

空间计算因此需要两个回路：

快环： 看向对象 → 捏合确认 → 直接改变局部状态 → 立即得到反馈

慢环： 指明对象 → 说出目标 → Agent 规划 → 展示预览 → 用户确认 → 执行与回退

快环处理即时、低风险、可感知的动作。慢环处理需要理解、规划、工具调用和等待的任务。

产品最难的是两个回路怎样交接。

用户要知道当前是谁在控制：是我的手正在直接移动对象，还是 Agent 已经开始修改多个状态？它做到了哪一步？哪里用了推测？什么时候需要我确认？如果我现在接管，真实世界和数字状态会停在哪里？

Agent 越强，这些问题越重要。能力增加了，控制边界却不清楚，系统就会变得更难预测。

从 Spatial App 到 Spatial Intent

今天的大部分软件仍然由 App 组织。

我要修图，就打开图像软件；要导航，就打开地图；要购物，就打开电商应用。空间设备也沿用了这套结构：打开一个 App，把窗口或模型摆到房间里。

但真实空间不是一组窗口。

一把椅子有位置、朝向、尺寸和所属人；一台机器有结构、状态、历史和权限；一间房同时包含人、物体、关系与规则。同一个对象，也可能被设计工具、维修工具和家庭 Agent 使用。

如果空间计算继续发展，我认为它的组织单位会逐渐从 App 走向 World Canvas：真实对象与数字对象共同组成一张可被理解、操作和授权的世界画布。

这时，用户表达的也不再只是某个菜单命令，而是 Spatial Intent：希望这部分世界变成什么状态。

“告诉我这里为什么漏水。”

“把这张桌子挪到不挡门的位置。”

“冻结现在的布置，试一下另一种规则，效果不好就恢复。”

Spatial Intent 和 World Canvas 是一种产品方向，不是今天已经完成的行业事实。要让它成立，平台需要为对象提供稳定身份，维护空间关系和状态，处理跨应用访问，也要定义人和 Agent 各自拥有的权限。

这会比在房间里多放几个窗口难得多，也更能说明空间计算与桌面计算的差别。

别用一个漂亮 Demo 证明整个平台

空间产品很容易用一次视觉效果跨越中间所有难题。

为了判断一个产品到底走到了哪里，我会用一套很朴素的五级尺度。它不是行业标准，只是产品评审工具。

等级	用户获得的能力
L0 展示	能在空间中看见窗口、图像或三维内容
L1 指认	能稳定发现、指向和选中对象
L2 操作	能拿取、移动、组合或修改对象，并获得清楚反馈
L3 完成任务	系统能理解目标、协调多步动作，用户可以确认和接管
L4 持续协作	对象、关系、权限与任务状态可以跨时间、场景和工具延续

一个视觉震撼的 Demo 可能仍在 L0。一个画面朴素、却能稳定完成维修指导并随时回退的系统，可能已经走到 L3。

这不是说 L0 没有价值。任何平台都要从显示和内容开始。问题在于，我们不能拿“第一次看很惊艳”，直接证明用户会每天使用；也不能用一个独立场景里的成功，证明对象和 Agent 已经能跨场景持续协作。

中间每一级，都是一组不同的产品问题。

我更想先验证三个一分钟 Demo

如果现在做空间交互原型，我不会先造一个宏大的虚拟世界。

我会先做三个普通人能在 30 到 60 秒内判断成败的任务。

第一个，遮挡与探身。

让目标被另一个物体挡住一部分。用户侧身看过去，再指向它。系统能不能持续认出同一个对象？用户能不能看懂自己到底选中了哪一个？

第二个，指认、询问与拆解。

用户指向陌生装置，问它的作用，再要求显示拆解顺序。后续每一步能不能延续同一个对象上下文？说明是否准确落在对应部件？用户能不能随时纠错和暂停？

第三个，冻结、改规则与回退。

用户冻结当前场景，提出一个新约束。系统先预览，再由用户确认执行；效果不好，能够一键回到修改前。

这三个 Demo 分别检验对象选择、上下文延续和 Agent 控制。判断标准很简单：用户有没有学会一个以后还能复用的动作，而不只是觉得画面很酷。

这正是“触控时刻”的含义。

它不会发生在某款设备又增加一种输入的时候，也不会发生在三维内容数量达到某个门槛的时候。

它会发生在有一天，面对不同的空间应用，人已经自然地知道：先看哪里、怎样指明、何时确认、如何说出目标；系统也稳定地知道，什么只是注意，什么才是授权，什么时候应该立即响应，什么时候必须先给预览。

到那时，看、指、捏、说才不再是四种并列的功能。

它们会成为人、Agent 与空间对象共同工作的公共语法。