破界

项目亮点

具身视角投射：设计了一种直观的取景交互——用户在眼前用手指捏合，即可将动态透视遮罩（"传送门"）外推投射到远处的显示屏上。

解耦架构：使用 Python 与 OSC 数据协议，搭建了将 MediaPipe 视觉感知与 TouchDesigner 实时渲染相分离的模块化管线。

抗抖动与遮挡处理：引入 1€ 滤波器参数调优，并建立虚拟眼点几何模型，消除自遮挡与追踪抖动。

跨平台可扩展性：开发了与硬件无关的数据中间层，使素材能够从 LBE（线下娱乐）相机方案平滑迁移到 XR 环境。

背景

在 LBE（线下娱乐）与空间互动媒体中，如何在不依赖复杂穿戴设备的前提下实现自然、高精度的视觉控制，始终是核心技术难题。

本项目探索"凝视不可见之物"（具身视觉）的概念，将身体手势转化为空间取景框。用户在眼前用拇指与食指比出取景手势，系统通过单点透视几何与相似三角形投影，将这一物理取景框外推到远处屏幕上，形成可交互的次元传送门，揭开隐藏的动态视觉图层。

开发

• 迭代一：解耦灰盒原型验证：搭建模块化系统架构，将 MediaPipe 感知层与 TouchDesigner 隔离。开发了一个灰盒基线原型，由原始手部追踪数据——具体为手掌朝向与整体位移——直接驱动一个 Circle TOP 的二维位置与缩放。
• 迭代二：手势定义与视锥几何：将通用手部动作细化为专门的"眼-手取景"手势。通过手部轮廓边界推导出虚拟眼点，避免手与面部之间的自遮挡；并运用相似三角形透视几何，将手部取景框尺寸与面部距离直接映射为屏幕空间中的视锥放大倍率。
• 迭代三：创意渲染与信号优化：在 TouchDesigner 的 Python DAT 脚本中嵌入 1€ 滤波算法（f_cmin 与 β），消除追踪抖动与信号噪声。构建双世界渲染管线，结合 GLSL 片元着色器、Composite TOP 与交互状态机，让分层的次元图像通过传送门遮罩自然显现。

评估

被试内实验设计：采用被试内评估方案，n=5 名参与者，将触控板基线界面与手势控制系统进行对比。

任务流程与休息：在两种条件之间安排认知休息，以避免疲劳效应与顺序效应。

混合方法数据采集：结合任务过程中的实时行为观察，与条件结束后的 Mini PXI（玩家体验量表简版）问卷，获取标准化的主观反馈。

质性深挖与主题分析：测试后进行半结构化访谈，并对访谈文本与观察记录做主题分析，围绕"乐趣"的核心维度展开评估——愉悦感、兴奋感、新奇感与再玩意愿。

主要发现

更强的情绪投入与新奇感：Mini PXI 问卷评分与主题分析均显示，手势取景在兴奋感与新奇感上显著高于触控板控制，把单纯的视觉浏览变成了主动的探索过程。

直观的空间映射：参与者反馈，眼-手"捏合取景"的感觉十分自然具身，类似于实体相机取景器，降低了操控远处视角传送门的认知门槛。

趣味性与工具性精度的取舍：触控板在静态定位上提供了熟悉的精确度，但参与者对手势系统表现出更强的偏好与再玩意愿，原因在于"由实入虚"的投射带来的体感愉悦。

行为能动性与微交互：行为观察中出现了大量自发的微手势（例如通过改变手与面部的距离来动态缩放传送门），说明具身视角控制能提升空间沉浸感与用户能动性。

反思

"破界"的开发过程让我认识到，在交互设计中把感知逻辑与创意渲染引擎解耦有多重要。系统依靠几何透视逻辑，而非为每个子任务堆叠沉重的神经网络管线，因而在极低延迟下实现了高帧率表现。后续迭代将聚焦于把这套标准化的空间数据中间层直接移植到 WebXR 与 Meta Quest 环境，把具身取景交互延伸到完全可穿戴的混合现实空间。