微软团队碰撞自然人机交互 引领下一代鼠标设计

Touch Mouse研发设计历程

人类的手很灵巧，能够高精度地利用手指进行各种复杂的操作。但是，传统的计算机鼠标设计并没有充分利用人类灵巧的手，而是仅仅将手简单地作为屏幕上的光标。人们的手指通常只做非常简单的动作，例如点击或滚动鼠标。

随着多点触控技术的兴起，用户现在有机会更灵巧地处理数字内容。虽然多点触控技术已经被应用于很多不同的设备——从平板电脑到手机——但它仍没有在台式电脑上找到一个位置。

2008年，多点触控技术的出现给人机交互领域带来新一轮变革。当时的微软新一代操作系统Windows 7正进入最后开发阶段，并全面支持多点触控技术。与此同时，身处大西洋两岸的微软剑桥研究院、微软雷德蒙研究院以及微软硬件应用科学事业部，有三支团队正在分别从事多触点手持设备原型，与铰接式鼠标原型的研发。所谓英雄们所见略同，他们分明嗅到了这一轮人机交换变革中属于他们的机会。

于是，一个全新的想法在三个团队间开始酝酿——基于Windows7开发一款多触点外设设备！这个想法一经提出，便一发不可收。很快，它有了一个专属的名字——Mouse 2.0（鼠标二代），意味着它将鼠标的功能大大扩充，能完成更多的交互工作。对它的各种创意，开始在跨越大西洋两岸的两块大陆上不断滋长。

项目确定之后，伴随三个团队的便是无数次的思考，讨论，演算，设计，实验，论证和修改过程。经过300多个日夜的跨地区合作，2009年，五个基于不同技术原理、且造型迥异的Touch Mouse原型脱颖而出。由微软雷德蒙研究院、剑桥研究院与微软硬件应用科学事业部基于这一项目，共同撰写的论文，获得了2009 美国计算机协会用户界面软件及技术最佳论文奖。

五种多点触控鼠标原型

在实现这些鼠标时，一个主要目标就是支持多点触控手势以及常规的鼠标操作。多点触控鼠标应当让用户能够轻松地掌握和释放设备，利用手腕或前臂移动鼠标，重新定位以及执行标准的光标互动而不影响操作的精确度，包括点击、拖拽、选择等。

FTIR Mouse

第一款多点触控鼠标原型是基于通用技术，在互动表面上实现多点触控输入——受抑全内反射（FTIR）。红外LED（IR LED）发射红外线进入亚克力板（Acrylic），当亚克力面板的厚度大于8mm时，光线会发生在亚克力内不停反射，而不会跑出来, 但当你的手指（或者其他材质如硅胶等有一定韧性和反射性的材料）碰到亚克力表面时，全内反射（Total Internal Reflection）被破坏，光线被手指反射出来，此时可以用捕捉表面图像的红外照相机检测到。这种技术已经成功用于多种系统，不过研究团队的尝试是把受抑全内反射应用于间接输入设备的表面，并用常规鼠标传感器进行增强。

为了让该技术适用于鼠标，微软研究团队将亚克力板塑成平滑的拱形。此拱形被安装入包含一排红外线LED的定制基座中，使此拱形的边缘与LED对齐。这个基座还包含用于跟踪其在表面上位移的标准光学鼠标传感器，以及装有广角镜头的小型PGR Fire-Fly MV摄像头，用于完整捕捉此拱形下方的区域。受抑全内反射可为用户提供指示，告知用户何时触摸表面以加强操作中的互动。同时，从工业设计的角度来讲，使用透明的亚克力材料带来了美学的感觉。

FTIR鼠标利用受抑全内反射的原理照亮用户的手指，并使用摄像头跟踪其透明弯曲表面上的多个触控点。

不过这种模型的传感器局限于设备前端的区域（在摄像头的视野内），意味着只能感应到用户伸开的手指；而且用红外敏感的摄像头，会受阳光和其他外部红外光源的影响；另外，透明亚克力部分的形状和曲率不能任意选择，因为陡曲线或凸起轮廓会打破整个内部反射，从而给人体工学设计带来某些限制。为了消除这些不利因素，下一个原型产品探索了另一种可能。

Orb Mouse

Orb Mouse通过使用红外敏感摄像头以及内部红外光源，实现了在半球表面上的多点传感。不同于FTIR Mouse，这种光线不会通过设备的外壳在内部全反射；而是从设备的中心向外发射，并被与鼠标半球形表面靠近的物体（例如用户的手）反射回鼠标内部。

它的基本原理类似于使用散射红外光的特定互动表面技术。微软研究团队再次使用了带红外线、能够通过滤光片的PGR Fire-Fly MV摄像头，并把四个广角红外LED作为光源，不是直接指向表面，而是这个摄像头内部的半球形镜子。这赋予摄像头非常宽的视角，几乎能够看到鼠标的大多数表面。这种方式还能够使鼠标相对小巧，这非常重要。

Orb Mouse装备内部摄像头和散射红外光源，让它能够追踪用户在其半球表面上的手指移动。

Orb Mouse的半球形旨在容易握住，而常曲率确保用户的手指在前后或侧面移动时有平滑的倾斜度。此外，Orb Mouse的活跃传感互动区大于FTIR鼠标，包括设备的顶端和侧面，因此让所有手指、甚至整个手都能参与到互动中。

就像FTIR Mouse的设计，Orb Mouse也对来自外部光源的红外光线较敏感。虽然使用散射光和折叠光带来更高的外壳灵活性，但也更加吵杂和易受干扰；摄像头捕捉到的用户触点的反射红外线图像的对比度低于FTIR设计。为了克服这些问题，研究团队还探索了摄像头传感器的备选方案，在下节进行了描述。

Cap Mouse

Cap Mouse使用灵活的电容传感电极矩阵来跟踪表面上多个手指的位置。之前的鼠标设计是使用电容传感来检测点击、1D滚动或单个手指的位置，而Cap Mouse是独创的，它包括一个真正的多点触控传感器，因此能够同时跟踪用户的所有手指在鼠标表面上的位置。除了电容式多点传感，鼠标的底座还包含一个常规的鼠标传感器和单个鼠标按钮，可以通过压向设备前端来点击。

Cap Mouse使用电容传感电极矩阵来跟踪用户手指在其表面上的位置。

电容方式是制造表面触觉传感器很有吸引力的一种方式。与光学鼠标不同，它对周围的光线免疫，而且跟其他设计中的传感器相比，该传感器提供的数据更少，从而降低了带宽和处理要求，同时仍能够通过内插支持良好的位置精确度。

电容鼠标在物理外形上也更加紧凑，因为它消除了基于视觉的原型所要求的光学路径带来的设计限制，让微软研究团队能够以相对传统的形式来设计鼠标，从而探索在常规鼠标上执行多点触控手势的优势和劣势。此外，它的能耗也相对较低。不过有一点美中不足，Cap Mouse的有效分辨率低于摄像头方式。

Side Mouse

之前的三款鼠标原型通过多点触控传感功能增强了鼠标表面功能，但Side Mouse代表了另一种可能，它开启了鼠标周围的互动区。Side Mouse设备能够在用户触摸桌面而不是触摸鼠标时感应用户的手指，通过感应移动设备的外围区域来实现，将Side Mouse放置于用户手掌下方，让手指直接触及设备前方的桌面。

鼠标底座安装了前向感应的摄像头，位于红外线能够通过的滤光器。在摄像头的下方、表面上方几厘米处悬挂着红外激光发光器，它能够从设备前方向外释放一排红外光线。一个超宽视角镜头让摄像头能够拍摄发光器照亮的区域。放置在此区域的手指和其他物体把红外线光反射回摄像头，从而感应其位置。这些图像同样使用视觉管线进行处理。

Side Mouse位于手掌下方，手指可直接接触设备前方的桌面。它使用内部摄像头和红外激光器进行传感。

Side Mouse创造了一个多点触控区，该区域不受限于设备的物理表面，从而让输入区能够大于设备的物理界限。在检测桌面上的键盘和其他物体等偏离物体（不仅仅是手指）时，宽广的传感范围有着实际含义。当设备被抓住时，鼠标的主体也能固定，也就是移动到一个位置并随后释放。

然而，像其他几款基于摄像头的鼠标，它也存在受灯光干扰及耗电较高等问题。

Arty Mouse

Arty Mouse（铰链式鼠标）的原型把Side Mouse的概念向前更推进了一步，它配备了三个传统的光电鼠标传感器，分别用于来追踪手腕、拇指和食指的移动，当然也可以使用其他手指。这个独特设计的一个主要优势是它可以把高分辨率光学鼠标传感器放置到用户的两个手指下面。

Arty Mouse装有三个高分辨率光学鼠标传感器：一个在用户手掌下面，另外两个在铰链臂下面，用于跟踪拇指和食指的移动。

与之前提到的电容或摄像头传感技术相比，这项技术能提供极高的传感保真度，可以支持微妙且精细的多点触控手势。不过更准确地说，它是支持两点触控，限制了多点触控的可能性。

进一步的研发

为了在实现多点触控的同时支持传统鼠标操作方式，研究团队开发了标准图形用户界面鼠标光标的加强版，称作多点触控云（Multi-touch Cloud）。对于结合触控传感器的绝对数据和鼠标指针输入，这是一种简单的方法。

试用研究

为了更好地了解每个设备的适用性，以及它们的相对优势和劣势，研究团队进行了用户试用研究：要求6个用户重复几个结构化任务，按顺序使用每个设备旋转、缩放和转换一个随机放置的图片，以使其大约匹配一个目标框。

每位用户按顺序试用了所有五个设备，每使用完一个设备后，研究团队会对用户进行简短的采访，要求用户对设备的一般感觉、物理舒适度、互动直观性以及易用性等方面与已经使用的其他设备做比较。

观察分析

所有参与用户都利用这五个设备在相对较短的时间内完成任务。在一般感觉、物理舒适度和使用便利性方面，Arty鼠标得到了用户最好的评价。因为Arty上的两个铰链点很舒适地位于食指和拇指下面，非常适合进行“夹”手势操作，用户可以非常自然地进行这些动作，调查问卷中的回答也表明铰链点增加了用户的舒适度。每个铰链点下的传感器的高精度使其成为能胜任精确任务的设备，而且用户能够同时进行RST手势——其他设备均不可以，因此它能实现快速精细的控制。但是，Arty只支持两个多点触控输入点，限制了多点触控手势的可能性。

有趣的是，球形鼠标也非常受欢迎。用户发现它的外形使得RST手势非常自然。但是，不是使用夹手势来进行缩放和旋转，而是用五个手指抓住设备，左右横向移动来进行旋转会感觉更加舒适。对于放大操作，用户把五个手指放于设备顶端，然后向底座移动（缩小操作则采用相反的动作）。这些互动利用了设备的3D形状，并很好地映射到其半球形。与其他设备不同，研究团队看到了该鼠标原型具有最明显的学习曲线。

用户反馈Side Mouse的很多方面也很有吸引力，特别是利用更大的区域进行多点触控输入。不过，用户对于目前设备的外形不太适应，由于手的尺寸大小不一，手较小的用户认为它太高，无法在触控表面的同时把设备放在手腕上，手较大的用户则发现手掌置于设备上时，手指经常超出传感器的范围，造成了使用这个设备时的双峰模式——鼠标操作和多点触控输入时抓握方式不一样。另外一个问题是，在移动设备的同时要激活设备底座上的点击器，用户会感到不舒服，这表明采用基于多点触控传感器数据的‘虚拟’点击器可能更加有效。

由于Cap Mouse类似传统鼠标的外形，在它的身上传承和过渡了传统鼠标与下一代鼠标的特点，用户可以通过它的互动方式过渡到更为自然的人机交互。它也是其中最小的鼠标，用户可以更容易地抓住它。

结论

最终，研发团队选择了以电容传感（capacitive-sensing）技术为基础的Cap Mouse作为Mouse2.0的技术原理，将其产品化。因为相比于其他模型，它与触摸屏的感觉更为贴近，而且它既能便利实现传统鼠标的单点操作，又便于在表面添加多点、多手势操控的新功能。

作为研究人员，设计、制造这些原型产品的经验的意义超过了这些设备本身，通过设计和开发过程，研究团队直接感受到了技术挑战与人体工学要求之间的矛盾，这是让多点触控鼠标实用且能让用户喜欢使用的核心问题。