前言

网站的用户越来越少，这样的说法也许有些夸大其词，但我们确实不能再像以前那样假设用户一种设备来完成各种任务。情况实际上很复杂，交互体验的跨度可能涵盖网站、移动端应用、智能音箱甚至车辆。这是一个多态的、多设备的复杂世界。

我们甚至整个行业是时候抛弃“移动端优先”或“语音优先”这类先入为主的观念了。用户已经懂得自主选择最符合个人需要的交互方式，我们只有关注用户想要完成的事情及其完成事情的方式并赋予其多种输入和输出的选择，才能最终实现共赢。

微软小娜、Alexa和史迪奇

我一直是个科技迷，但说实在的，指引我写这本书的契机是……额，皮卡丘，确切说，是《您好皮卡丘! 》这款游戏。

在卡耐基梅隆大学计算机科学与人机交互念本科的时候，我有机会接触当时最前沿的技术，比如机器人学、人工智能与虚拟现实。

2000年左右，完全沉迷于皮卡丘世界的几年之后，发现任天堂在N64平台上推出一款游戏《您好皮卡丘!》（图1）。这是一款令人惊奇的多模态游戏，它附带一个很特别的麦克风（图2），可以对皮卡丘说话（我知道它只是个噱头）。这款游戏是为儿童开发的，而我当时已经是个成年人了。我在试玩并第一次和皮卡丘说话的时候，颇有一些心动。当它无视我的时候（因为心情不好或00年代初期麦克风的问题），我会感到难过。我还特意为此写了一篇主题为《您好皮卡丘!》的研究生论文，语音技术因此也对我产生了深远的

影响。

图1

小小的神奇宝贝，却产生了极大的影响，《您好皮卡丘!》帮助塑造了我的职业生涯

图2

作者穿着20世纪90年代天鹅绒面料的服装，在弟弟凯尔的房间里，用麦克风装置玩游戏《您好皮卡丘!》，第一次体验通过语音来控制游戏

我在多模态领域的专业经验最早来自于任天堂，当时我的身份是DS电子艺术部门的助理制作人，我负责七款首发游戏中的《模拟人生：上流社会》。游戏中的多模态形式主要是触觉（按键）和运动觉（触摸/手势）。

几年后，我以任天堂DS《迪士尼朋友》（2007年发行）这款游戏主要制作人的身份回到任天堂。受《任天狗》、《动物之森》及《您好皮卡丘!》的影响，我第一次在《迪士尼朋友》中应用了语音交互界面。我在触控式UI设计、自动语音识别、本地化和语音界面方面都获得了宝贵的洞察。如图3所示，从游戏记录也可以看出我花了不少时间和史迪奇说话。

图3

开发《迪士尼朋友》时，我们使用多模态设计将任天堂DS的沉浸式体验推向极致

2012年到2014年，我加入微软车载系统团队，再一次回到多模态的丛林。我们设计的体验就像科幻小说中描述的一样。我们尝试了从声音到触觉控制再到触屏的无缝切换，就像星际飞船“企业号”的舰桥一样。

之后，我加入微软小娜（Cortana）团队，工作内容是在台式机上用语音和触控来安排行程等和生产力场景相关的工作。这些工作为我后来加入亚马逊Echo团队做好了准备。我在做亚马逊Echo产品的两年时间中，参与的项目包括Echo Look的电脑视觉项目（已结束）、Fire TV的集成、Echo Show、Alexa汽车和智能家居场景中的

产品。

说明　关于微软小娜

亚马逊的Alexa是大家最熟悉的语音设备，但实际上，微软小娜问世的时间更早。微软小娜是微软推出的智能语音助手，虽然现在只出现在桌面电脑中，但它最初是内置于Windows手机平台的。

至于Alexa，我最关注的是系统层面的设计。在Echo平台上，如何使纯语音的交互方式适配Echo Show及其屏幕上?我在主导设计Alexa的通知、勿扰模式和我们的干预模型的过程中，遇到了个人职业生涯中最让人兴奋的设计挑战。

将设计范围从密切关联到设备的体验，再转到不受设备限制的整个系统，意味着我们为用户打开了一个崭新的、充满机会的、人性化的世界。人们终于可以身临其境地表达自己并根据当下的本能反应和需求来自如流畅地选择表达方式。

涉足多模态设计多年后，我看到行业中很多从业人员仍然在黑暗中努力探索该领域未来的发展前景，便萌生了写书的念头，旨在弥补空白并鼓励大家应用系统思考的方式来面对这个充满机遇的人机交互领域。

新的基础

科技公司的节奏通常都很快，而且都懂得谨慎地保护自有的知识产权，所以在产品推出之前，人们很少充分考虑新概念的应用场景。这些不完善的最小化可行产品（MVP）几乎成为新的网站、新的应用程序和新的设备的“标配”。

过去，这种狭隘的观念不会带来严重的后果，因为至少可以假设用户当下完全专注于一种体验。虽然设计的时候可能不了解用户家中的应用场景，但至少知道用户在使用产品的购物车功能时，用键盘和鼠标在标准的家用电脑上进行操作，至于用户家中还有其他什么应用，完全不关您的事，因为他只在电脑上进行操作。

如今，这样的假设不再成立。为单一的环境或场景进行设计是一个过时的、以设备为中心的设计观念，它诞生于充满着物理限制和功能限制的世界。

这一个观念将许多有身心障碍或情境障碍的群体拒之门外，他们被认为是“需额外花太多成本的边缘化群体”，以最低的限度满足他们就好。

对于“最小化可行” ，如果不认真地重新规划架构，将无法提供更加复杂的、以人为本的人机交互体验。本书可以作为蓝图来重构原来的产品或者系统。

世界正在发生天翻地覆的变化

我在2019年9月开始写这本书。新冠的大流行，导致我即将完成这本书的时候，已经居家隔离近6个月了。我当时想象的新书发布场景可不是这样的。在这么短的时间里，有这么多的悲伤、痛苦和离开。一开始，我还以为这一切会波及这本书而必须全部推翻重写。但最后，除了抓紧时间完成，几乎没有什么别的变化。

本书使用说明

哪些人应该阅读这本书?

如果您关心网站的未来，建议好好读一读这本书。如果正在努力整合移动端应用与网站和智能音箱应用，也建议阅读这本书。如果对未来的科技（如虚拟现实或人工智能）既期待又畏惧但并不确定是否应该深入了解，建议好好阅读这本书。

如果对未来学家感到失望并且正在寻求切实可行的方案来推动产品的开发，应该阅读这本书。如果在这个丧失道德伦理的科技领域中感到迷茫并且需要以用户为中心的工作方法作为指导，应该阅读这本书。

设计师、项目经理、开发人员以及工程师，如果想要知道如何打造理想的交互界面，绝对不要错过这本书。

本书包含哪些内容?

本书的结构经过精心编排，旨在帮助大家了解整个端到端的多模态体验设计旅程。

第1章 “创造一个更理想的世界”对多模态及其相关的基础性概念做出定义，以便读者利用本书的内容来创造有价值的体验。

第2章 “获取用户的语境”和第3章 “了解忙碌的人类” 展示了一个框架，以对产品的应用场景进行提问和描绘。

第4章 “受到干预的活动”和第10章 “主动采取行动” 探索主动式交互可能对用户造成的影响并提出相应的设计框架。

第5章 “设备的语言”和第6章 “表达意图” 从人体感官的角度探讨不同类型的输入和输出技术，这些技术可以结合起来打造一个多模态的交互体验。

第7章 “多模态的图谱”列举一系列多模态交互模型，以平衡有形与无形的交互。

第8章 “多模态的陷阱”和第9章“迷失在切换中” 深入讨论多模态设计师面对的设计挑战—— 同步性、语境、可寻性、人因工程、身份特征以及模态切换。

第11章 “探索未知”介绍一些构思和创意技巧以及多模态设计师在未知领域用于探索新想法的心智模型。

第12章 “从想法到执行”涵盖需要准备的特定设计产出，这些产出可以帮助团队成员对多模态体验达成一致的理解。

第13章 “超越设备：人类 + AI”和第14章 “超越现实：XR、VR、AR与MR” 涵盖较为前沿的主题，比如探讨AI所扮演的角色、数字助理以及多模态和跨平台体验中的扩展现实技术。

第15章 “为与不为”探究行为及其影响，提供用于评估解决方案的伦理框架，以确保兼顾道德和创新。

书中还列出了为包容性发声的建议和值得思考的具体问题。 

书中对业内十大事业有成的资深人士与学者的访谈呈现出不同的

观点：

珍妮斯·蔡博士，谋智研发部门研究员

赛义德·萨米尔·阿尔沙德，计算机语言学家

凯瑟·彼尔，对话设计圈的先锋 

珍·科顿，谷歌 Nest 资深设计师

安娜·阿波维扬，多模态创新者、讲师

克雷格·福克斯，混合现实的业界领袖

布拉德·弗罗斯特，《原子设计》的作者

奥维塔·桑普森，创意总监以及IDEO前职员

杰西·谢尔，虚拟现实领域的先锋

凯西·菲斯勒博士，社会计算研究员

本书不包含以下主题：

深入探讨特定模态的设计话题，因为市面上已经有很多书在探讨类似的话题

全面的用户研究方法论，因为市面上已经有许多涉及民族志研究方法和用户测试的资源

探究道德伦理的完整框架。虽然本书提供了一些问题指引和框架结构，来主动评估潜在的影响并将危害最小化，但我鼓励大家通过自己的研究来决定哪些道德伦理的框架更为符合自己的价值观

这对读者意味着什么?

在感到惊慌失措之前，可以确定一点：无论是设计师、工程师还是项目经理，您现有的技能并不会派不上用场。多模态设备仍然离不开设计。本书要介绍如何将现有的技能应用于支持多种输入和输出模态的设备。但这种单一的关注点在科技几乎无所不能的新世界中，并不能真正做到以人为本。

跳出单一设备的框架才是魔法的开始。作为设计师，必须对无形的系统与可供性进行探究，让用户在不同设备及不同地点无缝衔接且不遗漏关键内容。除了探究，还要找到既精简且人们普遍可以理解的产物来诠释系统。 

尽管我们做的产品不像“进取号”星舰的舰桥那样壮观，但本书展示的不同应用模型适用于最复杂的跨设备应用场景。此外，这些模型有助于识到对多模态、不受设备限制的系统设计与服务设计的投入以及能够给现在和未来带来什么好处。

毫无疑问，这是一条漫长的道路，但值得我们躬身入局。不可避免的是，挫败乃是常态，毕竟，我们做的事情是将整个人类的交互方式编入系统中，以系统化的方式使用各种不同的输入方式与传感器并通过在设备诠释出来。在这个过程中，经常需要从用户的角度换位思考，需要在不同阶段运用不同的框架来帮助自己做出明智的决定。对自己好一点，因为冰冻三尺非一日寒。

不要再要求用户去适应新的技术，反过来，要让技术适应人。是时候学习如何超越设备进行设计了。

让我们开始吧！

本书配套资源有哪些？

本书网站（rosenfeldmedia.com/books/design-beyond-devices）包含一些补充内容，书中部分图表以及插画有知识共享许可（www.flickr.com/photos/rosenfeldmedia/sets/），可以下载并用于自己的演示文稿中。