第1章绪论 信息技术的高速发展对人类生产、生活带来了广泛而深刻的影响。如今，“微信”“智能手表”“机器人”“传感技术”“7D电影”等新产品、新技术层出不穷，不断冲击着人们的视听。这些高科技成果为人们带来便捷和快乐的同时，也促进了人机交互技术的发展。但是，人机交互技术比计算机硬件和软件技术的发展要滞后很多，已成为人类运用信息技术深入探索和认识客观世界的瓶颈。作为信息技术的一个重要组成部分，人机交互技术已经引起许多国家的高度重视，成为21世纪信息领域急需解决的重大课题。 机器人交互技术是研究人与机器人之间交互的技术，是一门涉及人与计算机交互、人工智能、机器人、自然语言理解、设计以及社会科学的多学科交叉技术。近年来，尤其是结合快速发展的人机交互设备以及语音识别、手势等交互方法，充分发挥人类的高级规划智能和机器人执行智能，实现人机优势互补，对于提高机器人复杂环境的适应性和操作便捷性具有重要意义，成为机器人领域的研究热点。 本章主要介绍人机交互的概念、研究内容、发展历史、分类以及部分应用实例等。 1.1机器人交互概念 人与机器人的交流交互属于人机交互范畴，根据不同研究领域，人机交互技术通常有 3 种不同的描述。从广义上讲，人机交互通常指人与机器之间的交互(Human Machine Interaction，HMI)，本质上是人与计算机的交互。或者从更广泛的角度理解： 人机交互是指人与含有计算机的机器的交互。具体来说，人机交互用户与含有计算机的机器之间的双向通信，以一定的符号和动作来实现，如击键、移动鼠标、显示屏幕上的符号/图形等。交互是人与机作用关系/状况的一种描述，界面是人与机发生交互关系的具体表达形式。交互是实现信息传达的情境刻画，而界面是实现交互的手段。在交互设计子系统中，交互是内容/灵魂，界面是形式/肉体； 然而在大的产品设计系统中，交互和界面都只是解决人机关系的一种手段，不是最终目的，其最终目的是解决和满足人的需求。 从狭义上讲，在计算机领域，人机交互一般指人与计算机交互(Human Computer Interaction,HCI)，指关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的主要现象进行研究的学科。HCI主要研究人与计算机之间的信息交换，包括人到计算机和计算机到人的信息交换两部分。对于前者，人们可以借助键盘、鼠标、操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息； 对于后者，计算机通过打印机、绘图仪、显示器、头盔式显示器(HMD)、音箱、大屏幕投影等输出或显示设备向人们提供可理解的信息。广义HCI是关于设计、实现和评价供人们使用的交互式计算机系统，并围绕这些方面的主要现象进行研究的科学； 而狭义HCI是研究人与计算机之间的信息交换，主要包括人到计算机和计算机到人的信息交换两部分。 在机器人领域，机器人交互(Human Robot Interaction,HRI)研究人与机器人之间信息交流的技术，是一门涉及人与计算机交互、人工智能、机器人、自然语言理解、设计以及社会科学的多学科交叉技术。机器人交互是一门综合学科，它与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关。其中，认知心理学与人机工程学是人机交互技术的理论基础。认知心理学，广义指研究人类的高级心理过程，主要是认识过程，如注意、知觉、表象、记忆、创造性、问题解决、言语和思维等； 狭义相当于当代的信息加工心理学，即采用信息加工观点研究认知过程。所谓人机工程学，亦即应用人体测量学、人体力学、劳动生理学、劳动心理学等学科的研究方法，对人体结构特征和机能特征进行研究，提供人体各部分的尺寸、重量、体表面积、比重、重心以及人体各部分在活动时的相互关系和可及范围等人体结构特征参数； 还提供人体各部分的出力范围，以及动作时的习惯等人体机能特征参数，分析人的视觉、听觉、触觉以及肤觉等感觉器官的机能特性； 分析人在各种劳动时的生理变化、能量消耗、疲劳机理以及人对各种劳动负荷的适应能力； 探讨人在工作中影响心理状态的因素以及心理因素对工作效率的影响等。人机工程学是把人机环境系统作为研究的基本对象，运用生理学、心理学和其他有关学科知识，根据人和机器的条件和特点，合理分配人和机器承担的操作职能，并使之相互适应，从而为人创造出舒适和安全的工作环境，使工效达到最优的一门综合性学科。 在很多情况下，清楚地定义和区分HMI、HCI和HRI的概念比较困难，因为计算机和机器人本身就是一种特殊的机器； 从更广义的方面，HMI包含了HCI 和HRI； 而在机器人系统中，信息处理的核心模块通常使用计算机，因此许多HCI的方法可以直接用于HRI中，机器人系统中的人机交互HRI可以独立于HCI，也可以包含HCI方法，但HCI则更多地侧重于人与计算机之间的交流。 1.2机器人交互研究内容 机器人交互技术的研究内容十分广泛，本书在人的感知和认知的基础上，重点介绍人与机器人交互模式、机器人图形交互、基于鼠标/键盘/手柄的机器人交互、基于数据手套的机器人灵巧手交互、人机物理交互安全、基于手势视觉识别的机器人交互、基于肢体动作识别的机器人交互，以及基于人脸表情识别的机器人交互等应用研究，主要包括以下内容。 1. 感知和认知基础 人作为人与机器人交互的重要部分，主要通过感知与外界交流，进行信息的接收和发送，并认知机器人及环境。因此，人的感知和认知是机器人交互的基础。本章主要介绍人的感知模型、认知过程与交互设计原则、认知概念模型的几种表示方法以及分布式认知模型等基本的感知和认知基础知识。 2. 人与机器人交互框架 传统机器人系统大多在与人隔离的封闭良好环境中进行简单的重复性工作。近年来，人与机器人交互受到了广泛的关注，为了把机器人从封闭环境中解放出来，与人类进行自然高效的交互，分别从机器人交互系统的设计、感知、控制等领域进行研究，介绍人与机器人的交互模式中的Norman模型，以用户为中心等人机交互模式。 3. 机器人三维图形交互 机器人三维图形交互是通过建立一个精确且逼真的机器人模型以及机器人工作环境，实现对机器人运动进行模拟仿真，逼真反映机器人的运动过程，广泛应用在机器人的任务离线模拟与验证、实时在线操作和控制、实时在线状态监控等方面。 4. 基于键盘/鼠标/手柄的机器人交互 键盘、鼠标、空间鼠标以及手柄等常用的计算机输入设备，可以用来实现对机器人，尤其是能模仿人手臂某些功能的机械臂交互控制，实现抓取、搬运物体或操作工具等作业任务。主要介绍利用键盘、鼠标、空间鼠标以及力反馈手柄对机械臂进行交互控制，并结合一个四自由度机械臂，进行机器人交互设计和实现。 5. 基于数据手套的机器人灵巧手交互 数据手套能够实时测量人手的手指弯曲角度，为操作者提供了一种通用、直接的人机交互方式，特别适用于需要多自由度手进行复杂操作的人机交互系统。针对HIT/DLR Ⅱ机器人灵巧手，介绍如何利用数据手套实现对该15自由度机器人灵巧手的自然交互控制。 6. 人机物理交互安全 机器人的人机交互分为物理性人机交互和认知性人机交互。机器人物理性人机交互的研究旨在保证人类和机器人本身安全。机器人与人发生碰撞是这类应用中造成伤害的主要来源，关于碰撞检测与碰撞的研究说明完全地避免碰撞很难做到，必须有其他安全保证策略。这部分内容将从交互伤害分析、交互伤害评估、交互安全策略等方面回顾物理性人机交互领域的相关研究工作。 7. 基于手势视觉识别的机器人交互 人的手势可以在社交活动中提供更自然、更有创意且更直观的信息，因此研究基于手势的人机交互可为人类提供更为细致贴切的服务。目前，基于手势的人机交互重点仍然集中在前端手势识别上，已陆续出现了通过识别手势实现人机交互的输入设备。通常采用基于视觉的手势识别技术，通过图像信息，让机器人获取人的手势姿态信息再进行分类。这部分内容将从手势感知、手势分类、手势的特征提取以及手势视觉识别等几个方面，介绍基于手势视觉识别的机器人交互技术。 8. 基于肢体动作识别的机器人交互 研究基于人体动作的机器人交互可以让机器人像人一样识别人体动作的含义，从而使人与机器人的交互更加自然便捷。动作识别旨在识别来自视频序列的一个或多个人的动作或行为，其核心内容有动作表述和动作识别两个方面。人体动作是典型的三维时空信号，获得由动作产生的若干时间序列数据，通过机器对数据的学习分析，获得相匹配的动作类别标签。这部分内容将介绍动作表述、人体图像运动特征以及人体肢体动作识别等肢体动作识别基础知识。 9. 基于人脸表情识别的机器人交互 人的面部表情是形体语言中进行交往和表达情感的一种重要手段，人脸表情能够表现交互主体的性情与个性、情感状态和精神病理学等复杂信息。服务机器人获取并分析人脸表情，有助于机器人掌握交互场景中人的情感状态，预测人的生活需求，从而更有利于服务机器人技术应用的推广和发展。这部分内容将从人的面部表情特征及其检测手段方面，介绍基于人脸表情识别机器人交互领域相关工作。 1.3机器人交互发展历史 作为计算机系统的一个重要组成部分，人机交互技术一直伴随着计算机的发展而发展，也是一个从人适应计算机到计算机不断适应人的发展过程。交互的信息也由精确的输入输出信息变成非精确的输入输出信息。它经历了如下几个阶段。 1.3.1命令行界面交互阶段 计算机语言经历了由最初的机器语言、汇编语言直至高级语言的发展过程，这个过程也可以看作人机交互的早期发展过程。 最初，程序通常直接采用机器语言指令(二进制机器代码)或汇编语言编写，通过纸带输入机或读卡机输入，通过打印机输出计算结果，人与计算机的交互一般采用控制键或控制台直接手工操纵。这种形式很不符合人们的习惯，既耗费时间，又容易出错，只有专业的计算机管理员才能做到运用自如。 后来，出现了ALGOL 60、FORTRAN、COBOL、PASCAL等高级语言，使人们可以用比较习惯的符号形式描述计算过程，交互操作由受过一定训练的程序员即可完成，命令行界面(Command Line Interface, CLI)开始出现。这一时期，程序员可采用批处理作业语言或交互命令语言的方式和计算机打交道，虽然要记忆许多命令和熟练地敲击键盘，但已可用较方便的手段来调试程序，了解计算机执行的情况。通过命令行界面，人们可以通过问答式对话、文本菜单或命令语言等方式来进行人机交互。 命令行界面可以看作第一代人机交互界面。在这种界面中，计算机的使用者被看成操作员，计算机对输入信息一般只做被动的反应，操作员主要通过操作键盘输入数据和命令信息，界面输出以字符为主，因此这种人机界面交互方式缺乏自然性。 1.3.2图形用户界面交互阶段 图形用户界面(Graphical User Interface, GUI)的出现使人机交互方式发生了巨大变化。GUI的主要特点是桌面隐喻、WIMP(Window，Icon, Menu, Pointing Device)技术、直接操纵和“所见即所得”(WYSIWYG)。GUI简明易学，减少了敲击键盘次数，使得普通用户也可以熟练使用，从而拓展了用户群，使计算机技术得到了普及。 GUI技术的起源可以追溯到20世纪60年代美国麻省理工学院Ivan Sutherland的工作。他发明的Sketchpad首次引入了菜单、不可重叠的瓦片式窗口和图标，并采用光笔进行绘图操作。1963年，年轻的美国科学家Doug Engelbart发明了鼠标(图11)。从此以后，鼠标经过不断改进，在苹果、微软等公司的图形界面系统上得到了成功应用，鼠标与键盘成为目前计算机系统中必备的输入装置。特别是20世纪90年代以来，鼠标已经成为人们必备的人机交互工具。 20世纪70年代，施乐(Xerox)研究中心的Alan Kay提出了Smalltalk面向对象程序设计等思想，并发明重叠式多窗口系统，形成了图形用户界面的雏形。同一时期，施乐公司在Alto计算机上首次开发了位映像图形显示技术，为开发可重叠窗口、弹出式菜单、菜单条等提供了可能。这些工作奠定了目前图形用户界面的基础，形成了以WIMP技术为基础的第二代人机界面。1984年，苹果公司开发出了新型Macintosh个人计算机(图12)，将WIMP技术引入微机领域，这种全部基于鼠标及下拉式菜单的操作方式和直观的图形界面引发了微机人机界面的历史性变革。 图11Doug Engelbart和他发明的鼠标 图12苹果Macintosh个人计算机 与命令行界面相比，图形用户界面的自然性和交互效率都有较大的提高。图形用户界面很大程度上依赖于菜单选择和交互构件(Widget)。经常使用的命令大都通过鼠标来实现，鼠标驱动的人机界面便于初学者使用，但重复性的菜单选择会给有经验的用户造成不便，他们有时倾向使用命令键而不是选择菜单，且在输入信息时用户只能使用“手”这种输入通道。另外，图形用户界面需要占用较多的屏幕空间，并且难以表达和支持非空间性的抽象信息的交互。 1.3.3自然和谐的人机交互阶段 随着网络的普及和无线通信技术的发展，人机交互领域面临着巨大的挑战和机遇，传统的图形界面交互已经产生了本质的变化，人们的需求不再局限于界面的美学形式的创新，而是在使用多媒体终端时，有着更便捷、更符合他们使用习惯同时又比较美观的操作界面。利用人的多种感觉通道和动作通道(如语音、手写、姿势、视线、表情等输入)，以并行、非精确的方式(可见或不可见的)与计算机环境进行交互，使人们从传统交互方式的束缚中解脱出来，进入自然和谐的人机交互时期。这一时期的主要研究内容包括多通道交互、情感计算、虚拟现实、智能用户界面、自然语言理解等方面。 1. 多通道交互 多通道交互(Multi Modal Interaction, MMI)是近年来迅速发展的一种人机交互技术，它既适应了“以人为中心”的自然交互准则，也推动了互联网时代信息产业(包括移动计算、移动通信、网络服务器等)快速发展。MMI是指“一种使用多种通道与计算机通信的人机交互方式。通道(modality)涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法，如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等”。采用这种方式的计算机用户界面称为“多通道用户界面”。目前，人类最常使用的多通道交互技术包括手写识别、笔式交互、语音识别、语音合成、数字墨水、视线跟踪技术、触觉通道的力反馈装置、生物特征识别技术和人脸表情识别技术等方面。 2. 情感计算 让计算机具有情感能力首先是由美国麻省理工学院的Marvin L. Minsky教授(人工智能创始人之一)提出的。他在1985年的专著The Society of Mind中指出，问题不在于智能机器能否有任何情感，而在于机器实现智能时怎么能够没有情感。从此，赋予计算机情感能力并让计算机能够理解和表达情感的研究、探讨引起了计算机界许多人士的兴趣。这方面的工作首推美国麻省理工学院媒体实验室Rosalind Picard教授领导的研究小组。“情感计算”一词也首先由Picard教授于1997年出版的专著Affective Computing(情感计算)中提出并给出定义，即情感计算是关于情感、情感产生以及影响情感方面的计算。 麻省理工学院对情感计算进行全方位研究，正在开发研究情感机器人，最终有可能人机融合。其媒体实验室与HP公司合作进行情感计算的研究。IBM公司的“蓝眼计划”可使计算机知道人想干什么，如当人的眼睛瞄向电视时，它就知道人想打开电视机，于是发出指令打开电视机。此外该公司还研究了情感鼠标，可根据手部的血压及温度等传感器感知用户的情感。日本软银公司2014年发布了一个能读懂人类情感的机器人“Pepper”，它能识别人类情感并能与人类交流。Pepper是世界首款搭载“感情识别功能”的机器人，它可以通过分析人的表情和声调，推测出人的情感，并采取行动，如与顾客搭话等。 3. 虚拟现实 虚拟现实(Virtual Reality, VR)是以计算机技术为核心，结合相关科学技术，生成与真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应真实环境的感受和体验。虚拟现实是人类在探索自然、认识自然过程中创造产生，逐步形成的一种用于认识自然、模拟自然，进而更好地适应和利用自然的科学方法和科学技术。 随着虚拟现实技术的发展，涌现出大量新的交互设备。如美国麻省理工学院的Ivan Sutherland早在1968年就开发了头盔式立体显示器，为现代虚拟现实技术奠定了重要基础； 1982年美国加州VPL公司开发出第一副数据手套，用于手势输入； 该公司在1992年还推出了Eyephone液晶显示器； 同样在1992年，Tom DeFanti等推出了一种沉浸式虚拟现实环境——CAVE系统，该系统可提供一个房间大小的四面立方体投影显示空间。最近，Facebook公司Oculus头盔式显示器将虚拟现实接入游戏中，使得玩家能够身临其境，对游戏的沉浸感大幅提升。微软公司的Hololens全息眼镜能够提供全息图像，通过将影像投射在真实世界中达到增强现实的效果，且Hololens还能够追踪用户的声音、动作和周围环境，用户可以通过眼神、声音指令和手势进行控制。这些虚拟现实设备可以广泛应用于观光、电影、医药、建筑、空间探索以及军事等领域。 4. 智能用户界面 智能用户界面(Intelligent User Interface, IUI)是致力于达到人机交互的高效率、有效性和自然性的人机界面。它通过表达、推理，并按照用户模型、领域模型、任务模型、谈话模型和媒体模型来实现人机交互。智能用户界面主要使用人工智能技术实现人机通信，提高了人机交互的可用性： 如知识表示技术支持基于模型的用户界面生成，规划识别和生成支持用户界面的对话管理，而语言、手势和图像理解支持多通道输入的分析，用户建模则实现了对自适应交互的支持等。当然，智能用户界面也离不开认知心理学、人机工程学的支持。 智能体、代理(agent)在智能技术中的重要性已“不言而喻”了。agent是一个能够感知外界环境并具有自主行为能力的、以实现其设计目标的自治系统。智能的agent系统可以根据用户的喜好和需要配置具有个性化特点的应用程序。基于此技术，可以实现自适应用户系统、用户建模和自适应脑界面。自适应用户系统方面，如帮助用户获得信息、推荐产品、界面自适应、支持协同、接管例行工作，为用户裁剪信息、提供帮助、支持学习和管理引导对话等。用户建模方面，目前机器学习是主要的用户建模方法，如神经网络、贝叶斯学习以及在推荐系统中常使用协同过滤算法实现对个体用户的推荐。自适应脑界面方面，如神经分类器通过分析用户的脑电波识别出用户想要执行什么任务，该任务既可以是运动相关的任务(如移动手臂)，也可以是认知活动(如做算术题)。 5. 自然语言理解 在“计算机文化”到来的社会里，语言已不仅是人与人之间的交际工具，而且是人机对话的基础。自然语言处理(Natural Language Processing, NLP)是使用自然语言同计算机进行通信的技术，因为处理自然语言的关键是要让计算机“理解”自然语言，所以自然语言处理又叫做自然语言理解(Natural Language Understanding，NLU )，也称为计算语言学 (Computational Linguistics)。一方面它是语言信息处理的一个分支，另一方面它是人工智能(Artificial Intelligence，AI)的核心课题之一。近年来，自然语言理解技术在搜索技术方面得到了广泛的应用，它以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，为用户提供采用自然语言进行信息的检索，从而为他们提供更方便、更确切的搜索服务。如今，已经有越来越多的搜索引擎宣布支持自然语言搜索特性，如Accoona、Google、网易。IBM公司推出OmniFind软件，它采用了UIMA(Unstructured Information Management Architecture)，能将字词背后的含义解释出来，再输出合适的搜索结果。此外，自然语言理解技术在智能短信服务、情报检索、人机对话等方面也具有广阔的发展前景和极高的应用价值，并有一些阶段性成果体现在商业应用中。 1.4机器人交互分类 1.4.1按空间尺度分类 依据人和机器人互动沟通的空间尺度，HRI可分为两类。 (1) 远程交互： 通常被称为远程操作或监控，人和机器人分布在不同局部空间甚至时间轴上，例如火星漫游者与地球监控人员之间的交互。 (2) 近距离交互： 人和机器人局部时空并存，如服务机器人在某一房间内与人的互动。 机器人与人的交互过程必然包含着信息的交流。对于远程交互，显而易见的是机器人与人无法直接观测到对方行为动作，要求交互系统将人的交互指令通过通信传输到机器人，机器人则将自身状态反馈给操作人员。与远程交互不同的是，近距离交互时机器人与人能直接观测到对方的行为动作，结合相关感知技术，对人的行为、情感及意图等进行推理和认知，并产生相应的反应。 1.4.2按应用分类 根据机器人与人交互时，机器人所扮演的角色进行分类。 (1) 工具： 人类将机器人视为执行任务的工具。机器人从完全的被远程操作的对象到只需要在任务级别进行监控的自主系统，系统模型存在显著不同。 (2) 功能延伸： 机器人作为人身体一部分，人接受它作为身体的一个组成部分，具备一定的生物功能，如基于EMGs或脑电信号的机电假手和假肢。 (3) 资源支撑： 人不仅控制机器人，而且可以利用机器人上获得的即时环境等信息资源。 (4) 伙伴： 在作业分工上起到协助作用，在与幼儿教育娱乐等互动应用中，在一定程度上起到娱乐伙伴作用。 (5) 指导： 在人机交互中机器人发挥知识传授及领导作用。 (6) 人的化身： 相比于前一种应用，人可能将机器人作为其本体的另一个投射实例，以便与另一个人进行远程沟通。机器人则成为社交载体，为虚拟互动提供一种人的社会存在感。 上述范例尽管存在一定程度的区别，但是人和机器人之间总是存在信息的通信和控制方面的内容。同时这些范例在某种程度上又呈现出一定的递进关系，机器人从一种简单被动的人类工具，逐步变为人社交生活的一部分，并可能在某些领域起到指导和支撑作用，因此在信息传递的角色上，机器人从被动到主动，发生了一定程度的转变。 机器人交互的典型应用范例如表11所示。 表11HRI典型应用范例 应用场景 远程/近距离 角色 实例 传 导 信 息 智能等级 灾难搜救 远程 工具 远程搜救 控制信号、状态信号、视觉信号等 低/中 近距离 工具 支撑坍塌建筑的不稳定结构 控制信号、状态信号 低/中 医疗卫生 远程 工具 手术机器人 控制信号、状态信号 低/中 近距离 功能延伸 假手/假肢 肌电信号、控制信号、状态信号 低/中 近距离 指导 自闭症儿童辅助康复 视觉表情、肢体动作等，视觉信号、语音信号等 中/高 续表 应用场景 远程/近距离 角色 实例 传 导 信 息 智能等级 军事政治 远程 工具 无人机 控制信号、状态信号 低/中 近距离 工具/资源支撑 排爆反恐、战斗支撑机器人 控制信号等 低/中 娱乐教育 近距离 指导 博物馆导游机器人 环境信号、视觉信号、语音信号等 中/高 近距离 伙伴 教育娱乐机器人 环境数据、视觉信号、语音信号等 中/高 极端环境 远程 工具/资源支撑 火星车、月球车 环境数据、视觉信号、语音信号等 中/高 近距离 伙伴 机器人宇航员 环境数据、视觉信号、语音信号、控制信号等 中/高 家庭环境 近距离 工具 扫地机器人 控制信号、状态信号等 低/中 近距离 伙伴 助老陪护机器人 环境数据、视觉信号、语音信号等 中/高 工业环境 远程 工具 工业机器人 控制信号、状态信号 低 近距离 伙伴 辅助搬运机器人 控制信号、状态信号 低 商业环境 远程 人的化身 未来公共场合 环境数据、视觉信号、语音信号等 高 1.5人机交互应用 人机交互技术的发展极大地促进了计算机的快速发展与普及，已经在制造业、教育、娱乐、军事和日常生活等领域得到广泛应用。 1.5.1工业 在工业领域方面，人机交互技术多用于产品论证、设计、装配、人机工效和性能评价等，代表性的应用(如模拟训练、虚拟样机技术等)已受到许多工业部门的重视。例如，20世纪90年代美国约翰逊航天中心使用VR技术对哈勃望远镜进行维护训练； 波音公司利用VR技术辅助波音777的管线设计； 法国标致雪铁龙(PSA)公司利用主动式立体Barco ISpace5 CAVE系统、Barco CAD Wall被动式单通道立体投影系统、A.R.T.光学跟踪系统、Haption 6D 3545和INCA力反馈系统等，构建其工业仿真系统平台，进行汽车设计的检视、虚拟装配与协同项目的检测等(图13)。 工业机器人的操作一般通过手持操作器进行操作，例如进行编程、校正、调试等。以库卡（Kuka）机器人为例，图14所示为iiwa机械臂及手持操作器，它通过信号线和电源线与机器人控制器连接，完成信号输送，完成控制操作。手持操作器(smartPAD)主要包括： ①触摸屏(触摸式操作界面)，用手或配备的触摸笔操作； ②大尺寸竖型显示屏； ③具备菜单键； ④八个移动键； ⑤操作工艺数据包的按键； ⑥用于程序运行的按键(停止/向前/向后)； ⑦显示键盘的按键； ⑧更换运行方式的钥匙开关； ⑨紧急停止按键； ⑩3D鼠标。 图13Barco Mega CAD Wall 系统 图14Kuka iiwa机械臂及操作器 1.5.2教育 目前已有一些科研机构研发出沉浸式的虚拟世界系统(Virtual World)，通过和谐自然的交互操作手段，让学习者在虚拟世界自如地探索未知世界，激发他们的想象力，启迪他们的创造力。 例如，由伊利诺伊大学芝加哥分校的EVL实验室和CEL实验室合作完成的沉浸式协同环境(Narrative Immersive Constructionist/Collaborative Environment，NICE)系统，可以支持儿童们建造一个虚拟花园，并通过佩戴立体眼镜沉浸在一个由CAVE系统显示的虚 拟场景中，进行播种、浇水、调整光照、观察植物的生长等，学习相关知识，并进行观察思考等(图15)。 又如科视公司设计并安装的全沉浸式Christie TotalVIEWTM CAVE系统，用在威斯康星州密尔沃基举办的著名的Discovery World展览中(图16)。这套人机交互式虚拟教育系统主要采用3D投影显示技术——Mirage系列投影机构造沉浸式虚拟环境，参观者能够通过佩戴主动式立体眼镜获得关于生活环境的“近似真实”的体验。