首页 > 图书中心 >图书详情
可穿戴式日常行为语义感知及增强方法
作者:王鹏、杨士强
丛书名:清华大学学术专著
定价:59元
印次:1-3
ISBN:9787302605188
出版日期:2023.01.01
印刷日期:2024.04.03
成本低、重量轻、体积小、电池续航时间长、内嵌多种传感器、计算能力强等特征,标志着当前移动计算设备的硬件能力已经发展到足以满足人类日常生活需求的水平。当这些高度集成的计算系统以可穿戴的形式捕捉、存储、理解甚至响应人们日常生活中的行为时,无疑赋予人类在记忆、挖掘、信息交互等方面的“超能力”,并必将改变人类的日常生活。然而,为达到这一目标,必须再赋予可穿戴式计算像人一样进行语义理解的“软能力”。这就需要充分应用当前人工智能算法、语义网、大数据等技术对可穿戴式设备所采集的多媒体数据进行深度理解,以一种便于与人类沟通的内容形式呈现给用户,以构建个性化的应用。本书以可穿戴式日常行为感知这一多媒体大数据的研究为题,从可穿戴式视觉采集设备所记录的多媒体信息的语义理解出发,分别介绍了这种语义感知的基本思路、流程和技术,并结合实际应用,研究了系统的方法架构,并对主要的技术模块进行说明和评估。由于本研究涉及可穿戴式数据采集、多媒体信息检索、语义感知、大数据处理、人机交互和人机界面等多学科,因此可以作为计算机应用领域的研究人员,尤其是多媒体和大数据以及信息检索、人机交互方向的科研人员的参考书。对新技术和新兴产业如可穿戴式计算技术和设备等感兴趣的读者也可以参考本书的内容,以提高对相关领域技术和应用的认识。
more >前言 众所周知,可穿戴式计算在个人生活、医疗卫生、国防军事等诸多领域都有广泛的应用需求。虽然可穿戴式计算不是一个崭新的研究领域,但是随着近年来在传感器网络、机器学习、大数据、云计算等方面的研究进展,给可穿戴式计算的实际应用带来了更丰富的可能性。廉价的传感、存储、计算设备的普及以及高度集成化,已经使以往需要背着沉重的电脑才能进行的可穿戴式体验可以轻松地通过智能眼镜、智能手表、智能手环等灵巧设备,以一种“消失了”的、“无所不在”的形式来实现。同时,高带宽移动通信以及云计算等基础设施也给大量反映真实世界的多媒体数据的传输、分析、挖掘等提供了“透明”的处理方式。可以说,可穿戴式计算在硬件水平上已经基本满足了很多实际应用的需要,从而克服软件上的瓶颈成为可穿戴式计算在很多领域得以进一步普及的重中之重。其中,如何对可穿戴式传感设备所捕捉的日常行为进行分析和理解是提供用户行为挖掘、个性化服务等诸多应用的前提,即需要借助可穿戴式设备有效提取用户日常生活中的行为语义。 本书以可穿戴式设备采集的传感器数据为主要研究对象,对这些多媒体数据所反映的日常行为语义进行感知及增强,介绍了研究过程中的主要思路和方法,并针对性地给出了实验评估和演示结果。虽然计算机视觉研究的很多成果都可以用于可穿戴式行为语义的识别,本书在介绍中重点强调了采用可穿戴形式进行长期生活记录的特点和挑战,并针对用户行为对语义分析的影响,从上下文特征分析和利用的角度,沿着从图像层到事件层进行语义处理的路线,介绍了行为识别和增强的方法。如果把传感器媒体数据的处理作为对“物理空间”的理解和利用,那么充分利用“信息空间”中的知识,如概念本体和在线知识库等,也是本书的另一特色。 本书共9章。第1章介绍了与可穿戴式语义感知相关的背景知识,对本书方法的实际需求进行了说明,这主要体现在典型的应用及当前主要的可穿戴式感知设备上。第2章对与本书研究内容相关的文献进行了综述,分别从可穿戴式感知应用、多媒体行为识别和语义检索等领域介绍了当前的研究现状。第3章向读者介绍了基于语义的视觉媒体处理的基础知识,便于读者理解和掌握基于可穿戴式传感器进行日常行为语义感知及增强的主要方法。为构建一种便于用户理解的形式对多媒体数据所表示的内容进行语义描述,第4章介绍了如何通过用户实验形成对可穿戴式日常行为进行分析的语义空间,并在该空间中对概念的语义关系进行量化。由于可穿戴式用户行为分析中蕴含着丰富的上下文语义信息,第5章详细介绍了如何利用这些上下文信息在图像层对概念语义的识别进行增强。第6章从利用外部语义知识的角度,通过融合概念本体中的量化关系对多概念探测和概念选择的方法进行说明。不同于前面几章主要从单个图像即图像层内容的识别和理解进行研究,第7~9章从事件层对这些多媒体内容进行时序上的整合。例如,第7章将单帧图像中识别的概念进行动态组织,通过语义概念出现的时序关系进行日常行为的识别。第8章综合了图像层的概念识别、概念空间的构建、事件时序建模等因素,对这种基于可穿戴式多媒体的日常行为识别进行全面的影响分析,并验证了前面几章工作的重要性。第9章从事件上下文建模的角度,利用语义网的技术构建一致的事件上下文表示模型,并基于该语义模型开发了利用在线语义网知识库进行事件增强的应用系统架构。 本书的研究工作得到了孙立峰、Alan F. Smeaton、Cathal Gurrin等专家学者的指导帮助,在此表示衷心感谢。本书在撰写和出版过程中受到国家自然科学基金青年项目(项目批准号: 61502264)、面上项目(项目批准号: 61973313)等的资助。此外,清华大学出版社的张瑞庆编审对本书的内容设置和排版提出了许多宝贵的意见,在此一并表示感谢。 本书所介绍的主题属于学科高度交叉的领域,并且涉及的多个研究方向如机器学习、计算机视觉、语义网、知识建模等在近几年的发展都异常迅速。本书在内容设置和撰写的过程中尽可能将相关的研究成果成体系地进行归纳整理,以便读者能对可穿戴式日常行为语义感知及增强方法有全面的了解。但是限于作者的水平,书中难免存在不足之处,欢迎读者批评指正。 作者2022年5月25日
more >