本书首先介绍多模态学习这一研究方向的背景和意义。然后介绍单模态表示学习（包括文本表示学习，语音表示学习，图片表示学习，视频表示学习，其他如点云红外等模态表示学习）、多模态表示学习（包括联合学习与协同学习）以及多模态融合方法，其中针对各种单模态表示学习，本书将系统梳理传统特征提取和基于深度学习的特征提取方法。最后，结合学术界的研究进展，介绍典型的多模态应用（如多模态检索，多模态生成，多模态分类与聚类等）。本书涉及的学科方向包括信号处理、机器学习、模式识别、数据挖掘、多媒体处理等，可作为高等学校通信工程、电子信息工程、计算机科学与技术、人工智能等新工科相关专业的本科生或研究生的教材，也可作为从事多模态学习相关领域研究或工程人员的参考书。

前言 相较于传统单模态机器学习，多模态机器学习旨在整合多种感官或模态信息（如文本、语音、图像等），从而产生更丰富的信息表示，对信息进行更准确的处理。因此，本学科涉及的知识点和方法论较多，应用场景广泛，综合性较强。初学者往往集中精力学习理论知识后小有领悟，但与实际应用场景结合时却一头雾水，不知从何下手。 本书编者常年从事多模态机器学习方向的相关研究和课程教学，同时也主持或参与了多项与多模态机器学习相关的国家级科研项目，对该领域的主要应用、算法模型和发展趋势有深刻的理解和独到的见解。同时，编者深知初学者在学习过程中可能遇到的困惑与难点。 因此，本书无论在整体编排还是在具体内容方面都力求理论与应用相结合的讲解方式，以实际问题为出发点，引出多模态机器学习的相关理论知识，再介绍具体算法模型以解决实际问题。本书旨在培养读者将实际问题转化为多模态机器学习问题的能力，发展系统化思维，并激发对算法模型的深入思考，使多模态机器学习不仅作为一个学术概念，而且作为一种解决问题的工具，更好地服务于现实生活。 本书主要内容如下。 第1章概述多模态机器学习的基础知识、发展历程和应用场景。后续章节分为理论知识篇和实际应用篇。 理论知识篇包括第2～7章，主要阐述文本、语音、图像和视频单模态特征提取方法，以及多模态表示学习和融合方法。 实际应用篇包括第8～14章，主要介绍多模态机器学习的实际应用场景，包括多模态讽刺检测、多模态人类行为识别、图像文本检索、组合式图像检索、跨模态视频时序片段定位、多模态摘要生成和多模态对话系统等。 多模态机器学习发展迅速，且编者自认为才疏学浅，更兼时间和精...