本书首先介绍多模态学习这一研究方向的背景和意义。然后介绍单模态表示学习（包括文本表示学习，语音表示学习，图片表示学习，视频表示学习，其他如点云红外等模态表示学习）、多模态表示学习（包括联合学习与协同学习）以及多模态融合方法，其中针对各种单模态表示学习，本书将系统梳理传统特征提取和基于深度学习的特征提取方法。最后，结合学术界的研究进展，介绍典型的多模态应用（如多模态检索，多模态生成，多模态分类与聚类等）。本书涉及的学科方向包括信号处理、机器学习、模式识别、数据挖掘、多媒体处理等，可作为高等学校通信工程、电子信息工程、计算机科学与技术、人工智能等新工科相关专业的本科生或研究生的教材，也可作为从事多模态学习相关领域研究或工程人员的参考书。