《多模态智能信息处理》系统地介绍了多模态智能信息处理从底层特征提取到高层语义理解的完整技术路线，重点关注基于深度学习技术的多模态智能信息研究，包含了**出现的视觉问答及时域语言定位等多模态信息理解新方向，同时介绍了经典的传统非深度方法，力图搭建从传统经典技术到现有先进技术的过渡桥梁，进而加深对传统技术的理解，并促进对当前技术的进一步思考。 《多模态智能信息处理》内容丰富，结构清晰，理论由浅入深，具有内容的易读性、知识的全面性以及技术的先进性等特点。适合作为相关领域学术研究人员、技术工程师与开发者、高年级本科生与研究生、行业决策者与管理者的有益参考。

邓成，河海大学教授，享受国务院政府特殊津贴。中国计算机学会杰出会员、中国图像图形学会高级会员、IEEE高级会员。长期从事多模态数据感知计算与分析推理方面的研究工作。主持国家重点研发计划、国家自然科学基金重点项目等40余项，获国家自然科学奖二等奖1项、陕西省自然科学奖一等奖2项。

PREFACE 前言 人工智能（ AI）正以前所未有的广度和深度深刻改变着人类社会生活，改变着世界。近年来，随着算法、数据和算力的协同发展，人工智能进入了快速突破与广泛应用并进的新阶段。2014年生成对抗网络的提出，标志着 AI生成内容（ AIGC）时代的开启； 2017年诞生的 Transformer架构，已经成为大语言模型（ LLM）的基础框架； 2023年被视为大语言模型元年，全球范围密集发布了上百个大模型，国内更是掀起“百模大战”。伴随技术突破，大语言模型从单模态向多模态甚至全模态持续扩展，推动人工智能从“理解单一信息”向“认知物理世界”的关键跨越。这一进程，已经成为通向通用人工智能（ AGI）的必由之路。从概念的发展逻辑来看，多模态已不再局限于文本、音频、图像、视频等传统形态，逐步拓展至草图、激光雷达、脑电波等特定数据形式；从技术的底层逻辑来看，多模态智能信息处理的理论、方法和技术在现代人工智能的发展进程中始终发挥着重要作用——这也正是本书以“多模态智能信息处理”为题目的初衷。 本书章节的组织遵循两条脉络——模态扩展和技术演进。全书共分为 8章。第 1章绪论，主要介绍多模态智能信息处理的基本概念、理论基础、技术难点、典型应用，以及伦理与社会影响，为后续内容奠定整体认知框架。第 2章围绕多模态表示学习，系统介绍多模态表示的基本思想、典型框架、经典模型，以及多模态大规模预训练和多模态大语言模型的相关内容。第 3章聚焦多模态信息融合，介绍基于传统的和深度学习的融合方法，帮助读者理解不同模态之间的信息协同机制。第 4章探讨多模态信息检索，重点介绍近似最近邻检...