本书以Transformer模型为核心，全面覆盖大语言模型的构建与应用全流程，包括深度学习基础、注意力机制、预训练语料处理、数据表征、扩展法则、架构优化、预训练、微调、推理、人类对齐及评测等关键环节。内容兼顾理论深度与实践指导，通过数学推导、算法解析、代码实现及案例分析，为读者提供清晰的学习路径。 全书共9章，第1章介绍Transformer模型的理论基础与代码实现，第2~4章探讨预训练语料、数据表征及扩展法则与架构设计，第5~7章深入预训练、微调与推理的优化技术，第8章聚焦人类对齐的理论与实践，第9章系统介绍评测方法。 本书面向高校学生、研究人员及人工智能领域从业者，注重前沿技术与**研究成果结合，适合作为人工智能、计算机科学相关专业的教材，也可作为自然语言处理及大语言模型开发者的参考书。通过阅读本书，读者可以掌握大语言模型的核心知识与基础研究框架，为学术研究与技术应用奠定坚实基础。

孙弋 教授、工学博士，长期从事信息学科教学与智能软硬件产品的研究开发工作。信息技术与人工智能领域技术博主，跟踪相关领域前沿技术与框架，并在各大媒体平台分享相关视频，受广大网友好评。

前言 随着人工智能技术的迅猛发展，大语言模型（Large Language Model，LLM）已成为自然语言处理领域的核心驱动力。从机器翻译、对话系统到知识问答，大语言模型在众多任务中展现出强大的性能，深刻改变了人类与信息的交互方式。作为推动这一技术浪潮的核心，Transformer模型及其衍生架构以其高效的并行计算能力和强大的上下文建模能力，成为大语言模型研究与应用的基础支柱。与此同时，预训练、微调、推理优化及人类对齐等技术的发展，进一步地提升了大语言模型的性能与实用性，使其在学术研究与产业应用中均占据重要地位。 然而，大语言模型的复杂性与快速发展也为学习者带来了挑战。相关技术涉及深度学习、数学建模、算法优化及工程实现等多个领域，知识体系庞大且更新迅速。如何系统地掌握大语言模型的理论基础与研究方法，成为相关领域高校学生、研究人员及工程技术人员面临的共同问题。为此，本书的编写旨在为读者提供一部结构清晰、内容全面、理论与实践兼备的入门教材，帮助其快速建立对大语言模型的整体理解，并为后续研究与开发提供指导。 本书以Transformer模型为核心，全面地介绍了大语言模型的理论基础、技术细节与工程实践。全书共9章，涵盖了从基础理论到前沿应用的完整知识体系。第1章从深度学习与注意力机制入手，详细剖析Transformer模型的关键技术与代码实现。第2～4章聚焦数据与模型的核心环节，包括预训练语料的构建与处理、数据表征的演进，以及扩展法则与架构优化。第5～7章深入探讨大语言模型的预训练、微调与推理过程，结合数学推导与算法实现，揭示模型优化的核心方法。第8章讨论人类对齐的理...