目录

本书源码

第1章大模型技术原理

1.1大模型技术的起源、思想

1.2基于Transformer的预训练语言模型

1.2.1编码预训练语言模型

1.2.2解码预训练语言模型

1.2.3基于编解码架构的预训练语言模型

1.3提示学习与指令微调

1.3.1提示学习

1.3.2指令微调

1.4人类反馈强化学习

1.4.1强化学习

1.4.2PPO算法

1.4.3大模型人类反馈强化学习对齐

1.5GPT智能涌现原理与通用人工智能

1.5.1什么是智能涌现

1.5.2思维链

1.5.3上下文学习能力

1.5.4指令理解

1.5.5通用人工智能

第2章大模型训练及微调

2.1大模型训练概述

2.2分布式训练的并行策略

2.2.1数据并行

2.2.2模型并行

2.2.3混合并行

2.2.4并行计算框架

2.3预训练模型的压缩

2.3.1模型压缩方案概述

2.3.2结构化模型压缩策略

2.3.3非结构化模型压缩策略

2.3.48位/4位量化压缩实践

2.4大模型微调方法

2.4.1Prefix Tuning微调

2.4.2PTuning V1微调

2.4.3PTuning V2微调

2.4.4LoRA微调

2.4.5QLoRA微调

2.5基于旋转位置编码RoPE的长文本理解

2.5.1RoPE技术原理

2.5.2RoPE关键特性

第3章DeepSeek大模型核心技术

3.1DeepSeek模型架构

3.1.1基础架构

3.1.2多Token预测

3.2DeepSeek训练基础设施

3.2.1计算集群

3.2.2DeepSeek自研HAILLM训练框架

3.2.3FP8训练

3.2.4推理与部署

3.3DeepSeek预训练

3.3.1数据构建

3.3.2超参数

3.3.3长上下文扩展

3.4DeepSeek后训练

3.4.1监督微调

3.4.2强化学习

3.5DeepSeekR1推理能力强化技术

3.5.1DeepSeekR1Zero： 基于基础模型的强化学习

3.5.2DeepSeekR1： 冷启动强化学习

3.5.3知识蒸馏： 赋予小模型推理能力

3.6原生稀疏注意力(NSA)技术

3.6.1实现高效长上下文建模的创新方法

3.6.2NSA整体架构

3.6.3算法设计

3.6.4内核设计

3.7FlashMLA技术解析

3.7.1技术背景

3.7.2关键技术优化

3.7.3应用场景优势

3.8DeepEP通信库

3.8.1核心特性剖析

3.8.2网络相关特性详解

3.8.3使用指南

3.8.4应用代码示例

3.9高效矩阵乘法库DeepGEMM

3.9.1核心特性与优势

3.9.2关键技术解析

3.9.3使用指南

3.10开源DualPipe及EPLB深入分析

3.10.1双向流水线并行算法DualPipe

3.10.2专家并行负载均衡器

3.11萤火文件系统3FS和数据处理框架Smallpond

3.11.1萤火文件系统3FS

3.11.2轻量级分布式数据处理框架Smallpond

3.12DeepSeekV3/R1推理系统架构及核心策略

3.12.1DeepSeekV3/R1推理系统架构剖析

3.12.2DeepSeekV3/R1核心策略

3.13DeepSeek技术优势总结

3.13.1性能优势

3.13.2效率优势

3.13.3成本优势

第4章LangChain技术原理与实践

4.1LangChain技术原理

4.2LangChain六大核心模块

4.2.1模型I/O模块

4.2.2数据增强模块

4.2.3链模块

4.2.4记忆模块

4.2.5Agent模块

4.2.6回调处理器模块

4.3LangGraph

4.3.1LangGraph技术原理

4.3.2基于DeepSeek大模型的LangGraph代码实践

4.3.3LangGraph Studio

第5章检索增强生成

5.1RAG技术原理

5.1.1RAG的概念与应用

5.1.2RAG技术架构

5.1.3分块和向量化

5.1.4搜索的索引

5.1.5重新排序和过滤

5.1.6查询转换与路由

5.1.7RAG中的智能体

5.1.8响应合成

5.1.9大模型微调和RAG的优劣势对比

5.2文本向量模型

5.2.1Embedding模型、Reranker模型及ColBERT模型

5.2.2阿里巴巴GTE向量模型

5.2.3中文acge_text_embedding模型

5.2.4智源BGE通用向量模型

5.2.5Moka开源文本嵌入模型M3E

5.2.6OpenAI的textembedding模型

5.3向量数据库

5.3.1Faiss

5.3.2Milvus

5.3.3Pinecone

5.3.4Chroma

5.4RAG应用实践

5.4.1基于大模型构建企业私有数据的知识问答

5.4.2应对大模型落地挑战的优化策略

5.5主流开源RAG项目

5.5.1RAGFlow

5.5.2LLaMAIndex结合DeepSeek实践

5.5.3GraphRAG

第6章AI Agent

6.1AI Agent介绍和原理

6.1.1AI Agent的定义与角色

6.1.2AI Agent的技术原理

6.2主流大模型Agent框架

6.2.1AutoGPT

6.2.2MetaGPT

6.2.3ChatDev

6.2.4AutoGen

6.2.5FastGPT

6.2.6XAgent

6.2.7GPTEngineer

6.2.8BabyAGI

6.2.9SuperAGI

6.2.10CrewAI

6.2.11Manus通用AI智能体

6.2.12开源OpenManus通用AI智能体

第7章DeepSeek大模型应用落地实践

7.1DeepSeek部署实践

7.1.1Ollama本地部署DeepSeek大模型

7.1.2基于vLLM本地部署企业级DeepSeek

7.1.3基于Unsloth的DeepSeek训练微调及本地运行

7.2Dify应用程序集成DeepSeek

7.2.1接入DeepSeek大模型

7.2.2构建应用程序

7.2.3知识库管理

7.2.4工作流开发

7.2.5工具插件

7.2.6日志及监测

7.3基于DeepSeek工作流应用场景开发实践

7.3.1智能客服/知识问答助手开发

7.3.2销量预测场景开发

7.3.3工业生产设备预测性维护开发

第8章多模态具身智能

8.1DeepSeek重塑具身智能架构

8.2多模态具身智能概念及技术路线

8.2.1多模态具身智能的核心技术

8.2.2多模态具身智能发展路线

8.3多模态感知与场景理解

8.3.1机器人感知系统

8.3.2视觉探索

8.3.3多模态3D场景理解

8.3.4融合语言模型的多模态大模型

8.4机器人操作系统ROS

8.4.1ROS概述

8.4.2ROS 1分层架构设计与核心运行机制 

8.4.3ROS 2核心架构及工作原理

8.5机器人定位系统

8.5.1机器人定位系统分类与传感器范式

8.5.2机器人定位算法原理

8.5.3机器人定位任务

8.5.4机器人定位计算系统

8.6机器人规划与控制系统

8.6.1路径规划

8.6.2轨迹规划

8.6.3基于强化学习的规划与控制

8.6.4机器人视觉导航

8.7世界模型

8.7.1世界模型概述

8.7.2开源大世界模型LWM

8.7.3视觉语言行动(3DVLA)模型

8.7.4NVIDIA Cosmos世界模型

8.8基于DeepSeek的具身问答及交互

8.8.1基础具身问答

8.8.2多目标具身问答

8.8.3交互式问答

8.8.4多智能体交互式问答 

8.8.5具身问答的感知决策执行全流程

8.9具身智能模拟器

8.9.1具身智能模拟器的定义和作用

8.9.2具身智能模拟器的技术原理

8.9.3具身智能模拟器的挑战

8.9.4具身智能模拟器的开源项目实践

8.10Gazebo与Isaac Sim模拟仿真平台实践

8.10.1Gazebo模拟仿真平台实践

8.10.2Isaac Sim模拟仿真平台实践

8.11多模态多感官交互具身智能大模型

8.11.1研究背景与意义

8.11.2多感官宇宙数据集

8.11.3MultiPLY框架

8.12端到端强化学习人形机器人

8.12.1端到端强化学习概述

8.12.2端到端强化学习框架HumanoidGym

8.13多模态通才具身智能体

8.13.1模型特点

8.13.2模型训练策略

8.13.3模型能力和分析