作者：[美] 艾米丽·韦伯(Emily Webber)著 郭涛 译
定价：59.8元
印次：1-2
ISBN：9787302678311
出版日期：2025.01.01
印刷日期：2025.11.04
图书责编：王军
图书分类：零售
电子书
在线购买
分享
"●为预训练和微调寻找合适的用例和数据集 ●使用定制的加速器和GPU,为大规模训练做好准备 ●配置AWS和SageMaker环境,**限度地提高性能 ●根据模型和约束条件选择超参数 ●使用多种并行方式分发模型和数据集 ●利用作业重启、间歇性健康检查等方式避开陷阱 ●定性和定量地评估模型 ●部署模型，在运行时进行改进和监控 "
Emily Webber是AWS的首席ML专家解决方案架构师，专门从事大型语言和视觉模型的分布式训练。Emily在AWS社区广为人知，在YouTube上发布了由16个视频组成的SageMaker系列，视频播放量高达21.1万次。Emily曾在2019年伦敦人工智能大会上发表过主题演讲。
前 言 你想使用基础模型吗？这是一个很棒的起点！机器学习社区中的许多人多年来一直在关注着这些奇怪的“生物”，从它们最早出现在Transformer模型的最初几天，到它们在计算机视觉中的渗透和扩展，再到我们在当今世界中看到的几乎无处不在的文本生成和交互式对话。 但是基础模型是从哪里来的呢？它们是如何工作的？是什么让它们启动，应该在什么时候对它们进行预训练和微调？如何在数据集和应用上尽可能提高性能？需要多少个加速器？端到端应用程序是什么样子的？如何使用基础模型来掌控生成式人工智能？ 本书希望能为这些非常重要的问题提供答案。毋庸置疑，这个领域的创新速度真的很惊人，每天都有比昨天更多的基础模型从开源和专有模型供应商那里上线。为了应对这一现实，我试图在整本书中关注最重要的概念基础。这意味着你在这里的认真学习能在未来几年得到回报。 在实际应用和指导方面，我主要关注通过AWS，特别是Amazon SageMaker提供云计算选项。在过去5年多里，我在AWS度过了非常愉快的时光，我很乐意与你分享我所有的知识和经验！注意，本书中分享的所有想法和观点都是我自己的，并不代表亚马逊的观点。 本书所有章节关注的皆是概念，而非代码。这完全是因为软件变化很快，而基础变化异常缓慢。本书的参考文献包含全书15章所有关键参考资源的链接，你可立刻将其用于所有学习内容的实践。 你可能会觉得以下的一切难以置信，但是，在我20岁出头的时候，我确实并没有在写代码：我在探索一种僧侣般的生活。我在亚利桑那州的一个冥想静修中心Garchen研究所住了5年。在这段时间里，我学会了如何冥想，集中注意力，观察情绪...
第Ⅰ部分 预训练前
第1章 预训练基础模型简介 3
1.1 预训练和微调艺术 4
1.2 Transformer模型架构和自注意力 6
1.3 最先进的视觉模型和语言模型 8
1.3.1 截至2023年4月的顶级视觉模型 9
1.3.2 对比预训练与自然语言监督 11
1.3.3 截至2023年4月的顶级语言模型 12
1.3.4 语言技术重点——因果建模和缩放法则 14
1.4 编码器和解码器 15
1.5 本章小结 17
第2章 数据集准备：第1部分 19
2.1 为基础建模寻找数据集和用例 19
2.2 你的数据集有多大区别 23
2.2.1 使用缩放法则调整数据集的大小 25
2.2.2 基础——神经语言模型的缩放法则 26
2.3 偏差检测和减少 28
2.4 增强数据集——多语言、多模态和增强 30
2.5 本章小结 32
第3章 模型准备 35
3.1 寻找最优基础模型 35
3.1.1 从最小的基础模型开始 37
3.1.2 权衡——简单与复杂 37
3.1.3 权衡——应用于许多用例，而非局限于一个用例 38
3.1.4 找到最优基础模型的技术方法 39
3.2 寻找预训练损失函数 39
3.2.1 视觉的预训练损失函数——ViT和CoCa 41
3.2.2 语言中的预训练损失函数——Alexa教师模型 44
3.2.3 更改预... 查看详情
《Python预训练视觉和大语言模型》由经验丰富的AWS和机器学习专家Emily Webber撰写，涵盖的内容十分广泛，包括构思项目，准备数据集，训练、评估和部署大型语言、视觉及多模态模型。本书循序渐进地讲述基本概念并列举实例，指导你预训练和准备数据集及模型，配置环境，并训练、微调、评估、部署和优化基础模型。
学习本书后，你将能按照缩放法则在多个GPU上分布模型和数据集，消除偏差，实现高吞吐量以及构建部署管道。最后，你将完全有能力开发个人项目，对基础模型进行预训练和微调。"
