前言 机器学习已经成为一种解决诸多问题的有效工具，广泛应用于多学科交叉领域。本书以理工科高年级本科生和一年级研究生的基础知识为起点，以面向工程应用为目标，适度侧重电子信息专业学生，并尽可能满足其他专业需求，是一本通用性和专业性兼顾的机器学习教材。通过学习本书，读者可以为掌握机器学习的本质和算法、解决实际问题以及开展与本领域相关的研究打下基础。 不考虑机器学习当前的热度，其解决问题的思想和方法有长远价值，今后或许会有冷热反复，但这是一个有长远发展的方向。 本书是作者在清华大学讲授“机器学习”课程的讲义基础上修订而成的，该课程主要面向电子信息专业的本科生和研究生的“本研贯通”课程，对其他理工科和管理类专业开放，先后有20多个院系的本科生和研究生也选修了该课程。 作为“机器学习”课程的教材，本书在材料选择上做了尽可能的平衡，既要反映机器学习的基础知识和经典方法，又要重视近期非常活跃的深度学习的内容。由于机器学习的成果非常丰富，构成一本教材的材料的可选择面非常广，因此我们在基础和前沿的材料中做了仔细的选择。深度学习很重要，尤其是当前的一些商业化应用（包括计算机视觉、语音识别、自然语言处理、推荐系统、信息检索等），既有大数据支持，又可以通过大规模计算系统进行训练(学习)，取得了许多重要进展。但并不是所有应用都有必要使用深度学习，许多问题用传统机器学习技术就可以取得很好的结果，尤其是一些工程中的专门领域，获取大数据集是非常困难的，对于这些领域，经典的机器学习方法可得到更广泛应用。 基于以上考虑，本书对机器学习的经典算法和深度学习算法都给予相当深入的介绍，全书内容分为6个单元。第1单元涵盖前3章，包括基础性介绍和一些需要补充的基础知识。第1章是机器学习概述，介绍了机器学习要解决的基本问题，以及一些基本术语、基本类型和构成模型的基本元素； 第2章是统计与优化基础，目的是使本书尽可能满足更广泛的读者需求； 第3章是贝叶斯决策，这是构成机器学习系统的一个相对独立的基本单元，同时简单介绍了图模型基础。 第2单元包括第4、5章，分别介绍了基本回归算法和基本分类算法，包括线性回归、基函数回归、稀疏回归、Fisher线性判别分析、感知机、逻辑回归和朴素贝叶斯算法。同时，这两章还分别结合回归和分类简要介绍了机器学习理论中的两个重要问题： 方差与偏的折中和泛化界定理。该单元通过相对简单的模型，介绍了构成机器学习算法的核心要素，对于理解机器学习的基本原理很有帮助，所介绍的算法对中小规模问题仍有实用价值。 第3单元由第6~8章构成，分别介绍了机器学习的3种重要算法： 支持向量机、决策树和集成学习。由于这3类算法的重要性，每类都用一章的篇幅进行专题介绍。 第4单元是关于神经网络与深度学习的专题，用3章的篇幅深入讨论这一专题，分别介绍了本专题的3方面： 基础、结构、技术。第9章讨论了网络的结构、表示定理、目标函数、基本优化方法、梯度计算、初始化和正则化等，最重要的是给出了反向传播算法的深入介绍； 第10章详细介绍了深度学习中的两大类网络结构，即卷积神经网络和循环神经网络，并分别介绍了其基本结构、扩展结构和专门的反向传播算法，以及几个有影响的网络结构的例子，给出了残差网络、长短期记忆网络、门控循环单元等新结构的介绍； 第11章汇集了深度学习中若干关键技术和新进展，包括深度网络的优化技术、正则化和归一化、对抗训练、自编码器、生成对抗网络、注意力机制和Transformer等。 第5单元由第12章和第13章组成，是关于无监督学习的专题，讨论了聚类算法、EM算法、主分量分析和独立分量分析。 第6单元由第14章和第15章组成，介绍了强化学习。第14章介绍了基本的强化学习原理和算法，主要讨论了强化学习的表格方法； 第15章介绍了强化学习的更现代的内容，主要包括值函数逼近和策略梯度两类算法，这两类算法都可以结合深度神经网络构成深度强化学习。第15章还介绍了对于连续动作的确定性策略算法。强化学习是近年来机器学习中最活跃的分支之一，本书给出了比较综合性的介绍。 作为一本教材，本书除第11章外，每章都设置了适量的习题。附录A给出了课程的实践型作业的实例。自本课程开设以来，每学期均要求学生完成3个实践型作业，作业数据一般来自网络资源中的实际数据，需要学生自己选择预处理方法，实践作业的效果非常好。每年的作业都有变化，为了提供完整的参考性，附录A给出某年的全部实践作业的原题，仅供使用本书作为教材的老师参考。对于不同的院校、不同的专业，可以有不同的要求，但应该至少完成一个实践作业。对于自学本书的科技人员，可以自行选择一些题目测试自己的学习效果。真正掌握好机器学习，读者既需要较强的数学知识，能理解各种算法，又要有较强的实践能力，能够编程、调试完成一些实践型作业。本书以原理和算法为主，若读者需要学习编程基础，如Python语言，可自行选择相关的编程教材或指南，附录A的最后给出了几个编程指南的网络链接。 作为一本综合性、导论性的机器学习教材，本书对深度学习和强化学习的介绍在深度和广度上都做了尽可能的努力，希望读者在学习到较全面的机器学习知识的同时，对深度学习和强化学习有深入的了解，并尽快进入这些领域的前沿。 本书的材料已足够一个学期课程所需，作为一本教材，希望控制其在合适的篇幅内，因此有许多重要的专题没有介绍，如变分贝叶斯和非参贝叶斯学习、半监督学习和自监督学习、迁移学习、自动学习等，对这些内容感兴趣的读者，可参考相关专著和近期的论文。其中目录中标记星号的章节属于高阶选读内容。 本书列出的参考文献，都是作者在撰写本书时直接参考或希望读者延伸阅读的。本书一些材料是若干年教学积累的结果，作者努力包含对本书写作有影响的所有参考资料，但若有个别参考过的文献有所疏漏，作者表示歉意。 许多同事和研究生对本书的出版做出了贡献。微软亚洲研究院的刘铁岩博士对课程内容的设置提出了宝贵意见，秦涛博士对本书的内容给出了若干有价值的建议，合作团队的汪玉、王剑、袁坚和沈渊等教授提供了各种帮助，谨表示感谢！作者的学生王超博士，曾多次作为课程助教，协助作者进行课程内容的完善和实践作业的设计，并仔细阅读了本书的初稿，提出若干修改意见； 助教博士生金月、邱云波帮助绘制了多幅插图，金月帮助实现了4.3节的实例，在此一并表示感谢。许多选课学生的反馈对于改善本书初稿很有帮助，如安南、许璀杰等，在此对所有对本书有所建议的学生表示感谢。 尽管做了很大努力，但由于作者水平、时间和精力所限，本书难免有缺点和不足，希望读者批评指正。 作者2021年10月于清华园

• 课件下载
• 样章下载
• 暂无网络资源

扫描二维码
下载APP了解更多

版权图片链接