以机器学习为核心的人工智能已经成为新一代生产力发展的主要驱动因素。新的技术正在向各行各业 渗透，大有变革各个领域的趋势。传统产业向智慧产业的升级迫使原行业从业人员逐渐转型，市场上对相 关学习材料的需求也日益高涨。帮助广大学习者更好地理解和掌握机器学习，是编写本书的目的。 本书针对机器学习领域中最常见的一类问题——有监督学习，从入门、进阶、深化三个层面由浅入深 地进行了讲解。三个层面包括基础入门算法、核心理论及理论背后的数学优化。入门部分用以逻辑回归为 代表的广义线性模型为出发点，引入书中所有涉及的知识点；进阶部分的核心理论涵盖了经验风险最小、 结构风险最小、正则化及统一的分类边界理论；深化部分的数学优化则主要包括最大熵原理、拉格朗日对 偶等理论在数学上的推导，以及对模型求解的主流最优化方法的探讨等。 本书由浅入深，从个别到普便，从自然算法到优化算法，从各个角度深入剖析了机器学习，力求帮助 读者循序渐进地掌握机器学习的概念、算法和优化理论。

史春奇博士，毕业于日本京都大学，美国Brandeis University博士后，现为港辉金融信息Vice President， 曾任通用电气（中国）有限公司资深数据科学家。 卜晶祎，毕业于上海交通大学，现为友邦保险集团人工智能主管。曾就职于通用电气（中国）研究开发中心有限公司，任资深数据科学家；曾任飞利浦亚洲研究院高级研究员。施智平博士，首都师范大学信息工程学院教授，院长，毕业于中科院计算技术研究所。于2012年和2017年获北京市科学技术奖二等奖两次，中国计算机学会高级会员，形式化方法专委会委员，人工智能学会会员，智能服务专委会委员，IEEE/ACM 会员。

在当今的人工智能领域中最热门技术毫无疑问当属深度学习。深度学习在Geo?rey Hinton、Yoshua Bengio、Yann LeCun 和Juergen Schmidhuber 等巨擘们持续不断的贡献 下，在文本、图像、自然语言等方向均取得了革命性的进展。当然，深度学习只是机器学习 的一个分支，能取得当前的成功也是建立在机器学习不断发展的基础之上。在机器学习领 域，很多著名科学家(如图1 所示) 提出了他们的理论，做出了他们的贡献。Leslie Valiant 提出的概率近似正确学习(Probably Approximately Correct Learning, PAC) 理论打下了 计算学习理论的基石，并在此后提出了自举(Boosting) 思想。Vladimir Vapnik 提出的支 持向量机(Support Vector Machine, SVM) 是一个理论和应用都十分强大的算法。与此同 时他所提出的经验风险最小与结构风险最小理论，以及背后更深层次的VC 维(Vapnik- Chervonenkis dimension) 理论，为部分统一分类问题提供了理论基础。Judea Pearl 提出 图1 机器学习领域(支持向量机、集成学习、概率图模型) 的著名科学家 II 了贝叶斯网络，而Michael I. Jordan 则在此基础上发展了概率图模型。Leo Breiman 在集 成(Ensemble) 学习的思想下设计了随机森林(Random Forest) 算法，Robert Schapire 和 Jerome H. Friedma...