序

近年来，随着IBM沃森、谷歌DeepMind AlphaGo等新型人机系统的横空出世，人工智能日益受到全社会的关注，媒体报道热度空前。事实上，伴随大数据、深度学习、智能芯片等技术的成熟、政府的扶持以及资本的持续投入，一方面在前端催生了刷脸支付、智能音箱、以图搜图、智能翻译等新的商业场景和产品;另一方面，人工智能在后端也正深刻地改变着既有的技术模式和流程。例如，在端对端的深度神经网络中，一些传统的特征工程模块被弱化乃至取代；原本基于单步预测的个性化推荐引擎被强化学习技术改造。

放眼世界，人工智能正成为国际竞争的新焦点。英国、美国、新加坡等国家也各自提出了推动人工智能相关技术与产业发展的纲要与规划。美国国防部高级研究计划局则于2018年9月宣布将投入20亿美元开展一项名为 AI Next 的计划，其旨在加速人工智能研究。MIT则计划斥资10亿美元，建设新的计算机学院，致力于将人工智能技术用于该校的所有研究领域。在国内，国务院于2017年7月发布了《国务院关于印发新一代人工智能发展规划的通知》。清华大学、上海交通大学、南京大学等国内顶级高校，也陆续成立了自己的人工智能研究院。在工业界，商汤、旷视、依图等人工智能独角兽企业，也带动了人工智能技术在国内的落地与发展。

从学术角度来看，以1956年达特茅斯会议作为人工智能学科公认的起点，60多年的沉浮史见证了多次起伏，诞生了多个思想学派。近30年的人工智能发展，在作者看来，机器学习（包括深度学习）成为这期间的主流思想和技术。支持向量机、随机森林、决策树、卷积神经网络、循环神经网络、生成对抗网络和强化学习等方法层出不穷，构成了当代人工智能的华丽篇章。与此同时，大量机器学习开源框架和成型工具对用户日益“友好”。初学者往往不需要太多的数学基础和编程能力，简单调用接口即可完成一些人工智能任务。这些条件往往可以快速给予初学者信心，鼓励更多人才进入人工智能相关领域，推动了人工智能的应用。同时，一些从业者对开源软件或者框架的过度依赖，乃至抱着一种不求甚解的态度，不去理解和掌握主要算法和模型背后的原理和数学基础。如此一来，个体的技术发展潜力受限，而整个行业的持续发展也将缺乏高层次人才基础。事实上，尽管人工智能算法工具日益傻瓜化，甚至出现了AutoML这样的自动化机器学习技术，然而深刻理解算法背后的机理，可对具体问题选择合适模型、训练算法和超参数的能力，充分体现机器学习从业者的创新能力和解决问题的能力。

本人全面阅读了雷明老师的作品，在语言精确性和条理性、内容全面性和完整性、理论深度以及工程实践指导方面，不啻为集专业性与通俗性为一体的上乘之作。特别是在公式步步推导的细节方面，有非常仔细的表述，给人一种踏实的感觉。我相信通过本书，读者将可以高效、细致、全面地掌握机器学习的主流知识点和整体脉络。在碰到具体问题时，本书的专业内容也方便读者进行快速查阅和巩固。

人工智能的车轮滚滚向前，从业人员都力图赶上趋势的发展。开卷有益，希望本书能够帮助读者打好机器学习的内功基础，缓解部分从业者内心的焦虑。相信翻看此书时的获得感和充实感，会为读者留下一段美好的回忆。

上海交通大学特别研究员严骏驰2018年11月于广州白云国际会议中心〖1〗〖2〗机器学习——原理、算法与应用〖1〗序自2012年以来，得益于深度学习技术的迅猛进步，人工智能在学术界与产业界都迎来了蓬勃发展。深度学习现阶段较好地解决了图像识别、声音识别等感知类问题。与之相对应的是优秀教材的缺乏，由于技术的快速进步，此前的经典书籍面临内容老化问题。本书旨在帮助人工智能相关方向的在校学生与工程技术人员更好地理解和掌握机器学习技术，本书的前身为2019年1月出版的《机器学习与应用》，笔者对该书做了大量优化，删除了开源库代码分析，增加了若干重要算法的讲解，将C++版的示例程序改为Python版。

全书从原理与应用两个角度进行讲述。系统而深入地讲解了目前主要的机器学习与深学习算法，包括有监督学习、无监督学习、半监督学习、强化学习4种类型。对于主要的算法，分为理论、实验程序、实际应用3部分进行讲解。对于核心的推导和证明，笔者都详细地给出。

学习本书需要读者具有数学（包括微积分、线性代数、概率论等本科数学知识，以及最优化方法）与程序设计（至少掌握一门编程语言）的基础知识。

本书对深度学习算法与理论做了重点与深入的讲解。对于卷积神经网络、循环神经网络等应用最为广泛的方法，详细地介绍了它们的原理与实现，并分析了截至2017年的主要学术论文，保证了本书内容能够反映学术界与工程界的新成果。

机器学习是范围极广、内容庞杂的一门学科，技术发展日新月异，由于笔者的水平与经验有限，书中难免有错误与理解不到位的地方，敬请读者指正！

雷明2019年6月