自本书（第1版）出版以来，神经网络和模拟进化计算又有了很大发展。特别是统计学习理论和核方法的引入，使得对学习问题的研究更加深入和系统化。同时，应用领域也不断扩展。在第2版中主要做了如下修改：

1. 较系统地介绍了统计学习理论、核方法与支持向量机。除必要的数学推导外，力求讲清楚物理概念及与其他方法的联系。加强了对自组织映射的分析和独立成分分析的讨论。

2. 增加了一章“分布估计算法”，该算法是对遗传算法的发展，也是进化计算的一个重要组成部分。该章讲述中强调方法的系统性以及各种方法之间的联系。

3. 根据目前各种模型的发展及应用情况，对章节顺序作了一些调整，并增加了一些在生物信息学以及金融领域中的应用实例。

本书各章安排如下。

第1～3章介绍基本概念和前馈网络；第4，5章讨论学习问题、核方法和支持向量机；第6～8章讨论自组网络、主成分分析、自组织映射以及独立成分分析；第9章讨论动态信号和系统的处理；第10章介绍多网络集成及有关算法；第11,12章讨论单层全连接的反馈网络及其在联想存储和优化计算中的应用；第13章讨论了反馈网络中的动力学问题并简单介绍了混沌神经网络；第14~16章进一步讨论了误差函数、参数优化、贝叶斯方法以及神经网络在信号处理中的应用。

第17～22章的内容是模拟进化计算。第17章讲述基本概念；第18～21章讨论遗传算法的理论、算法设计和实现以及在神经网络和作业调度中的应用；第22章较系统地讨论了分布估计算法。

这一领域发展很快，新的理论和应用还会不断出现。限于编者水平，遗漏和不当之处在所难免，欢迎读者给予批评指正。前言

作者2005年2月

现在国内有关神经网络和模拟进化计算的书不少，其中也不乏优秀之作，但作为研究生教材，就编者多年的教学经验看，在广度和深度方面尚不能完全满足要求。研究生课程学时较少，来自各专业的研究生参加了各种各样的科研任务，所提出的问题非常广泛和深入，希望教材有一定深度和广度，以便他们进一步扩展和深入，本书向这个方向作了一些努力。

著名学者D.Marr认为，对一个复杂的信息处理系统的研究可分为3个层次，即计算理论层、算法层和实现层。计算理论层解决处理的目的，用什么理论，并说明所用理论为何能达此目的；算法层解决为实现计算理论所采用的算法；实现部分应给出可执行的或硬件实现的具体算法。编者认为，对于神经网络来说，计算理论层主要是学习理论，而现在的学习理论是基于统计决策理论的；算法部分是非线性优化方法(所有的学习算法都可归结为一种优化算法)；实现层背后的理论牵涉到非线性动力学系统的稳定性、可靠性理论等。从这一观点出发，本书加强并扩展了以下几方面的内容。

1 学习理论与网络结构选择第4章较系统地介绍了学习理论方面最近的研究成果，从工程应用的角度简要介绍了V.Vapnik的统计学习理论和经验风险最小化方法；特别强调了有限样本下的学习和网络结构选择问题。贝叶斯理论是研究归纳学习的有力工具，第14章从贝叶斯学习的观点进一步讨论了参数学习和网络结构选择问题。

2 优化方法第13章专门讨论了误差函数和参数优化方法，介绍了一些不同的误差函数，重点讨论了各种基于梯度的优化方法，而进化计算部分则主要讨论全局优化方法。

3 动态系统和信号的处理神经网络在系统辨识和随时间变化的信号处理(如时间序列的建模和预测)等方面的应用越来越多，第10章专门讨论了这方面的问题。第15章讨论神经网络在信号处理中的应用，可看作是第10章的扩展。

模拟进化计算的具体算法及其改进很多，本书不去求全，只结合最常用的遗传算法和进化策略从理论上作了较深入的分析。

在编写过程中，参考了S.Haykin 编写的“Neural Networks, A Comprehensive Fundation”(1994年版)以及C.M.Bishop编写的“Neural Networks for Pattern Recognition”(1995年版)两本书。有许多内容取材于最近的国内外文献。各章后面都附有较多的参考文献，以便读者查阅。

本书各章安排如下： 第1～15章为第一部分。第1章是绪论，介绍了人工神经元模型、网络结构和工作方式以及一些重要的学习方法。第2～4章讲述前馈网络。其中第2章讨论了前馈网络的一般问题，反向传播学习算法，为便于理解前馈网络作用的机理，26节对前馈网络各层的作用从物理概念上作了分析；第3章讲述径向基函数网络和与之有关的概率神经网络等；第4章主要讨论学习和网络结构选择问题，同时也介绍了新近出现的一些神经元模型。第5，6章讲述单层全反馈网络。第5章讨论反馈网络的一般问题和联想存储器，重点讨论了联想存储器的设计，最后介绍了玻耳兹曼机；第6章讲述反馈网络用于优化计算中的一些问题。第7~9章讲述自组织网络。第7章讨论基于Hebb学习的自组织网络，讲述了主成分分析网络和独立成分分析问题；第8章讨论基于竞争学习的自组织网络，重点讨论常用的自组织特征映射算法和向量量化算法，对自适应谐振理论也做了介绍；第9章从信息理论角度研究自组织过程。第10章专门讨论用于处理动态系统和信号的神经网络，介绍了带外加延时的前馈网络和部分反馈网络这两种最常用的模型；讨论了动态网络的一些主要学习算法；最后介绍了再励学习算法。第11章讨论反馈网络的动力学问题，由于反馈网络是一个非线性动力学系统，从数学上严格分析很困难，只能从工程应用的角度，对一些常用的网络模型的稳定性作了定性分析，最后，对混沌神经网络作了介绍。第12~14章的内容主要针对前馈网络。第12章讨论了用多个子网络组成复合网络来解决一些较复杂问题的方法；第13章针对学习过程中误差函数的作用和重要的参数优化方法作了介绍；第14章讨论了基于贝叶斯理论的学习方法和网络结构选择问题。第15章主要讨论神经网络在信号处理中的应用，它是第10章内容的深入和扩充。

第16～20章属于本书的第二部分。第16章对进化计算的一般概念作了介绍，系统讲述了进化策略的基本原理和算法；第17章讨论遗传算法，介绍了标准的遗传算法，对遗传算法的理论和收敛问题做了较深入的讨论；第18章进一步从实现的角度讨论遗传算法的设计和实现，包括编码方法、适应度函数的选择、遗传算子和参数选择问题、第19，20章讲述遗传算法的应用，分别讨论了在神经网络结构选择和权值学习中的应用以及在作业调度中的应用。

作为教材，第1～6章、第8章和第10章，161，171～173节属于基本内容，其余各章可作为专题内容。

本书第1～15章由阎平凡编写，第16～20章由张长水编写。清华大学出版社为本书的编写出版做了大量工作，在此表示衷心的感谢。

限于作者水平，书中错误遗漏之处在所难免，恳请读者批评指正。第一版前言

编者1999年12月25日