第1章绪论1

1.1神经网络的发展与应用1

1.2人工神经元模型2

1.3用有向图表示神经网络4

1.4网络结构及工作方式5

1.5NN的学习7

1.5.1学习方式7

1.5.2学习算法7

1.5.3学习与自适应9

习题9

参考文献10

第2章前馈网络11

2.1线性阈值单元11

2.1.1用线性阈值单元实现布尔函数11

2.1.2线性可分性12

2.1.3n维欧氏空间中m个点上可实现的线性可分函数的个数13

2.2多层前馈网络的计算能力及函数逼近15

2.3感知器的学习算法17

2.4反向传播学习算法19

2.5改进反向传播算法收敛速度的措施26

2.5.1加入动量项26

2.5.2高阶导数的利用27

2.5.3共轭梯度法27

2.5.4递推最小二乘法28

2.5.5神经元空间搜索法28

2.5.6一些其他措施30

2.6多层前馈网络作用的分析31

2.6.1线性网络32

2.6.2非线性情况33

2.7应用举例34

习题45

参考文献48

第3章径向基函数网络51

3.1φ可分性51

3.2函数逼近与内插52

3.3正规化理论53

3.4RBF网络的学习60

3.5RBF网络的一些变形63

3.6CMAC网络64

3.6.1模型结构64

3.6.2工作原理分析66

3.6.3学习算法69

3.7概率神经网络70

3.8小波网络71

3.9泛函连接网络72

3.10新一代神经元模型及其计算能力的研究74

3.10.1布尔函数的计算75

3.10.2连续输入的情况75

3.10.3脉冲耦合神经网络76

参考文献81

第4章学习理论与网络结构选择86

4.1经验风险最小化与推广能力88

4.1.1经验风险最小化原则89

4.1.2推广能力、模型复杂度和样本量90

4.2统计学习理论简介92

4.2.1学习过程一致性的条件93

4.2.2统计学习理论发展中的三个重要结论96

4.2.3推广能力的界97

4.2.4结构风险最小化102

4.3学习的复杂性问题105

4.3.1PAC学习模型105

4.3.2PAC学习的例子106

4.3.3PAC学习模型的一些扩展106

4.3.4多层前馈网络的样本数问题107

4.3.5学习的计算复杂性108

4.4学习的动态特性109

4.4.1通用学习方程109

4.4.2LMS规则110

4.4.3Hebb规则111

4.4.4Oja学习规则111

4.5推广问题112

4.5.1定性分析112

4.5.2平均推广能力113

4.5.3样本量问题115

4.5.4推广误差的实验估计116

4.6预测学习117

4.6.1模型117

4.6.2根本困难118

4.6.3维数灾难问题118

4.6.4方差与偏置折衷118

4.7学习的数学基础120

4.8网络模型选择122

4.8.1定性分析122

4.8.2正规化方法123

4.8.3修剪与网络构造法124

4.9符号学习与神经网络结合131

习题133

参考文献134

第5章核方法与支持向量机140

5.1现有方法概述141

5.1.1基函数法142

5.1.2核函数143

5.2基函数法与核函数法的对偶关系144

5.3自适应方法147

5.4核函数法147

5.5表示定理151

5.6最优线性分界面152

5.7支持向量机（SVM）155

5.7.1基本原理155

5.7.2SVM用于多类（C类）问题161

5.7.3SVM用于回归161

5.8核PCA163

5.9SVM的算法165

5.10贝叶斯方法与高斯过程171

5.10.1贝叶斯方法171

5.10.2高斯过程173

5.10.3稀疏表示175

5.11讨论177

参考文献181

第6章自组织系统(Ⅰ)——Hebb学习184

6.1引言184

6.2自组织特征检测——一个简单的实验185

6.3主成分分析186

6.4单个神经元抽取最大主分量189

6.5单层网络用于抽取一组主分量189

6.6有侧向连接的自适应PCA191

6.7最小均方误差重建学习193

6.8次分量的提取和应用195

6.8.1最优拟合问题195

6.8.2用单个神经元实现197

6.9PCA算法的进一步扩展200

6.9.1非线性PCA200

6.9.2主曲线与主曲面200

6.9.3鲁棒PCA算法202

6.9.4偏最小二乘方法202

6.10用于特征抽取的网络203

6.10.1正态分布的数据204

6.10.2类内、类间距离的计算205

6.10.3Bhattacharya距离206

参考文献207

第7章自组织系统(Ⅱ)——竞争学习210

7.1Hamming网络与WTA网络210

7.2自组织特征映射212

7.3等效的SOM算法215

7.4向量量化220

7.5广义向量量化221

7.6讨论223

7.7应用举例225

7.8自适应共振理论235

7.8.1ART的基本原理236

7.8.2ART作为分类器时的学习算法239

习题240

参考文献241

第8章自组织系统(Ⅲ)——基于信息论的模型245

8.1信息论简介245

8.2最大信息保持原则247

8.2.1单个神经元受噪声干扰247

8.2.2输入受加性噪声干扰248

8.2.3更复杂些的情况249

8.3拓扑有序映射的产生251

8.4基于最大熵原则的拓扑映射253

8.5盲信号处理255

8.5.1一些基本概念257

8.5.2ICA的目标函数261

8.5.3盲信号处理的应用267

8.5.4非线性独立成分分析（NLICA）270

参考文献273

第9章动态信号与系统的处理276

9.1延时单元网络276

9.2时空神经元模型280

9.2.1模型280

9.2.2FIR网络的学习算法282

9.3部分反馈网络286

9.4有反馈网络的学习算法289

9.4.1随时间演化的反向传播算法289

9.4.2实时递归学习290

9.5应用举例293

9.6神经网络在金融领域中的应用304

9.7讨论310

9.8再励学习及其主要算法314

9.8.1时间差分法315

9.8.2RL的主要算法317

9.9再励学习在控制中的应用举例319

习题327

参考文献328

第10章多神经网络集成335

10.1引言335

10.2群体平均法336

10.3Boosting方法337

10.3.1Boosting算法338

10.3.2性能分析339

10.3.3应用实例——由基因表达谱对肿瘤分类340

10.4混合专家网络342

10.5分层混合专家网络344

10.5.1工作原理345

10.5.2EM算法概述347

10.5.3EM算法用于HME349

10.5.4IRLS算法350

10.5.5EM算法的步骤352

10.6应用举例353

参考文献357

第11章反馈网络与联想存储器360

11.1联想存储器360

11.2反馈网络361

11.2.1离散Hopfield网络362

11.2.2连续Hopfield网络366

11.3用反馈网络作联想存储器368

11.4相关学习算法369

11.5容量分析373

11.6伪逆学习算法377

11.7基于线性可分性的学习算法378

11.8Li与Michel的设计方法（特征结构法）379

11.9线性规划方法379

11.10多余吸引子问题381

11.11双向联想存储器（BAM）382

11.11.1能量函数与稳定性384

11.11.2BAM网络的权值设计384

11.12玻耳兹曼机386

11.12.1随机神经元386

11.12.2模拟退火算法387

11.12.3玻耳兹曼机387

11.12.4玻耳兹曼机的学习388

11.12.5平均场学习规则392

习题394

参考文献395

第12章神经网络用于优化计算398

12.1概述398

12.2连续Hopfield网络用于求解优化问题401

12.3CHNN用于优化计算时存在的问题403

12.4神经网络用于求解货流问题405

12.5用于解数学规划的电路举例409

12.6在通信网络中的应用举例411

习题412

参考文献413

第13章神经网络中的动力学问题415

13.1运动稳定性的基本知识415

13.1.1运动微分方程415

13.1.2平衡状态及其稳定性416

13.1.3定性方法与系统的分类418

13.1.4Lyapunov定理421

13.1.5吸引子422

13.2反馈网络的基本模型及其稳定性424

13.2.1基本模型424

13.2.2稳定性分析425

13.2.3离散模型427

13.2.4离散时间连续状态模型427

13.3混沌神经网络的初步介绍430

13.3.1一个简单的非线性映射430

13.3.2混沌神经元模型432

13.3.3用混沌神经网络作联想记忆434

参考文献435

第14章误差函数与参数优化方法437

14.1误差平方和438

14.1.1网络输出的含义438

14.1.2更一般的条件分布的建模440

14.2后验概率估计442

14.2.1误差平方和准则443

14.2.2隐单元的作用443

14.2.3R范数误差444

14.3交叉熵445

14.3.1两类分类器445

14.3.2交叉熵的性质446

14.3.3多类情况447

14.4参数优化算法448

14.4.1误差曲面448

14.4.2对E的局部二次逼近449

14.4.3优化过程的一些实际问题450

14.5梯度下降法451

14.5.1收敛性的定性分析452

14.5.2加速收敛的措施452

14.6共轭梯度法454

14.7牛顿法及其变形457

14.8LevenbergMarquart算法458

14.9信息几何与自然梯度459

参考文献459

第15章贝叶斯方法461

15.1网络权值的贝叶斯学习462

 15.1.1权值的分布462

15.1.2一类更广的分布464

15.1.3网络输出的分布465

15.1.4超参数的处理466

15.2贝叶斯模型选择468

15.2.1模型显著度469

15.2.2网络组470

15.2.3贝叶斯方法的实现471

15.2.4最小描述长度471

15.3在神经网络中的应用472

15.4贝叶斯阴阳系统理论简介474

15.5讨论475

参考文献477

第16章神经网络在信号处理中的应用479

161引言479

162用泛函对物理系统建模479

1621算子与泛函480

1622Volterra级数481

163Volterra级数与多层前馈网络482

164非线性ARMA模型与MFNN484

165状态空间表示与神经网络486

166神经网络与马尔可夫模型487

167特征空间分解与神经网络489

1671信息判据用于主子空间分析489

1672非线性主元分析492

168EM算法用于训练部分反馈网络494

169混沌时间序列的预测和混沌中信号的检测497

1691混沌时间序列的预测497

1692混沌中信号的检测——海洋杂乱回波中雷达信号的检测501

1610神经网络用于信息的压缩和编码503

1611神经网络用于盲信号处理507

16.12小波网络与多分辨率学习512

16.12.1引言512

16.12.2小波基函数与函数的多分辨率分析512

16.12.3多分辨率学习与小波网络515

16.12.4多尺度网络用于时间序列预测520

参考文献522

第17章进化计算概论与进化策略526

171进化计算概论526

172二元进化策略528

17.2.1基本算法528

17.2.2变异过程530

17.2.3步长选择532

17.2.4收敛准则534

17.2.5对于约束条件的处理535

173多元进化策略535

17.3.1基本算法536

17.3.2(1，λ)前进速度分析537

17.3.3步长控制543

17.3.4μ≥1时的收敛准则545

17.3.5串行与并行546

参考文献547

第18章遗传算法及其理论分析549

181标准遗传算法和基本概念549

182模式定理552

183基因块假设556

184欺骗性问题559

185收敛性分析563

1851基本概念563

1852守恒交叉算子565

1853完全变异算子566

1854遗传算法的马尔可夫链分析567

参考文献569

第19章遗传算法的设计与实现570

191编码方法570

1911编码原则571

1912编码方法573

192适应度函数577

1921目标函数映射成适应度函数577

1922适应度函数调整578

1923适应度函数的设计对遗传算法的影响579

193遗传算子580

1931选择算子580

1932交叉算子582

1933变异算子584

194其他问题586

1941参数选择586

1942其他操作587

参考文献592

第20章遗传算法在神经网络中的应用593

201连接权的进化方法593

202网络结构的进化方法595

203用遗传算法解决XOR问题示例597

参考文献599

第21章遗传算法在作业调度中的应用600

211问题描述600

212解作业调度问题的遗传算法602

213仿真结果605

参考文献609

第22章分布估计算法610

221离散的分布估计算法611

22.1.1变量独立假设下的算法611

22.1.2双变量概率依赖关系614

22.1.3多变量概率依赖关系622

22.2连续的分布估计算法626

22.2.1变量独立假设下的算法627

22.2.2双变量概率依赖关系628

22.2.3多变量概率依赖关系629

22.3讨论630

参考文献631

索引634