Ŀ¼

Chapter 1Introduction1

1.1Optimization Introduction2

1.1.1What does Engineering do?2

1.1.2Optimization Factors2

1.2Machine Learning Introduction5

1.2.1What is Machine Learning?5

1.2.2Mathematics Comparisons6

1.2.3Correlations between Optimization and Machine Learning8

1.3Application of AI in Realª²life11

1.3.1Lowª²Level Image Processing11

1.3.2Radar Signal Processing12

1.3.3Target Classification12

1.3.4Data Generation13

1.3.5Scene Reconstruction and Understanding14

1.3.6Multiª²Modal Sensors Data Fusion14

1.4Summary16

1.5Exercises17

Chapter 2Optimality Theory19

2.1Basic Principles20

2.2Mathematical Preliminary20

2.2.1Convex Function20

2.2.2Convexity21

2.2.3Norm25

2.2.4Gradient26

2.3Optimization Modeling29

2.3.1Cost, Loss, and Profit Functions29

2.3.2Constraints33

2.4Convex Optimization Problems36

2.4.1Optimization Problem37

2.4.2Standard Convex Problems37

2.5Summary42

2.6Exercises43

Chapter 3Unconstrained Optimization47

3.1Overview48

3.1.1Mathematical Formulation and Geometric Interpretation48

3.1.2Typical Optimization Examples in Machine Learning49

3.1.3Theoretical Foundations: Convexity and Conditioning49

3.1.4Numerical Solution Pipelines50

3.1.5Optimization Strategies: Line Search and Trust Region50

3.2Solution Algorithms51

3.2.1Lineª²Search Algorithm52

3.2.2Gradient Descent Algorithm56

3.2.3Linear Regression and Solutions65

3.2.4Comparisons between LSE and GD70

3.3Application Instance: Image Superª²Resolution74

3.3.1Problem Statement74

3.3.2Solution Pipelines76

3.3.3External Rewards77

3.4Summary79

3.5Exercises79

Chapter 4Constrained Optimization85

4.1Constraints and Regularization86

4.1.1Constraints86

4.1.2Regularization89

4.1.3Comparisons and Summary91

4.2Lagrangian Multiplier Method93

4.2.1Equality Constraint93

4.2.2Inequality Constraint96

4.2.3Karushª²Kuhnª²Tucker Conditions98

4.2.4Augmented Lagrangian Method103

4.3ADMM Algorithm104

4.3.1The Concept of ADMM Algorithm105

4.3.2Expression and Solution of the ADMM Algorithm105

4.3.3Variants of the ADMM Algorithm109

4.4Summary115

4.5Exercises116

Chapter 5Optimization and Machine Learning123

5.1Endª²toª²end Network Optimization124

5.1.1Black Box Modeling124

5.1.2Network Parameters Optimization Algorithms127

5.1.3Understanding the Network Based Optimization132

5.2Deepª²unfolding Optimization142

5.2.1Statement142

5.2.2Algorithm Unrolling144

5.2.3Summary155

5.3Learningª²aided Optimization156

5.3.1Statement156

5.3.2Learningª²aided Algorithm157

5.3.3Combination160

5.4Summary164

5.5Exercises165

Chapter 6Application of Neural Networks in Optimization168

6.1Application of Neural Networks in Sequence Modeling169

6.1.1Recurrent Neural Network (RNN)169

6.1.2Transformer176

6.2Vision Transformer (ViT)186

6.2.1Core Design: Migration Breakthrough from NLP to Vision186

6.2.2Applications of Vision Transformer Beyond Classification192

6.2.3Summary195

6.3Applications of Vision Transformers195

6.3.1Selfª²Supervised Representation Learning195

6.3.2Object Detection198

6.3.3Image Segmentation202

6.3.43D Plane Reconstruction205

6.3.5Vision Language Models(VLM)207

6.4Summary211

6.5Exercises212

Chapter 7Advanced Applications of NNs216

7.1Learning from a Single Image217

7.1.1Introduction to Deep Internal Learning218

7.1.2Deep Image Prior220

7.1.3Doubleª²DIP227

7.1.4Advanced Singleª²Image Applications230

7.1.5Conclusion233

7.2Learning from a Single Scene233

7.2.1Introduction233

7.2.2Neural Radiance Field238

7.2.33D Gaussian Splatting250

7.2.4Applications of Randianceª²field Representations258

7.3Summary271

7.4Exercises271

Chapter 8Generative Models275

8.1Introduction to Generative Models276

8.1.1Discriminative and Generative Models276

8.1.2Objectives and Approaches in Generative Modeling277

8.1.3Why Generative Models Matter278

8.1.4A Taxonomy of Generative Model278

8.1.5Recent Advances in Generative Models279

8.1.6Key Challenges and Future Directions280

8.1.7PixelRNN and PixelCNN: Autoregressive Image Models280

8.2Variational Autoencoder282

8.2.1From Autoencoders to the Need for Generative Models282

8.2.2The Probabilistic Modeling Framework of VAEs284

8.2.3Variational Inference and the Evidence Lower Bound285

8.2.4The Reparameterization Trick286

8.2.5Optimizing VAEs287

8.3Generative Adversarial Networks (GAN)289

8.3.1Problem Statement: Distribution Matching for Generation289

8.3.2Adversarial Modeling: Generator and Discriminator289

8.3.3Value Function290

8.3.4Training GANs291

8.3.5Summary293

8.4Diffusion Model293

8.4.1Background of Generative Modeling and the 

Diffusion Paradigm294

8.4.2The Forward Diffusion Process295

8.4.3The Reverse Denoising Process296

8.4.4Training Objective and Noise Prediction Parameterization297

8.4.5Sampling Algorithms and the Generative Process299

8.4.6Network Architecture and Implementation Considerations300

8.4.7Conclusion301

8.5Summary302

8.6Exercises302