目录

理论篇

第1章前置基础3

1.1智能多媒体概述3

1.1.1多媒体概述3

1.1.2多媒体与人工智能5

1.1.3智能多媒体关键技术与指标7

1.2嵌入式开发基础9

1.2.1边缘计算9

1.2.2嵌入式人工智能开发概述14

1.2.3Linux开发必备基础16

1.2.4Docker开发简介21

1.3多媒体编程基础23

1.3.1视频文件读写23

1.3.2多线程26

1.3.3同步互斥锁28

1.3.4套接字30

1.4本章小结35

习题36

第2章数字图像处理技术37

2.1基础知识37

2.1.1像素37

2.1.2分辨率38

2.1.3位深39

2.1.4帧率40

2.1.5码率41

2.1.6PSNR422.2彩色图像及图像存储43

2.2.1色彩空间模型43

2.2.2图像存储格式47

2.3图像预处理技术48

2.3.1灰度变换49

2.3.2灰度直方图变换52

2.4边缘检测57

2.4.1边缘检测基本概念57

2.4.2噪声影响下的边缘检测58

2.4.3Sobel算子59

2.4.4Canny算子60

2.5本章小结63

习题64

目录〖3〗第3章图像与视频编码技术65

3.1图像与视频编码基础65

3.1.1图像与视频编码原理概述65

3.1.2视频编码框架与基本概念69

3.1.3视频编码标准发展历程72

3.2JPEG静止图像编码标准75

3.2.1JPEG编码标准75

3.2.2JPEG工作模式77

3.2.3JPEG编码实现与算能平台78

3.3H.264视频编码标准78

3.3.1H.264编码标准概述78

3.3.2H.264编码方法79

3.3.3H.264的传输与存储84

3.3.4H.264开源编码器87

3.4H.265视频编码标准89

3.4.1H.265编码标准概述89

3.4.2H.265编码方法93

3.4.3H.265的码率控制算法96

3.4.4H.265开源编码器97

3.5感兴趣区域编码原理99

3.6码流分析工具简介100

3.6.1码流分析概述100

3.6.2常用码流分析工具100

3.7本章小结104

习题105

第4章智能多媒体通信技术106

4.1多媒体通信基础106

4.1.1数字视频接口106

4.1.2IP通信新技术109

4.1.3无线多媒体通信技术112

4.2TCP与UDP119

4.2.1TCP/IP119

4.2.2UDP121

4.2.3TCP122

4.2.4为什么流媒体通信常用UDP125

4.3RTP与RTCP126

4.3.1RTP简介126

4.3.2RTP的工作机制126

4.3.3RTP数据包解析127

4.4RTSP128

4.4.1RTSP简介128

4.4.2RTSP的工作机制130

4.5RTMP131

4.5.1RTMP简介131

4.5.2RTMP的工作机制131

4.6GB28181协议133

4.6.1GB28181协议简介133

4.6.2GB28181的工作机制134

4.7本章小结136

习题137

第5章嵌入式人工智能多媒体开发架构138

5.1概述138

5.1.1开发架构139

5.1.2硬件加速140

5.1.3工作模式141

5.1.4设备内存141

5.1.5内存同步的时机142

5.1.6手动内存同步的原因143

5.1.7内存同步示例143

5.2FFmpeg146

5.2.1FFmpeg概述146

5.2.2BM_FFmpeg147

5.3OpenCV152

5.3.1OpenCV简介152

5.3.2BM_OpenCV简介153

5.4BMCV156

5.4.1BMCV简介156

5.4.2BMCV数据结构157

5.4.3BMCV设备内存管理161

5.4.4BMCV API162

5.5本章小结167

习题167

实战篇

第6章基础实验171

6.1开发环境搭建171

6.1.1开发主机准备171

6.1.2下载SDK软件包172

6.1.3创建Docker开发环境173

6.1.4编写“Hello,World!”程序174

6.1.5硬件部署176

6.1.6程序上传与执行176

6.2云平台开发环境178

6.2.1云平台申请178

6.2.2云平台使用178

6.3多媒体开发基础编程实验181

6.3.1实验原理和流程181

6.3.2关键代码解析183

6.4边缘检测186

6.4.1BMCV关键函数解析186

6.4.2BMCV检测结果194

6.4.3OpenCV关键函数解析195

6.4.4硬件加速性能对比196

6.5图像裁剪及尺寸变换197

6.5.1bmcv_image_crop()函数197

6.5.2bmcv_image_resize()函数198

6.5.3bmcv_image_draw_rectangle()函数200

6.5.4OpenCV函数介绍201

6.5.5执行结果202

6.6图像加权融合204

6.6.1bmcv_image_add_weighted()函数205

6.6.2OpenCV下的图像加权融合方法205

6.6.3执行结果206

6.7图像灰度直方图208

6.7.1bmcv_calc_hist()函数208

6.7.2OpenCV的calcHist()函数209

6.7.3画直方图210

6.7.4执行结果210

6.8FFmpeg视频编码211

6.8.1实验原理简介211

6.8.2编码实验过程219

6.8.3使用ffprobe分析码流219

6.8.4使用VLC播放视频222

6.8.5使用Elecard StreamEye分析码流222

6.9ROI视频编码223

6.9.1实验原理简介224

6.9.2关键核心代码讲解224

6.9.3实验过程227

6.9.4Elecard StreamEye分析228

6.10FFmpeg视频解码229

6.10.1实验原理简介230

6.10.2FFmpeg解码关键函数230

6.10.3实验过程238

6.11OpenCV视频解码240

6.11.1实验原理简介241

6.11.2实验过程241

6.12JPEG图像编解码242

6.12.1实验原理简介242

6.12.2实验过程242

6.12.3执行与测试244

6.13RTSP拉流+RTMP推流245

6.13.1实验步骤245

6.13.2主线程245

6.13.3写线程247

6.13.4Windows下nginx的安装与RTMP推流247

6.13.5Wireshark安装与使用250

第7章嵌入式智能车载终端实战254

7.1项目背景255

7.2项目需求255

7.2.1需求概述255

7.2.2功能需求256

7.3相关理论257

7.3.1目标检测257

7.3.2多目标跟踪258

7.3.3车道线检测259

7.3.4单目测距260

7.4总体设计261

7.4.1总体架构设计261

7.4.2功能模块262

7.4.3技术架构263

7.4.4开发环境263

7.5项目实战263

7.5.1环境搭建与数据准备263

7.5.2程序框架271

7.5.3目标检测271

7.5.4多目标跟踪277

7.5.5车道线检测279

7.5.6测距280

7.5.7本地界面播放281

7.6部署与测试283

7.6.1编译与部署283

7.6.2测试结果287

第8章基于无人机的建筑图像识别实战289

8.1项目背景289

8.2项目需求290

8.2.1需求概述290

8.2.2功能需求291

8.3相关理论291

8.4总体设计293

8.4.1总体架构设计293

8.4.2功能模块294

8.4.3技术架构294

8.4.4开发环境294

8.5项目实战295

8.5.1环境搭建295

8.5.2模型与数据297

8.5.3目标检测301

8.5.4ROI编码305

8.5.5推流和视频切片306

8.6部署与测试308

8.6.1编译308

8.6.2运行程序与测试结果309

参考文献314