前言
多通道投影技术一直是计算机图形学、虚拟现实等应用领域的研究热点。利用多通道投影系统可以让规模宏大的复杂场景实现高真实感显示,并在商业、军事、教育和科研等领域都有着广泛的应用。然而目前的投影技术虽然可以将图像投影于各类投影表面,从而获得较理想的观看效果,但是当投影表面是自然介质时,这类投影系统不仅十分昂贵,而且一旦投影表面发生改变,就需要对投影设备进行严格的调整,甚至需要更换新的投影设备。因此,在自然介质表面上实现多通道投影图像几何畸变校正和颜色补偿是投影技术发展过程中遇到的重要挑战和难题。
本书探索性地分析了多通道投影技术的最新相关理论和方法,在自然场景的三维点云去噪与修补、投影图像的几何畸变校正、投影图像的颜色补偿等方面提出了一些创新性的思路和方法,使投影仪能够自适应感知畸变映射关系,从而实现投影图像在不同投影场景中的可视化显示。
本书共分7章,第1章为绪论,重点介绍了本书的研究目的及意义,对国内外学者在多通道投影几何校正技术和颜色校正技术的研究进展和相关的工作进行了较全面的分析,并归类了当前相关技术存在的问题,最后对研究内容和全文组织结构进行介绍。第2章为多通道投影图像智能校正的基础理论,深入地分析了投影仪相机系统的成像原理,对相机数字图像成像特征化模型与投影仪工作数理模型两部分进行了重点探讨研究; 探索自然投影介质的深度感知规律,建立多通道点云间的映射关系,形成自然投影介质的深度感知机制; 研究自然介质的纹理材质的采集和特征提取方法,建立自然投影介质的纹理材质光学特性模型,阐明自然投影介质的纹理材质对图像的影响机理。第3章为三维点云数据处理,通过分析三维点云数据的噪声类型,基于顶点亮度、位置与法向的双边滤波器对点云进行分类去噪; 针对实时性要求较高的点云去噪应用提出改进的基于深度学习的点云去噪算法; 针对点云数据中存在的孔洞问题,将基于三角网格模型的孔洞边界提取算法与通过新增三角片完成孔洞修补算法有效结合,实现对形状复杂和表面变化较大的模型完成修补; 提出基于RLGAN网络的实时点云修补算法,实现不完整点云的实时修补,使部分有噪声点云数据转换成高保真性的完整形状点云。第4章为移动视点的智能投影几何校正,针对观察者在不同视角下观察自然介质投影表面时视觉效果的不同,提出了一种与视点无关的自然介质曲面上投影的几何校正算法,该算法首先确定理想观看区域的理想视点,在理想视点下建立目标校正平面; 基于深度相机进行人体头部定位追踪,算出移动视点与理想视点的变换矩阵集合,建立新视点下的校正平面,实现自然投影曲面的移动视点几何校正; 通过求解特征图像的几何畸变率,实现几何校正效果评估自动化。第5章为基于深度学习的投影颜色补偿,深入分析了深度学习中卷积神经网络的应用,针对在自然介质表面投影时显示画面发生的形变、纹理色彩和场景环境光干扰等对投影显示画面造成的色彩偏差问题,提出了基于深度学习的投影图像颜色补偿方法及全补偿方法; 通过卷积网络的多次卷积特征提取,投影显示图像与真实图像可以进行丰富的多层次交互,学习捕获投影表面的光度和颜色纹理信息,从而实现投影颜色补偿; 改进了CompenNeSt++网络,实现了更高质量的投影全补偿效果。第6章为多通道投影一致性的综合校正,探讨多投影仪在自然场景下投影的系统结构中,面临的多投影仪光学差异,分析了显示设备的差异机制,对多投影仪的光学差异一致性进行了校正; 针对多通道投影图像的重叠区域亮度不一致问题,提出了多通道投影图像重叠区域的亮度融合校正; 概述智能多通道投影系统的设计及开发流程。第7章为结论与展望,对本书研究内容进行了总结,并对未来相关技术的发展趋势进行展望。
首先对恩师杨华民教授表示最诚挚的谢意,他循循善诱的学术教导和不拘一格的科研思路给予了作者珍贵的启迪。借此书完成之际,谨向杨老师致以最衷心的感谢和崇高的敬意。
其次要感谢韩成教授。韩教授的理想主义和认真的治学精神深深地感染了我,他在我研究工作的关键时刻给予了最宝贵的建议。在他的指导下,我才能够在工作上独当一面,并独立承担科研任务。
感谢我的女儿和爱人多年以来的支持和鼓励,感谢我的父母、家人们,给予我生命并成就幸福的人生。感谢特种电影技术及装备国家地方联合工程研究中心的各位老师和同学们,张超老师、姜珊、张同舟、张玉强、徐超、卢时禹、乔瑶瑶、张天宇、许鸣娜和朱超然等所有师兄弟姐妹们给予了我无私的帮助。
本书得到吉林师范大学学术著作出版基金资助。
限于作者水平有限,难免存在不足之处,恳请读者批评指正,以便进一步修改完善。
著者2024年3月