试分析建立于FPGA基础的双目立体视觉系统

来源：核心期刊咨询网时间：12

摘要：【摘要】双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。由于双目立体视觉处理信息量大，其计算视差图所需要的时间长，无法满足实时判断要求。为此，本文提出建立于FPGA 基础的双目立体视觉系统，并对系统

　　【摘要】双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。由于双目立体视觉处理信息量大，其计算视差图所需要的时间长，无法满足实时判断要求。为此，本文提出建立于FPGA 基础的双目立体视觉系统，并对系统的硬件机构进行设计，在FPGA 像素序列及并行窗口算法框架的基础上，使用零均值像素灰度差平方和匹配算法，可以快速、稳定的将致密视差图计算并传输到上位机上，经过实践证明，零均值像素灰度差平方和匹配算法效果良好，系统稳定，可以快速实现并处理匹配算法，最终实现周边场景的三维信息获取。

　　【关键词】FPGA ；摄像机；双目立体视觉

　　建立立体视觉系统，其目的之一就是获取周边场景的三维信息，并利用获取的周围场景的三维信息对划分障碍区、道路、目标进行识别，这种系统的实现方法主要是通过两个相同摄像机对立体图像进行获取，通过立体图像对恢复周围场景的三维信息。实现立体视觉系统的关键算法是立体匹配算法，由于这种匹配算法可以被直接应用于致密视差图中，因而在立体视觉系统中被广泛应用。相似性测度因子的选择很大程度上决定了区域匹配算法的结果，其中最为常见的测度因子有SAD 及SSD，其中SAD 为像素灰度差的绝对值和，SSD 为像素灰度差的平方和。根据研究发现，采取ZSSD或ZNCC，即零均值像素灰度差平方和或零均值归一化交叉相关可以获取不错效果。综合比对两种方法的硬件要求，最终选择使用ZSSD 匹配方法以保障最终效果。由于匹配算法极为复杂，需要进行大量数据处理，即使是采取当前先进的处理芯片及计算机技术，仍难以满足实时处理的性能要求。本文提出建立于FPGA 基础的双目立体视觉系统，需要进行硬件处理系统的设计。

　　一、建立于FPGA 基础的双目立体视觉系统的硬件设计

　　为满足机器人自主导航实时处理、高速的性能要求，需要对硬件结构进行设计。在本文提出的建立于FPGA 基础的双目立体视觉系统，其硬件设计系统框架图如下：

　　建立于FPGA基础的双目立体视觉系统的硬件设计框架示意图在整个系统硬件设计方面，以功能为标准，可以将硬件设计划分为数据传输模块、视频解码模块、视频处理模块三个部分。其中数据传输模块主要是借助PCI 总线线性突发传输的优势，实现高速、高效的数据传输；视频解码模块则主要负责双摄像机同步采集，获取周边信息，形成立体图像对；而视频处理模块则负责立体视觉的并行算法，并行算法主要是通过FPGA 并行性计算体系结构与合理流水线设计来实现。视频解码模块是由两块视频解码芯片构成，这种芯片需要能够提供9 位低噪音ADC 转换器，其中包括增强型梳状滤波器、抗混叠滤波器、高性能缩放单位等，芯片能够对多种视频标准进行支持。

　　在数据传输模块中，总线接口控制器芯片具备良好的数据流水线架构，包含独立的DMA通道，突发传输的速度可以达到200MB/s，在双目立体视频系统运行过程中，保障了图像传输质量及效率。视频处理模块，属于整个双目立体视觉系统的核心，是实现立体视觉并行算法的单元，同时还负责整个系统的逻辑控制。视频处理模块的基础是FPGA，可见FPGA 决定着整个系统的整体性能。在进行匹配计算时，需要进行大量复杂的运算，在基于FPGA 基础的双目立体视觉系统中，为满足计算的快速、实时处理需求，使用Stratix Ⅱ器件，它是Altera 公司的高性能FPGA，具有64 个硬件乘法器和36 个DSP 块，可以有效满足匹配算法的性能要求。在FPGA 基础的双目立体视觉系统中，在存储模块中采取乒乓缓存结构是为了充分利用FPGA 并行计算结构的优势。乒乓缓存结构具备最大的优势是对经过缓冲的数据流可以不出现停顿地输入到处理模块之中，对数据流实现实时处理。

　　二、建立于FPGA 基础的双目立体视觉系统算法描述

　　（一）建立于FPGA 基础的双目立体视觉系统的定标及图像几何校正

　　定标的精确度直接影响着匹配计算的结果。为此，在进行匹配计算之前，需要对摄像机系统定标，计算出两个摄像机之中存在的内参数与外参数，根据摄像机系统定标，获取原始图像待校正像素，通过原始图像待校正像素位置及四个相邻像素点校正系数，完成立体图像对几何校正。由于双目立体视觉系统运行过程中，摄像机系统处于固定状态，由此可以通过离线方式完成定标作业，根据操作过程中获取的校正系数，实现立体图像对集合校正，其公式如下：在公式中， 属于校正后匹配窗口像素值，I（ui，vi）属于原始图像中四个相邻点像素值，C（ui，vi）为校正系数。

　　（二）建立于FPGA 基础的双目立体视觉系统的区域匹配算法

　　区域匹配算法需要以基准图待匹配点为中心，创建窗口，于对准图中，将外极线像素点作为中心，创建同样大小窗口，将两个窗口之间存在的相似性作为匹配代价进行输入，从而得出匹配代价曲线，最佳匹配点就是匹配代价曲线的极值点。一般来说，采取SAD、ZSSD 匹配方法取最小值点为最佳匹配点，而采取ZNCC 计算方法则取最大值点为最佳匹配点。综合对比各种匹配方法下硬件实现的难易度，在建立于FPGA 基础的双目立体视觉系统中采用ZSSD 算法。

　　（三）Box 滤波方法

　　Box 滤波方法属于一种递归二维均值滤波计算方法，Box 滤波算法与窗口大小没有关联，对每个输出对象进行四次运算，大大将少了数据处理量，提高计算速度。加上在计算像素平方和或窗口均值时，可以利用上一个像素窗口计算的结果，最终只需要完成两列像素运算就可以获取最终结果。

　　三、建立于FPGA 基础的双目立体视觉系统匹配算法的实现及性能分析

　　（一）建立于FPGA 基础的双目立体视觉系统匹配算法的实现

　　FPGA，译为现场可编程门阵列，建立于FPGA 基础的双目立体视觉系统实现的关键在于利用FPGA 并行性计算体系与合理的流水线设计来完成计算。匹配窗口大小选择，需要受到RAM 容量及带宽的限制。在进行Box 滤波计算时，需要计算出像素结果，并暂存匹配窗口中每行中间值。为减少RAM 影响或制约，将暂时用不上的中间结果放在外部RAM 之中，在进行计算时，可以从外部RAM 中进行提取。

　　在ZSSD 匹配算法中，可以通过并行计算获取匹配窗口像素的平方和、均值及两窗口像素乘积和。其计算方法的实现可以用下图来展示：

　　（二）建立于FPGA 基础的双目立体视觉系统性能分析

　　建立于FPGA 基础的双目立体视觉系统通过对硬件机构进行设计，满足了高速自主导航的性能要求，采取具备高速、高效的ZSSD 匹配算法，实现了数据信息实时处理。通过实际应用，发现试分析建立于FPGA基础的双目立体视觉系统林宪旗（山东省科学院激光研究所 山东济宁 270000）

　　四、结语

　　立体视觉系统运行的重要任务之一就是获取周围场景的三维视图，三维视图实现的关键在于匹配算法。本文提出建立于FPGA 基础的双目立体视觉系统，并对该系统的硬件结构进行设计，采取ZSSD 匹配算法进行计算。通过实践证明，建立于FPGA 基础的双目立体视觉系统硬件系统性能可靠、稳定，计算方法快速、高效，可以满足当前机器视觉高速自主导航的性能要求，值得推广。

　　参考文献

　　[1] 徐金龙. 基于双目立体视觉的三维灰度数字图像采集与显示技术研究[D]. 南京理工大学，2009

　　[2] 葛动元，姚锡凡，李凯南等. 双目立体视觉系统的标定[J].机械设计与制造，2010，（6）：188-189

　　[3] 刘亚菲，郭慧，聂冬金等. 双目立体视觉系统测量精度的分析[J]. 东华大学学报（自然科学版），2012，38（5）：572-576

　　[4] 刘俸材，谢明红，颜国霖等. 双目立体视觉系统的精度分析[J]. 计算机工程，2011，37（19）：280-282，285

　　[5] 刘源泂，孔建益，王兴东等. 双目立体视觉系统的非线性摄像机标定技术[J]. 计算机应用研究，2011，28（9）：3398-3400

　　[6] 熊凡. 双目立体视觉系统标定及重构方法研究[D]. 武汉工程大学，2012

转载请注明来自：http://www.qikan2017.com/lunwen/dzi/4612.html