FPGA应用于图像处理

FPGA（Field-Programmable Gate Array）直译过来就是现场可编程门阵列。是一种可以编程的逻辑器件，具有高度的灵活性，可以根据具体需求就像编程来实现不同的功能。

FPGA器件属于专用的集成电流中的一种半定制电路，是可编程的逻辑阵列，内部有基本的逻辑单元，可配置的逻辑块，数字时钟管理模块，嵌入式RAM，以及丰富的布线资源，有的FPGA内部还集成了SDRAM、Cortex-ARM硬核。采用Verilog或者VHDL进行编程。

既然大家能用到FPGA，说明大家在学校里面都上过数字电路实验课。通俗来讲，你可以直观的认为FPGA内部的各个逻辑块就像是实验室里面的各种芯片模组，使用Verilog编程进行逻辑资源的布线就相当于你面对一大堆的电子元器件，采用面包板以及杜邦线把你需要的功能连接起来。怎么连接以及连接线的方式就是你用verilog进行定义的。是不是很简单？

优缺点：

首先说一下FPGA的优缺点，

优点：

FPGA由逻辑单元，RAM，乘法器等硬件资源构成，通过这些资源的组合，可以实现乘法，寄存器，地址发生器等硬件电路；

FPGA可以通过使用框图或者Verilog HDL来设计，从简单的门电路到复杂的FIR电路都可以实现；

FPGA可以无限的重新编程，加载一个新的设计方案只需要几百毫秒，利用重配置电路可以减少硬件开销；

FPGA的工作频率由FPGA芯片以及设计决定，可以通过修改设计或者更换更快的FPGA芯片来达到某些要求严苛的工况。

缺点：

FPGA的所有功能均依靠硬件实现，无法实现分支条件跳转等操作；

FPGA只能实现定点运算；

小结：

FPGA依靠硬件来实现所有的功能，速度上可以和专用芯片相比，但是设计灵活性和通用处理器相比还有些许不足。

FPGA可以应用的行业：

视频处理；

图像分割；

数据延迟器和存储设计；

通讯行业；

安防；

工控业；

AI：（也是当前最火的行业）；

####下面就对本人相对比较熟悉的图像处理行业进行简单介绍，浅谈一下自己的看法；

我最开始学习的事51单片机，但是实际工作从事的事图像识别方向的应用开发，由于51单片机的先天性导致实际工作中很少使用，最开始使用得是ADI的Blackfin系列的DSP，随着图像分辨率的提高，以及处理算法的复杂度的上升，Blackfin处理器业渐渐不能满足实际需求；于是转向了FPGA，至此在FPGA上也使用了十多年了。

FPGA的优势之一就是流水线操作，虽然主频比CPU，GPU，NPU等低很多，但是采用流水线方式可以同时处理，也就能达到了很好的实时性。因此在一些实时性要求非常高的应用领域，做图像处理只能使用FPGA。这几年一直从事分选设备的图像处理方面的工作，目前在分选领域基本都是使用FPGA作为主处理器，不管是采用线阵传感器还是面阵传感器，FPGA从采集到图像数据开始，到下一次采集到新的图像数据，这个延时时间是固定的为行频或者帧频的间隔。这个优点是CPU无法满足的，只有FPGA的实时流水线结构才能才能满足大数据量的实时处理。

传统的采用CPU，DSP等方式进行图像运算的方式是，首先CPU或者DSP把采集到的数据通过DMA或者其他总线方式搬运到内存中，然后CPU或DSP运算部分再从内存中读取数据进行处理，处理完成后再把处理结果保存到内存中，供其他函数进行访问；如果按照线阵传感器的行频格式进行处理，按照10K的行频计算，则每行数据的实践间隔是0.1ms，也就要求在0.1ms时间内必须把这一样数据处理完成，并把处理结果保存到内存。如果CPU或者DSP的主频足够高，理论上也是可行的，但是主频不可能无限提升。

如果采用FPGA进行处理就完美的避免的频繁的访问内存了；因为FPGA对图像的处理事实时流水线的运算处理，FPGA内部的逻辑资源可以搭建若干个处理单元，每个处理单元都是同时工作的，当有足够多的处理单元时，虽然FPGA的主频较低，但是同时处理数据的能力将会非常大。
在这里插入图片描述

上图就是一个简单的流水线示意图，第一行时数据A进来，第一个单元处理数据A，等到第二行的时候，数据A已经进入到的下一个处理单元，同时数据B进来，这是数据A和数据B分属如不同的处理单元，因此数据A和数据B可以被同时处理；当有足够多的处理单元时，可以对很多数据进行同时处理，数据A的输出仅仅是固定延迟若干个处理单元的个数个时钟。只要处理单元数固定，那么这个输出数据的延迟时间间隔也是固定的。

例如实际应用中，FPGA直连Sensor，然后驱动Sensor，直接获取图像数据，第一个单元可以对获取的图像数据进行转换，如Bayer格式转RGB，RAW转RGB等；第二个处理单元可以对RGB数据进行差值运算、亚像素校正，第三个单元进行腐蚀/膨胀操作，第四个单元进行canny算子检测。。。。。。。

这样的流水线的处理方式时按照Sensor输出的数据流的流动方向顺序处理的，它无法像CPU或者DSP那样缓存整幅图像进行无序操作，FPGA处理图像数据就相当于每个单元处理完成后就把处理结果交给下一个处理单元，每个处理单元只对当前进入的数据负责，不在保存中间结果数据；

随着海量数据的算力需求越来越高，FPGA芯片将继续向更高密度、更高通信带宽方向发展，此外，异构计算融合等形式将越来越受推崇。并且从软件发展角度，也更注重配套的工具能力，提供高性能的AI加速能力。

FPGA的关键价值在于可编程性、灵活性，AI发展初期，很多新兴应用还在酝酿中，各类标准仍在演进，AI算法也在不断推陈出新，对于硬件的算力和灵活度要求很高，FPGA刚好契合这些需求。此外，在推理环节的小批量数据处理中，FPGA可凭借流水线并行，达到高并行、低延迟的效果。并且，受低延迟、数据隐私和带宽限制等因素驱动，FPGA能够满足低功耗、灵活以及快速响应等需求。