通常，使用传统的机器视觉检测方法来确定缺陷并不是一件容易的事，例如发现工业相机外壳上可能存在的缺陷。然而，深度学习技术却为此类缺陷检测应用提供了一种有效的方法。

为了测试这一点，FLIR Systems公司的工程师们使用颇具成效益的组件建立了一套演示装置，用于测试该系统的可行性和有效性。

该演示包括检查相机的外壳是否有划痕、油漆是否均匀以及是否存在印刷缺陷。为了避免上述缺陷，工业相机制造商必须检查相机外壳，以确保产品外观完美。

很难对传统机器视觉系统进行编程以识别一定范围的潜在缺陷，并且也很难确定哪些潜在的缺陷是可以接受的，哪些潜在的缺陷是不能接受的。即便一个小缺陷可以接受，两个小缺陷还可以接受吗？一个大缺陷和一个小缺陷呢？这种需要主观判断的检测应用，正是深度学习技术可以有效部署的地方。

图1：为了对系统进行测试，FLIR的工程师使用了一台工业相机、一个AAEON单板计算机和Intel Movidius的神经计算棒。

为了测试如何应用深度学习技术来解决这个问题，FLIR的工程师使用了一台160万像素的Blackfly S USB3工业相机以及一台AAEON Up Squared单板计算机，单板机配备Celeron处理器和4GB内存，采用Ubuntu 16.04操作系统；此外还配备了Intel Movidius的神经计算棒（NCS）（见图1）。据Intel报道，神经计算棒于2017年发布，是基于USB的“深度学习推理工具和独立的人工智能加速器，为广泛的边缘主机设备提供专用深度神经网络处理功能”。

神经计算棒采用英特尔Movidius Myriad 2视觉处理单元（VPU）。这是一个片上系统（SoC），配备两个传统的32位RISC处理器内核和12个独特的SHAVE矢量处理内核。这些矢量处理内核可用于加速深度神经网络使用的高分支逻辑。流行的深度学习框架（包括Caffe、TensorFlow、Torch和Theano）可用于为神经计算棒构建和训练神经网络。

选择MobileNet V1作为神经网络，因为它结合了高精度、小尺寸以及优化的移动硬件等优势。FLIR使用TensorFlow框架来构建并训练了一个权重为0.63的网络，MobileNet网络的最大可能权重为1。所选的输入图像大小为224×224。最终产生了一个具有大约3.25亿Mult-Adds和260万个参数的网络。

图2：Intel Movidius Myriad 2 VPU直接集成到新型Firefly相机中，使得用户能够将经过训练的神经网络直接部署到相机上，并在边缘进行推理。

使用了包含61个已知良好外壳和167个不良外壳的一组小型数据集。通过仔细设计测试环境来获得最大程度的图像一致性，使得图像之间的唯一变化是缺陷。为了消除不同外壳之间的过渡状态的伪结果，增加了第三个“等待”状态。这是通过在该阶段的120幅图像上训练一个“等待”事件来实现的，其中部分相机外壳在框架外，被遮挡或未对准。

训练是在台式PC上进行的，并使用NVIDIA GTX1080图形处理单元（GPU）进行加速。网络经过优化，使用Bazel转换为Movidius图形格式。该工具最初是由Google开发的，可自动构建和测试软件。

当分类速度能达到25fps、并且准确率达到97.3％时，就可以宣布成功了。这比每3~4秒检测10台相机（可以通过手动检查实现）要快得多。

FLIR将Intel Movidius Myriad 2 VPU直接集成到新型Firefly相机（见图2）中，实现了下一步的深度学习。这款相机已经在2018年11月的德国斯图嘉特VISION展上展出。

FLIR能够让用户将经过训练的神经网络直接部署到相机上，并能以“与系统相同的速度和精度”，在边缘进行推理；主系统由单独的相机、主机和神经计算棒构成。最初的型号采用单色158万像素Sony IMX296 CMOS图像传感器，通过USB 3.1 Gen 1接口提供3.45µm的像素尺寸和高达60fps的帧率。推理结果可以通过GPIO输出，也可以作为GenICam块数据输出。

对于具有Myriad 2 VPU和MobileNet特性的机器视觉应用，这台售价299美元的相机可以省去主机系统。FLIR Firefly相机的重量仅为20克，体积不到标准“ice-cube”相机（27mm×27mm×14mm）的一半，能够大大减小嵌入式视觉系统的尺寸和重量。

FLIR Firefly相机在成像和进行推理时消耗的功率为1.5W。对于需要进一步处理或结合推理与传统计算机视觉技术的更复杂的任务，Firefly相机仍然不需单独的神经计算棒。

FLIR表示，Firefly相机允许用户轻松开始深度学习推理。由于使用熟悉的GenICam和USB3协议，用户可以将其插入现有的应用中，并将其作为一个标准的机器视觉相机使用。推理生成的元数据，如对象分类或位置数据，可以作为GPIO信号或GenICam块数据输出。