发布询价单
您的位置:首页 > 资讯 > 行业资讯 > 正文

人脸检测江湖的那些事儿——从旷视说起

2019-02-21 09:40 性质:转载 作者:Megvii旷视科技 来源:Megvii旷视科技
免责声明:AGV网(www.chinaagv.com)尊重合法版权,反对侵权盗版。(凡是我网所转载之文章,文中所有文字内容和图片视频之知识产权均系原作者和机构所有。文章内容观点,与本网无关。如有需要删除,敬请来电商榷!)


解决这个问题大概有两种思路:1)尽可能保持住未遮挡区域的响应值,2)把无遮挡区域降低的响应值弥补回来;前者较难,后者则相对容易。一个简单的做法是让检测器学习一个 Spatial-wise Attention,它应在无遮挡区域有更高的响应,然后借助它以某种方式增强原始的特征图。


那么,如何设计这个 Spatial-wise Attention。最简单考虑,它应当是一个 Segmentation Mask 或者 Saliency Map。基于 RetinaNet,FAN 选择增加一个Segmentation 分支,对于学到的 Score Map,做一个 exp 把取值范围从 [0, 1] 放缩到[1, e],然后乘以原有的特征图。为简单起见,Segmentation 分支只是叠加 2 个 Conv3x3,Loss 采用 Sigmoid Cross Entropy。


FAN 的分层 Attention


这里将面对的一个问题是,Segmentation 分支的 groundtruth 是什么,毕竟不存在精细的 Pixel-level 标注。由于人脸图像近似椭圆,一个先验信息是边界框区域内几乎被人脸填满,背景区域很小;常见的遮挡也不会改变「人脸占据边界框绝大部分区域」这一先验。基于这一先验可以直接输出一个以边界框矩形区域为正样本、其余区域为负样本的 Mask,并将其视为一个「有 Noise 的 Segmentation Label」作为实际网络的 groundtruth。我们也尝试根据该矩形截取一个椭圆作为 Mask,但实验结果表明基本没有区别。


这样的 groundtruth 真能达到效果吗?通过可视化已学到的 Attention Map,发现它确实可以规避开部分遮挡区域,比如一个人拿着话筒讲话,Attention Map 会高亮人脸区域,绕开话筒区域。我们相信,如果采用更复杂的手段去清洗 Segmentation Label,实际效果将有更多提高。


FAN 网络结构


FAN 在 WIDER Face 上曾经保持了半年的 state-of-the-arts。由于仅仅验证方法的可行性,FAN 没有叠加任何 trick,只在原始的 RetinaNet 上调整锚点框,增加我们的 Spatial Attention,因此 FAN 还有很大的上升空间。


WIDER Face 验证集 的 PR 曲线


FAN 示意图


定位精度:2018 WIDER Challenge  Face Detection


第三部分介绍一下旷视科技夺魁 2018 WIDER Face and Pedestrian Challenge 的解决方案。2018 WIDER Challenge 有 3 个 track,旷视参战了其中的 Face Detection。更多信息请参见:ECCV 2018 | 旷视科技夺获人工智能顶赛Wider Challenge人脸检测冠军。


2018 WIDER Challenge  Face Detection 排名


Face Detection 使用 WIDER Face 数据集原始图像,但是 Label 做了一定 Refine。据我们统计,Label 数量稍多于原数据集,导致在不对模型做任何更改的情况下,使用新Label 也会比原 Label 涨点(因此笔者建议为公平对比,今后引用 WIDER Face 的论文最好注明是使用了 WIDER Face Label 还是WIDER Challenge Label)。此外,WIDER Challenge 数据集不同于 WIDER Face 数据集的是,使用了相同于 MS COCO 的Metrics,这意味着对模型的回归能力提出了更高的要求。


旷视夺冠的方法仍然基于 RetinaNet。通过对比常见 Backbone,我们给出了以下表格的结果。可以发现,更强的 Backbone 并不意味着更好的 Detection能力。一些 Backbone 分类能力更强,但是提供的 Feature 或者分层 Feature并不够好;感受野等对 Detection 至关重要的因素也不合适;对于二分类问题而言也存在过拟合现象。由于实验周期等原因,我们最后简单选择了 ResNet 50 和 DenseNet 121 继续后面的实验。需要声明的是,它们在很多情况下都不是最优 Backbone,我们有必要思考何种Backbone 提取的特征最适合做检测。


不同 Backbone 的比较


我们在 Backbone 上应用了 GAP trick,这在上篇知乎专栏(ycszen:语义分割江湖的那些事儿——从旷视说起)有所介绍。该 trick 同样适用于 Detection。我们还使用了Deformable Conv,但其贡献主要是扩大 ResNet 原本不高的感受野。


对于 Head 部分,我们首先将 Smooth L1 Loss 换成 IoU Loss,这是为照顾数据中占比较多的小脸,但实际分析一下可以发现,在锚点框合适的情况下,IoU Loss 的提升会很微小。我们对 Head 的主要改动是做一个简单的 Cascade。Cascade R-CNN[12] 是最早通过做 Cascade 提升模型 Regression能力的方法,我们希望将其移植到单步检测器上。


Cascade R-CNN


可以发现,具体做法部分借鉴了 SFace,即把前一个 Stage 的预训练边界框与 groundtruth 边界框之间的 IoU 作为下一个 Stage 的 Classification Label;随着 IoU 逐渐提升,每个 Stage 的 IoU threshold 也逐渐增大,这与 Cascade R-CNN 很类似。


旷视使用的 Single-Stage Cascade 方案


这个 Cascade 方案不难想到,也简单易行,但是的确涨点,Inference 时也只需保留最后一个 Stage,不会增加 Inference 成本;这个方案也有自己的问题,最大的是每个Stage 在共用同一个 Feature Map,对此已有相关论文提出改进。


Single-Stage Cascade 的 Ablation Study


此外,我们还在 Data Augmentation、Ensemble 等方面做了改进,由于比较 Trivial,这里不再赘述。我们曾在 ECCV 2018 Workshop 展示过该方案,更多内容请查阅 slides:

WIDER Face Challenge workshop.pptx


作者简介


王剑锋,北京航空航天大学软件学院硕士,旷视科技研究院算法研究员,研究方向人脸检测、通用物体检测等;人脸检测算法 SFace 和 FAN 一作;2018 年参加计算机视觉顶会 ECCV 挑战赛 WIDER Challenge 获得人脸检测(Face Detection)冠军。


12下一页

网友评论
文明上网,理性发言,拒绝广告

相关资讯

  • 车间新来了两个“AI智能工友”
    “智能AI叉车机器人可在无人值守的状态下完成上下货工作。”近日,在物资装备公司配件仓库,一场别开生面的“智能仓储 AI助力”双创发布会正在火热进行中。随着物资装备公司杨帆劳模创新工作室负...

    2025-06-03 18:34

  • 文昌电厂:打造智能仓库 让仓储管理提“智”增效
    4月,经过星级仓库现场评定,海南分公司文昌电厂仓库被集团公司评定为“五星级仓库”。走进这座“五星级仓库”,WMS智能仓库管理系统正化身“指挥官”调度着“智能仓储员工”们有条不紊地进行着物...

    2025-06-03 18:33

  • 中国AGV网本周热点回顾(2025年5月26日-5月31日)
    AGV网(www.chinaagv.com)是中国自动导航机器人(AGV)和自主移动机器人(AMR)行业网站!团队拥有超过23年的行业垂直门户运营经验,多年来见证了传统内部物料搬运从粗放化、低效率沿着更加智能化、...

    2025-06-03 18:30

  • 上海“智”造先锋:AI重构工业新范式下的柔性生产
    在上海长宁区的黑湖科技展厅里,一块实时刷新的电子屏上跳动着数万家工厂的生产数据——某食品企业的饺子皮切割模具利用率因AI工艺优化提升23倍,某新能源车企的订单响应时长通过智能排产缩短至原...

    2025-05-28 21:29

  • 强省会 拼经济 | “贵安造”机器人实现全线投产
    近日,贵安新区威迈尔科技有限公司四条智能产线全线投产。作为智能制造领域的新锐企业,该公司从首台机器人下线到全线投产仅用时三个月,跑出了产业发展"加速度"。走进贵安新区威迈尔科技有限公司...

    2025-05-28 21:24

  • 南京市创新产品巡展——智能制造装备、轨道交通产业类32|电力行业室内智能操作机器人
    1. 公司简介亿嘉和科技股份有限公司在2018年6月在上海证券交易所A股主板上市(股票代码603666),公司践行“应用智能科技 改善人类生活”的企业使命,聚合全球创新,以特种机器人研发为切入点,...

    2025-05-28 21:20

  • 中国AGV网本周热点回顾(2025年5月19日-5月24日)
    AGV网(www.chinaagv.com)是中国自动导航机器人(AGV)和自主移动机器人(AMR)行业网站!团队拥有超过23年的行业垂直门户运营经验,多年来见证了传统内部物料搬运从粗放化、低效率沿着更加智能化、...

    2025-05-26 18:37

  • 中国自动化码头效率再次刷新世界纪录
    5月22日,历时10小时35分钟,随着“凯普圣拉萨罗”轮最后一个集装箱完成装卸作业,山东港口青岛港自动化码头以桥吊平均单机作业效率62.62自然箱/小时的优异成绩,第十三次刷新全球自动化集装箱码头...

    2025-05-26 18:35

  • 数智工厂×智慧物流:LET 2025物流展今日正式开幕
    中国AGV网(www.chinaagv.com/)新闻中心2025年5月21日,备受业界瞩目的中国(广州)国际物流装备与技术展览会(LET 2025)在广州·中国进出口商品交易会展馆D区盛大启幕!作为华南地区规模最大、...

    2025-05-22 13:30

  • 国内单一码头最大IGV车队集结!
    近日由上海振华重工集团设计制造的广州南沙四期全自动化码头第四批20台无人驾驶智能导引车(IGV)全部抵港至此广州南沙四期全自动化码头IGV车队扩员至158台标志着国内单一码头最大的IGV车队系统全...

    2025-05-19 17:48

关注官方微信

手机扫码看新闻