层级：200 类商品隶属于 17 个商品大类（如方便面、纸巾、饮料等），天然构成了层次的结构，并可作为辅助监督信息用于进一步的训练。

图 6：17 个商品大类。

难易：针对结算图设计了三种难度：Easy、Medium 和 Hard，包含的商品类别数和数量分别为：

表 2：结算图的三种难度。

强弱：在监督信息层面，我们为每张 RPC 的结算图均提供了由弱（Shopping List）到中（Point）再到强（Product BBox）的三种强度监督信息。

图 5：结算图的三种强度监督信息。

RPC 数据集基准

ACO 基线方法

旷视在本文提出了 4 个 ACO 基线方法，分别是 1）Single，2）Syn，3）Render 和 4）Syn+Render。

只使用 RPC 数据集单品图的标注信息，且直截了当地把这些单品图用于训练，这种策略即是首个基线方法，称之为 Single。另外，本文使用的检测器是 ResNet101 作为 Backbone 的特征金字塔网络 FPN。

通过把剪裁出来的单品随机粘贴在背景上以合成 10,000 张结算图，接着用其训练检测器，这是第二种基线方法，表示为 Syn。

为把上面合成的结算图渲染的更加逼真，旷视借助 Cycle-GAN 转化合成图，如图 9 所示。接着用这 10,000 张渲染的图像训练检测器，这是第三种基线方法，表示为 Render。

图 9：合成结算图与渲染结算图实例对比。

此外，还可以混合使用合成图与渲染图训练检测器，这是第四种基线方法，表示为 Syn+Render。

针对 ACO 任务提出的整个方法的 pipeline 如图 10 所示：

图 10：基线方法 pipeline。

实验结果

在进入到实验结果之前，需要说明的一点是最优的评测指标并不是传统检测任务中的 mAP50、mmAP 等指标，而是本文提出的 cAcc（Checkout Accuracy），即正确核验一张图像内所有商品的精度，简单来说，就是“整单正确率”。

这里按照上述的 Easy、Medium、Hard 三种 mode 测试了 ACO 任务在 RPC 数据集上的实验结果，如表 3 所示：

表 3：实验结果。

研究展望

虽然 RPC 数据集跨域检测方法适用于解决 ACO 问题，但并非其他方法行不通。其他研究方向也可从 RPC 数据集获得启发：

1. 在线学习解决 ACO 问题。实际的零售场景中，商品种类将会不断翻新。快速迭代模型而无需重新训练成为首要问题，这时在线学习就派上用场了。

2. ACO 任务的一个潜在解决方案是在不借助商品检测技术的前提下，直接从结算图中获取商品清单。这本质上是把 ACO 问题转化为一个物品计数问题。

3. 利用结算图的监督信息。RPC 数据集有着不同层次的结算图的监督信息，如何将其利用起来更好地完成 ACO 任务仍值得进一步研究。

4. 作为其他计算机视觉任务的补充数据集。虽然 RPC 数据集针对 ACO 问题而设计，但是标注有商品的 ground truth 定位/边界框，也就适用于物体检索、few-shot/弱监督/全监督物体检测等领域的研究。

结论

旷视在本文中发布了目前学术界最大的商品识别数据集 RPC，并定义了 ACO 任务和对应的评测指标。RPC 数据集含 200 个商品类别，83,739 张图像，包含单品图和结算图两种形态，并且配有不同监督强度的标注。借助这一数据集，本文清晰界定了 ACO 问题，并使用 4 种基线方法基准化这一数据集。实验结果表明，在这一数据集上 ACO 仍有较大提升空间。同时，该数据集还适用于多个潜在的研究方向。

旷视是全球领先的人工智能产品和解决方案公司。自2011年成立起，便意识到人工智能将为世界带来巨大变革，而深度学习是支撑人工智能革命的关键。以深度学习为旷视的核心竞争力，我们得以持续不断地推动全球技术创新，并率先开始将前沿技术商业化。

依托自研的新一代AI生产力平台Brain++，专注于算法能创造极大价值的领域：个人物联网、城市物联网和供应链物联网，向客户提供包括算法、软件和硬件产品在内的全栈式、一体化解决方案，帮助客户及终端用户降本增效，并带来极致体验。目前，旷视拥有近3000名员工，业务遍及全球，服务数十万开发者和超过3000家行业客户。

作为全球领先的人工智能产品和解决方案公司，旷视从2017年开始就进入智慧物流领域，基于云、边、端等平台的深度神经网络算法创新，打造智能物流装备及“智慧大脑”旷视河图，并聚合行业合作伙伴，向工业物流及商业物流场景提供高度智慧化的行业解决方案及全生命周期服务，帮助企业降本增效、简化管理，为工业数字化升级提供创新引擎。

在算法方面，旷视依托自主研发的新一代人工智能生产力平台Brain++，结合物流场景的实际需求，能够为不同的物流场景定制化输出算法，让新算法的生成更高效、更经济地服务物流场景的客户。

在软件方面，旷视打造了业界首个机器人物联网操作系统——河图操作系统，具备生态连接、协同智能、数字孪生三大特性，使旷视得以在各类物流环境中智能协调软件、物联网设备和人，帮助客户一站式解决规划、仿真、实施、运营全流程。目前河图已经成功落地百余个项目。

在硬件方面，旷视正在不断推出新一代物料搬运AGV、智能圆形播种机、AI+堆垛机等多款自研机器人及AI物流装备，全面覆盖搬运、存储、输送分拣场景。目前，旷视在北京、宁波、苏州拥有3家研发制造基地，用于机器人及智能物流装备的测试与生产。今年下半年，旷视还将推出多款机器人及人工智能物流装备。

此外，旷视也在不断联合产、学、研、用等产业各方的力量，共同推动智慧物流的快速发展。

目前，旷视已将供应链物联网业务扩展至10余个国家和地区，累计向智能制造、零售电商、3PL、汽车、鞋服、医药、教育等数10个行业的数百家客户提供端到端的智慧物流解决方案。