文字识别（OCR）是典型的人工智能技术应用落地的场景之一，通过对图像文件的字符进行检测识别，将图像之中的文字转化为可以编辑的文本格式，可以帮助用户自动采集关键的数据，打造更加智能化、便捷化的业务体系，从而提升业务效率，简化业务流程。在医药流通领域，OCR技术有助于实现药械入库的效率和精准度双重提升。

2022年12月，由国控广东物流和旷视联合研发的“药械自动识别和数据采集系统”在国控广东物流佛山物流中心正式投入使用。借助该系统，国控广东物流佛山物流中心的药械信息复核工作效率提升了50%。

药品和器械的信息管理是医药制造和流通企业仓储管理的重中之重。国控广东物流承接了几十万种药械SKU，入库前需复核的药品信息包括厂家、名称、规格、批号、生产日期、效期等十多项信息，业务情况复杂。

其入库流程包括四个环节：第一是订单审核，即员工需要拿着药械入库单据，在WMS系统搜索是否存在这笔订单；第二，单货复核，即WMS系统显示存在这笔订单，员工则将药械的名称、规格、生产期、有效期等信息与单据信息进行复核；第三，员工将复核无误的药械实物信息进行系统录入；第四，为防止人为差错，需要对药械货物进行人工二次验货。

据统计，这样一套人工操作的流程平均每单耗时约两分半钟，面对如此庞大的业务规模，提速是一个亟待解决的难题。

药械信息识别和采集的传统人作业流程

旷视已经开发的医药流通OCR demo，成为了双方一拍即合的契机，国控广东物流开始了运用AI视觉识别技术解决药械全流程信息采集与识别的解题之路。

基于十余年来在视觉领域的技术积累和大量的行业应用，在此次合作中，旷视主要负责提供视觉模块和相应的硬件设备，完成对图片中文本检测、图片矫正、OCR识别和匹配，为前端系统提供服务，共同实现视觉模块与国药控股WMS系统的无缝对接、系统运作效能最优化。

OCR技术虽然有助于实现药械入库的效率和精准度双重提升，但是，单据格式、实物类型的多样，对定制化方案所要达到的效率和精准度要求较高。

项目团队在分析了识别率提升的关键要素后发现，“获取丰富的训练数据，尤其是困难数据的样本数量，是此次合作首个需要克服的难点。”团队成员翊明回忆道。

“我们现场采集的图像数据很多，但是图片中的文字多数为规整打印的白底黑字，困难样本数量占比较少。但众所周知，文字形态是非常多元化的，字体的大小、间隔距离、排列方式、印刷等都会增加带来识别的难点。” 翊明介绍，“收集足够的困难样本数据、找寻药品包装上诸多分散且不规律的文字，然后找到合理匹配方案，才能提升方案的识别准确率和易用性。”

为此，团队根据所采集到的数据形态，进行了数据扩增（CopyPaste方案）来丰富训练数据，即通过将训练集里挑出的困难样式文字以及合成的任意字体、间距、尺寸的文字行进行排列组合、几何变换，并粘贴至目标图像的无文字区域来形成新样本。

除此以外，在实际业务场景中，还会遇到散件被任意摆放在箱内的情况，因此，还需要通过文字方向检测模型完成对文字转正的任务，这样不管物品是何种摆放姿势，文字信息都能被准确识别。

最终，经过双方紧密协作、共创，研发出了药械自动识别和数据采集系统，这其中包含了药械纸箱通道机和药械散件复核台两套软硬一体化的设备，以此匹配不同业务需求。

值得一提的是，药械纸箱通道机的设计较为复杂，“准确的传送图像信息，我们在箱体内部布置四台相机并配备相应的补光灯，对拍摄的区域、像素进行严格的设定，从而能清晰地拍摄到药箱的前后左右四面的信息。” 翊明解释道。此外，复核要求信息的传输要非常快，稍微的延迟都影响工作进度。

在国药控股广东公司，无论是整箱药械，还是散件药械的入库，通过旷视提供的药械纸箱通道机与药械散件复核台，可以快速完成对不同规格，数万余种药品器械信息标签的文本检测，图片矫正与OCR识别，配合单据复核实物复核、人工复核等多种复核手段，只需57秒即可完成入库信息复核，且复核准确度高达99.9%。

旷视的医药流通OCR产品从demo到落地经过接近1年的时间，通过对产品有针对性的改进，我们的识别与匹配算法很好的满足了现有的需求。相信随着模型的迭代、成本的降低，这样的产品会越来越受青睐。