面向新型显示产业链的产品缺陷检测与分类
案例摘要：
质量检测的数字化发展是实现数智化制造的重要组成部分，数字质检已经成为工业数智化发展的迫切需求。针对当前新型显示行业产品缺陷检测人工依赖度高、难度大、效率低、稳定性差等行业痛点问题，数之联自主研发了数字质检产品，基于新型显示产业链产生的缺陷图像数据、履历数据、设备数据、工程数据、微观结构数据，构建人工智能质检模型，突破了复杂背景条件下和小样本条件下的产品缺陷智能检测与分类、模型轻量化及高效运行、模型可解释性等关键技术，核心技术达国际先进水平，填补了缺陷智能检测与分类、良率优化领域的国内空白。项目实施助力新型显示行业产品缺陷的高效检测和定位、生产参数与工艺的优化调整，从而提升产品良率，切实为行业企业实现降本提质增效，机器准确率基本能超过95%，代替了80%的检测环节人员工作量，节省了80%的人员成本。
实施背景：
产品表面缺陷检测与分类的智能化是实现“智能制造”的重要组成部分，尤其是面板、PCB板等新型显示产业链的产品制造工艺复杂繁琐，快速准确地定位缺陷、判定缺陷严重性等级并进行高效处置是提高产品国际竞争力的必要条件。当前新型显示产品生产制造过程中，外观检测是质量检测的重要环节。目前产品的外观检测主要依赖人工目检，存在检测效率低、耗时长、成本高等问题。近年来，随着智能制造理论与技术的不断发展，机器视觉技术越来越多地应用于产品缺陷检测与分类，生产线上的人工目检方法已不能满足产业升级的要求，如何将机器视觉智能质检系统的建设应用深度融合行业场景实现人工代替，已成为面板、PCB/PCBA、家电、汽车等制造行业的共性需求。
实施目标：
通过技术创新与智能化手段，解决传统检测效率低、成本高、准确率低等问题，提升检测效率与准确率，降低人力成本，推动制造企业智能化转型，实现国产替代与自主可控，助力产业数字化升级，推动绿色制造，形成跨行业示范效应，提升我国工业制造的国际竞争力。
建设内容：
项目产品以机器的眼睛代替人眼完成对产品品质的检测和控制，不但扩充了设备功能，而且提高了设备的生产效率和能力，已成为企业保证其产品质量的重要手段和必然趋势。
产品缺陷检测与分类系统的数据源层是基于应用场景中DFS系统或者AOI设备实时采集图像数据，进入图像业务数据存储区。按照数据场景不同，分为打标数据、训练数据、测试数据、结果数据；基于这些数据集，通过深度学习算法进行模型训练和缺陷检测。通过调度管理模块，系统实现各种任务的管理调度，包括模型的周期性训练和优化等。通过策略管理，实现多线程、优先级机制、复判机制等策略机制，灵活方便提升全局系统的灵活性和高效性。在缺陷检测阶段，系统自动从采集的图像中检测出缺陷的位置、类型以及置信度等信息，最终将结果推送到不同业务系统（MES、MDS、EDA、EDB），基于存储结果，系统灵活实现各种统计查询并进行可视化呈现，实现不同缺陷的监控和缺陷抽判等功能。为了实现数据系统核心功能和数据的可复用性和扩展性，提供SDK等接口服务能力。在监控层面，由底向上，从基础资源状态监控到作业状态监控，再到服务组件监控和应用状态监控，实现多层多核的监控子系统。
项目的数据要素利用方案及关键技术突破从升级缺陷检测与分类流程、创新产线智能改造与升级方法两个方面进行说明。
1.升级缺陷检测与分类流程
缺陷检测与分类通过获取MES（企业生产过程执行管理软件）、SPC（统计工序控制）、FDC（缺陷分类控制）、DFS（数据归档系统软件程序）等系统的图像信息，基于自主研发的AI分析引擎提供产品缺陷检测与分类服务，能够全链路打通数据采集、标注、训练和部署环境，通过深度学习和图像处理算法，自动识别产品缺陷和完成缺陷分类、缺陷严重性判级，大幅降低缺陷检测的人力成本，提高生产效率，提升工厂数智化水平。
案例实施效果：
（1）提高检测效率。将自动判图效率从2张/秒提效到10张/秒，ADC检测为毫秒级；
（2）提高检测准确率。人眼识别准确率在90%，机器准确率基本能超过95%；
（3）降低检测成本。代替了80%的检测环节人员工作量，节省了80%的人员成本。
2、创新产线智能改造与升级方法
针对现有的传统AOI检测及人工目检方式漏判和误判高、效率低、成本高、分析耗时长等问题，同时我国工业制造在表面缺陷检测与分析智能化领域长期高度依赖国外厂商提供的工业智能软件，其导入门槛高、自主可控性低，存在被限制禁用的风险。
提供智能检测装备的定制化设计、制造、部署、售后维修升级，以及现有工厂制造产线智能升级改造解决方案。方案突破智能检测设备和专用软件，实现产品缺陷智能检测，突破复杂背景条件下的产品缺陷智能检测技术、小样本条件下产品缺陷智能分类技术、产品缺陷严重性智能判级技术、产品缺陷智能检测与分类模型轻量化及高效运行技术、产品缺陷智能检测与分类云边端一体化平台等关键技术，实现产品缺陷快速诊断定位和管控优化，提升企业生产质量管控能力。
案例实施效果：
（1）提升检测准确率。采用AI算法+传统算法的算法方案，检出漏检率＜0.5%，过检率＜2%；
（2）实现新老机型快速换型。新机型建模10-15分钟，老机型一键换型，满足柔性生产的需求；
（3）设备扩展性强。设备除与MES对接外，支持与数之联的中心平台进行对接，实现设备云边端一体化。
实施效果：
案例：基于机器视觉的智能质检服务，已推广应用于天马、京东方、和辉光电等面板行业标杆企业。
以FPD领域龙头企业武汉天马微电子为例，其Array/OLED工艺会带来种类繁多的缺陷，缺陷由AOI（自动光学检测设备）检出后会有数十位OP进行分类，且每日判图量达到数十万。目前AOI、点灯机等机台检测大多只拍摄照片，不能判别缺陷类别，需要产线作业员依据经验在人工判图系统或以查看本地图像的形式判别缺陷类型，人工判图效率低下，工厂也面临着大量的人力投入、人力流失带来检测准确率下降的问题从而影响良率。
自动缺陷检测与分类系统（ADC）为企业提供高精准的缺陷分类结果，案例设计思路是通过实时监测制造业企业DFS中的图像和图像信息文件动态增量情况，以实时或者批量采集方式将图像同步到自动缺陷检测分类系统（ADC）图像存储中，并解析信息文件以及图像存储地址写入消息队列，系统会读取待判图像进行预测，并将结果写入对应的存储。其中，预测是调用在线的算法预测服务。通过融合深度学习算法服务的系统功能实现代替了部分原有的OP人工判图工作。
关键效果指标：
提高检测效率：将自动判图效率从2张/秒提效到10张/秒，ADC检测为毫秒级。
提高检测准确率：人眼识别准确率在90%，机器准确率基本能超过95%。
降低检测成本：代替了80%的检测环节人员工作量，节省了80%的人员成本，降低成本上百万。
项目整体架构如下图所示：
平台功能架构图如下图所示：
