工业视觉检测平台的思考与应用.pdf

主讲人：石康、王一凡kang.shi、工业视觉检测平台的思考与应用工业视觉检测平台的思考与应用目录01智能制造中AI落地的机遇与挑战02经验分享03使用ViMo平台3深度学习发展史4传统视觉算法VS深度学习算法传统机器视觉的局限传统机器视觉的局限深度学习算法的优势泛化性泛化性差差算法算法迁移性差迁移性差开发、维护成本巨大开发、维护成本巨大待识别目标（缺陷）千变万化待识别目标（缺陷）千变万化不同产线、产品、微细差别需不同产线、产品、微细差别需要重复开发（调整）要重复开发（调整）新缺陷、新规则新缺陷、新规则-新新算法算法缺点缺点造成原因造成原因数据量算法效果效果门限传统机器视觉 对于有限、简单目标、初期可获得较好效果 随着场景的复杂度升高，算法适应性差传统视觉无法解决的问题深度学习算法 算法适应性强 更好的平衡精度&过检率5n选择的AI场景要符合“实际”业务目标；n如何设定项目目标？业务目标直接-AI的指标n怎么落地、在哪落地；n期望落差；例如：希望AI能替代“完整”的人；人看图片都分不清的，希望AI能分清；nAI项目的ROI衡量；人才运维产品兼容升级集成、上线、运行场景和预期n缺乏AI人才；n对口资源招募难；n内部已有人才资源需“实践性”项目才能掌握完整项目的nAI系统交付后，希望不需要具备“AI专家”也能维护；n系统的问题和诊断、反馈要简单，尽量能自己搞定；nAI系统或者交付的整体解决方案（软件、算法、模型等）要能具备应对“新问题”的能力；nAI系统如何有效、高效的集成到企业的ERP、MES等系统中；n如何说服管理层相信本次导如何说服管理层相信本次导入的这个入的这个AI系统是可信的、系统是可信的、比人好、比人工目检要可靠；比人好、比人工目检要可靠；n如何对AI系统进行持续的监控、使之可信；6制造市场广阔，工业AI落地困难重重标准量化需求明确场景确定所需适配的设备确定有良好的训练环境样本一致跨行业需求相似汽车行业消费电子行业PCB 行业食品溯源新能源检测家居品质分类工业场景现状频繁变更的需求频繁更换的场景频繁更换型号的设备难以提供良好的训练环境难以保证的样本一致性问题同行业细分领域之间需求千差万别工业检测产品种类多，产品生产周期短，现有定制化打法无法满足规模化交付需求经验分享8某世界五百强车企水箱在生产过程中由于前工序段的生产工艺问题会造成水箱组成零件存在少部分缺陷。一个汽车水箱需要检测300个左右的细小零件，只要有一个零件存在缺陷那么整个水箱就是残次品，并且对水箱的整体散热性能和生命周期有较大影响。目前多条产线的产量巨大，需要对所有水箱进行人工肉眼检测，因为缺陷品一旦。n提供成像方案和缺陷检测算法及相应软件并与电装产线设备配合剔除残次品。n尽管每条产线只生产固定尺寸的水箱，但为了方便部署，客户要求模型兼容大小尺寸不同、形状相似的水箱型号。n要求有95%的识别率，检测数据与产线控制系统互通。多人工全检多人工全检资源浪费、效率低3D传感器解决方案l只能检测高度差特别明显的缺陷l对同一个零部件检测一致性不好 传统的2D解决方案l对于这种不规则缺陷无法用统一算法l对于灰尘或者其他干扰太敏感l过杀漏杀率不能满足工业产线标准 OKNG SM-InSight 二分类解决方案9汽车水箱散热芯细小缺陷检测汽车水箱散热芯细小缺陷检测公司名称公司名称D公司企业地点企业地点广州所属行业所属行业汽车产品和服务产品和服务汽车零配件检测项目范围：项目范围：实现汽车水箱散热芯的直边丢失、R角丢失等缺陷实现OK/NG二分类，并且定位出缺陷位置。主要目标：主要目标：设计成像方案等硬件，完成算法SDK及软件UI设计定位缺陷位置并将检测结果，通过TCP/IP协议反馈给机械手，执行机构对缺陷物体进行剔除操作。解决方案：解决方案：SM-Insight工业质检软件实现标注、训练、导出缺陷检测算法模型SM-Insight 工业质检推演软件、包含数据统计、权限管理、产品管理等功能项目难点：项目难点：缺陷类型繁多有R部扁管开裂、平行部单边整体丢失、平行管双边整体缺失、平行部扁管缺口、平行部挤压变形等。传统2D检测算法检测不稳定，错判率高、3D检测方案无法只能检测高度差相关缺陷。每个水箱有300个左右细小零件，对检测算法效率有很高要求。主要收益：主要收益：解决客户尝试传统2D和3D方案无法检测采用人工抽检的问题。替换了客户人工抽检的方式，并且实现产品检测全覆盖避免了不良品组装到整车了造成巨大的经济损失。根据统计不良品的数量可以提升生产工艺及车间操作工的作业规范及效率。*本项目已经在广州电装增城水箱生产车间上线测试迭代。95+%高识别率效率效率85%替换人工的质检方式视觉节拍视觉节拍900个/小时90%ViMo 训练平台，部署快、项目周期缩短30%算法进行优化加速，硬件配置低10某A客户代工厂需要对新一代智能手表表带金属件雕刻字符进行智能识别，用于材料追溯。项目为A客户国内第一条产线，希望实现智能化生产，该产品预计于2020年9月上市。该代工厂6条产线（1200片/小时）生产A客户某产品，因物件过小无法人工识别，客户希望采用自动化设备完成，并达到快速、高效的处理流程。所以具体需求如下：n提供字符识别软件，包括：软件界面与智能化算法；n尽量提高字符准确率，保证追溯码正确入库；n确保OK/NG二分类达到高检出率，减少人工复查；n兼容不同雕刻工艺；n极限压缩算法推理时间。AI OCR思谋工业智能检测平台OK/NG判别字符识别识别结果可视化n对接自动化系统n上报识别数据识别识别困难困难物件过小无法目检快速快速10倍提高检测速度产线实物机构+成像三条表带工位信号11雕刻工艺一览雕刻工艺一览银色雕刻字符黑色雕刻字符平面雕刻字符n数据说明：以上为本项目所获得数据的不同日期、不同批次展示，数据较模糊及不统一；n客户需求：兼容不同雕刻工艺字符，并保证高识别率及高准确率。12智能手表表带智能智能手表表带智能 OCR OCR项目项目公司名称公司名称P集团企业总部企业总部台湾（台北）所属行业所属行业高科技、电子制造产品和服务产品和服务3C部件产品项目范围：项目范围：金属件字符OK/NG判别金属件字符雕刻识别主要目标：主要目标：替代人眼识别字符达到高识别率、高准确率快速识别字符，极限压缩处理时间解决方案：解决方案：SMore-ViMo思谋工业智能检测平台标注、训练、运行项目难点：项目难点：物件过小，无法人工目检字符多种形态，并可能出现雕刻、成像等问题，从而影响识别率识别率要求大于95%，准确率要求99.5%以上所有产线(6条)采用智能无人化生产客户对AI项目经验很少，沟通成本较高主要收益：主要收益：极大减少人的检测识别时间，加快生产流程所有产线(6条)人力实现无人化生产泛化能力强，兼容多种雕刻工艺及成像效果算法稳定，鲁棒性强99.9%99.9%字符准确率99.599.5%识别率替代替代100%100%综合人员替代率快速快速实时处理效率：0.1s13上海某研究院 致力于“超越摩尔”技术和物联网应用的创新和产业化。8英寸“超越摩尔”研发中试线n工程服务（技术分析、测试、设备和能力、分析报告）n设计服务（半导体设计、制造全流程）、Turnkeyn知识产权（评估、分析、运营）几万几十万张8192x8192照片模拟器和数字单元类型，数量、位置JSON文件电子显微镜逐层扫描现有人工标注、自研分析软件的测量，标注2N个月时间每个芯片样本n 芯片分析报告n 芯片设计文件准确率低准确率低现有作业软件误差高周期长周期长人工统计和分析极为耗时成本高成本高需专业知识才能做统计分析技术人员+自研软件分析14裁剪后：512x512结果：类型，坐标项目项目AI的工作任务的工作任务业务指标业务指标备注备注项目1识别闭合图形（线识别闭合图形（线/孔孔/多边形）多边形）分割检测分割检测输出：1）所有的线（闭合标记出来）2）孔3）多边形准确率：99%覆盖率：100%例如：检测了100万个孔，容许漏检100个。项目2数字单元识别数字单元识别 聚类分析聚类分析范围：1）标准：500种2）定制：100种输出：分割出每个器件，并且将相同类归为同一类准确率：99%覆盖率：100%15AI集成到客户业务系统集成到客户业务系统SM-Insight AI推理环境SM Insight AI训练环境Linux OSDocker2XCPU，128GB内存英伟达 Titan V GPU待处理照片的分辨率待处理照片的分辨率n 512x512n 8000*8000n 16000*16000n 32000*32000n 64000*64000输出文件：输出文件：JSON（参考当前）（参考当前）n 类型：Metaln 坐标：X,Y,X,Yn 置信度：置信度：01之间之间n 芯片分析报告n 芯片设计文件备注：服务器为当前SITRI的硬件环境，仅供参考ID输出输出输出输出状态状态图片1孔、线、位置0.95人看图片2孔、线、位置0.98OK图片3孔、线、位置0.98OK人复检AI处理说明：低置信度 or 定期5%抽检不停补充负样本，迭代提升模型准确率n 分析软件直接显示AI输出的数据n 数据合并n 数据整合和处理AI的处理任务流的处理任务流16 2020 SmartMore Technology Co.,Ltd.All rights reserved.遇到判定边界模糊问题embedding：我们会使用定制的损失函数、对不同实例自动分配权重、困难样本挖掘等技术使得embedding更加合理。考核形式：通过双重阈值的设定，把“绝不触犯的底线”和“可接受混判的区间”从概念上进行区分，尽量保障对于底线问题不犯错，对于争议问题可混判。通过聚类、混淆矩阵等手段快速收集和呈现。标注样本的混淆程度信任：由于算法的表现具有稳定、量化的特性。我们通过算法倒推标准，优化、规范人工标准的定义和边界。数据算法流程17 2020 SmartMore Technology Co.,Ltd.All rights reserved.个别缺陷出现少的问题提升样本利用率提升样品利用率富信息标注，提升单样本信息量小样本学习技术推理时重利用训练样本）重采样、权重分配、在线数据增强，在线困难样本挖掘样本物理旋转、添加噪声进行样品增强模拟制造缺陷样品18 2020 SmartMore Technology Co.,Ltd.All rights reserved.迭代与标注任务：图片分析任务：图片分析假设：假设：95%-Recall，以1万张图举例5%95%AI的结果，没问题的结果，没问题n250张n工作：人工确认置信度较低的部分，高亮色框出，YES/NO的确认即可n250张n工作：图片上置信度低（NG部分 高亮色框处），需要人工重新打框OKOKNGNG置信度置信度=0.98置信度置信度 0.98假设：假设：n 95%-AI判断没问题，无需人判（节约人力成本，保证一定准确率）n 5%-AI判断不确定500张图片需要人工复检n 上线后5%的定期、随机抽查（监控AI），监控AI的精度n 阈值设为0.98（假设）保证阈值以上的检测是准确的随着模型精度提升可逐渐下调，用来提升Recall（覆盖率）是否有问题是否有问题肉眼复检肉眼复检无需标注无需标注n 分析软件二次数据n 数据合并n 数据整合和处理可能的人力损耗可能的人力损耗通过23轮生产阶段的负样本和优化从而迭代大幅提升覆盖率、稳定模型提升覆盖率提升覆盖率优化和稳定算法优化和稳定算法19 2020 SmartMore Technology Co.,Ltd.All rights reserved.项目系统架构GPU/CPU服务器服务器集群集群训练系统存储（NAS）（站点/产品/训练集/题库/验证集）AI推理模块AI训练模块JSON/Protobuf格式任务ID图片存储的路径 ADC前台应用系统 TIBCO对接MES系统中间件AOI机台玻璃/图片ID检测结果读取NAS的图片（本地目录挂载）玻璃IDK8S容器环境调度管理任务管理业务规则任务模板缺陷分析算法微服务（api server）模型1/SDK模型2/SDK模型./SDK模型管理模型管理模型训练题库管理题库验证评测智能标注系统模块生产存储系统（NAS）缺陷图片前台系统复判工具定期任务从NAS拷贝过去定制算法部分执行环境，引擎等、依赖库监控/部署、实例管理玻璃/图片ID检测结果XML格式FTP上传CSV描述文件图片发消息给中间件中间件利用ViMo平台加速项目落地21高精度零代码高灵活混合云内置多种为工业领域量身打造的高精度计算机视觉算法包括字符检测识别、缺陷检测、目标分类等操作简单灵活，无需代码编程简化复杂的模型训练过程将视觉检测方案设计的能力赋予行业IT技术人员算法搭配类型多达超50种可灵活支持多种高难度工业视觉检测视觉方案设计需求具备云计算特性的同时，满足企业对数据安全的极致追求安全的数据同步与共享方案使用方便、功能更强大功能要点小样本学习能力极小缺陷识别能力集中式项目管理分布式资源调度灵活的数据标注方式智能标注动态数据增强自适应模型训练部署灵活支持二次开发SMore ViMo 工业AI平台新一代工业AI平台，提供工业AI全场景视觉能力