基于线结构光的手机封装胶测量方法研究

0    引 言

      在工业生产中，由于自动点胶机工艺水平的限制， 胶水不可避免会出现破裂、胶过厚、过细、不足等现象[1] 。 这些问题会导致显示屏幕与手机壳贴合不牢靠，长时间 使用会导致产品故障，严重时会造成手机渗入不明液体 等危险发生，若能及时发现胶水在封装时的缺陷问题，就能避免不必要的危险发生[2] 。因此，屏幕下点胶质量 的好坏对于一部手机的使用安全性和寿命有着极其重 要的影响。目前随着手机用户的不断增加，手机屏幕越 做越大、边框变窄等新需求也日益显著，这一需求引起 了手机生产厂商们的高度重视和关注[3⁃4] 。但点胶质量 很难达到百分百的准确控制，由于胶水的特殊性和手机 壳内部复杂的结构，传统图像处理方法在胶水的成像条件和算法设计方面有明显的局限性。针对这一问题，文 献[5]率先提出一种基于 HALCON 的点胶质量检测方 案，该方案通过提取合格胶水的轮廓线作参考，将待测 胶水的轮廓线作对比来判断溢胶、断胶等问题；文献[6] 也提出了一种适用于汽车涂胶质量检测方法，该方法通 过提取胶条亚像素边缘，计算出胶水的截面直径，测量 结果接近实际数值。上述两种方案均使用传统图像处 理方法，可以较快又准确地判断出毫米级胶水的缺陷问 题，但对于手机内部微米级封装胶水还无法做出检测 评估。

       本文提出一种基于线结构激光扫描的立体视觉法， 对点胶后手机壳屏幕下的封装胶水做缺陷检测。通过 使用 LMI Gocator 2510 传感器，采集屏下胶的深度信息 图 ，在 HALCON 上 做 图 像 处 理 ，提 取 深 度 图 中 ROI （Region of Interest）区域，得到点胶前无胶壳和点胶后有 胶壳的胶道，处理两者的 ROI 得到无胶、有胶以及两者 胶模型的正交截面轮廓线；对有胶轮廓做轮廓线高度、 宽度、轮廓距离测量来评估缺陷问题。主要涉及到的检 测项有：有无胶水，胶的高度、宽度和溢胶缺陷问题。

1    采集检测系统和待测工件特征

1.1   被检测产品特征参数分析

       图 1 为未点胶水的手机壳，待测胶水位于胶壳边框 0.35~0.45 mm 处的胶道上。A⁃A 为待测产品的胶边框 理想截面图，分别由胶壳胶道、溢胶槽、边框三部分组 成，其中，溢胶槽宽度 gb 为 0.35~0.45 mm，胶道宽度 wb 为 1.2~1.3 mm，胶道整体形状接近于矩形，胶水是成分 为聚氨酯的热熔胶，点胶后胶水的颜色为黑色且宽度 gw =1.1 mm 左右[7] 。

1.2    采集检测系统

       利用线结构激光传感器搭建封装点胶检测系统，如 图 2 所示，该系统由点胶运动平台、Gocator 2510 线激光 传感器、控制箱、运动控制卡、点胶采集、检测工位等 五部分组成。通过激光三角测量法原理采集胶路数据， 应用传感器 SDK（Software Development Kit）开发工具将 数据转化为深度图像。

       获取胶路数据前需要点胶机喷胶到无胶手机壳胶道上，因此图像算法需要结合系统的运动控制[8⁃10] ，通过 对无胶壳采集无胶数据，确定无胶壳中胶道空胶区域， 点胶机开启点胶，然后对点胶后的手机壳采集有胶数 据，确定有胶壳中胶道的有胶区域，系统整体运动控制 流程见图 3。

1.3   激光三角测量法

       已知传感器内激光发射器 L 与相机中心点 O 的距 离和角度（其中一个角度取决于相机上激光返回的位 置）计算传感器与目标之间的距离 d，如图 4所示。将该 距离转换为目标高度的计算方法，称为激光三角测 量法。

         图 4 中，P 为待测物表面上的点，L，O 与水平面夹角 分别为 α和 β，且水平距离为 W，得：

         将式（3），式（4）代入式（2）后，得到 P 到相机、激光 发射器水平面的距离 d：       

        当激光束 L 射入被测基准面，与被测面基准线法线 夹角为 γ，散射光束 AA′与该法线的夹角为 θ且与采集相 机单元之间的夹角为 φ，射入物体表面点 A 与相机成像 光学系统中心 O 之间的成像距离为 l1，成像点 A′与 O 的 距离为 l2。过点 B，B′分别作线 AA′和该线延长线的垂 线，垂足为 C，D。相机的成像光斑点随基准面、待测面 间距离的改变而改变。图 5 中当距离为 y，成像系统中 光斑点位移距离为 x时，有 △B′OD∼△BOC，则：

        将式（11）合并入式（8），式（10）后，把式（7）~式（10） 代入式（6），得到物体表面沿法线方向的距离 y：

        将 y 转换为目标的高度，通过高度信息、图像坐标 信息可知物体在空间的位置状态。

1.4   深度图处理 

        深度信息图（Depth Map）是指将传感器采集到被测物中各点的高度（深度）值作为像素值的图像[11] 。它直 接反映物体可见表面的几何形状，利用该图可以很好地 解决点云模型的处理。在唯一空间参考系下，分布在空 间内和涵盖被测物外貌特征巨量点的集合被定义为“点 云”（Point Cloud）。深度图像经过坐标、分辨率放缩可 转换成点云模型，具有完整信息的点云数据模型也可以 转换为深度图像。

2    手机屏幕下胶水缺陷检测方法     

       手机屏幕下胶水缺陷检测方法流程见图 6，通过提 取手机壳深度图中的胶水区域特征，进一步得到胶道 ROI区域；分别截取已分割区域中所对应行坐标的全部 像素值，进一步重构出深度轮廓线，最后对已有轮廓线 测量并分析结果。详细工作流程将在本文分别阐述。

2.1    深度图图像采集    

       本项目采用 LMI Technologies 公司的 Gocator 2510 传感器，该款传感器采用波长短、衍射性弱的蓝色激光， 可保证采集胶水表面轮廓数据的完整性。传感器发射 激光到被测面上，沿激光线的方向为 x 轴，垂直于激光 线的方向为 y 轴，通过连接传感器采集手机屏幕下封装 胶的点云数据，使用传感器二次开发包 GO_SDK 把对应 的点云数据写入分辨率为 x × y的深度图像中。设 Dx 为 x 采集方向图像的有效区域，σx，σy 分别为 x，y 方向图像 的分辨率，dx，dy 分别为 x，y 方向点间距，σs 为采集编码 器的分辨率，ns 为伺服电机脉冲数，则图像 x 与 y 的分辨 率转换公式为：

        根 据 对 被 检 测 产 品 的 成 像 调 试 实 验 ，设 置 dx = 0.007 mm，dy=0.049 mm，同时，为降低精度误差并在合 理区域内采集有效数据，使用 ns=0.001 mm/脉冲编码器 精度的伺服控制，且 Dx=7.5 mm，采集中编码器每次会 产生 ns=163 023 个脉冲数，将数据代入上述公式得到图像分辨率约为 1 072×3 327。

2.2    Blob分析提取胶道 ROI区域     

        得到深度图像后，开始进行图像预处理。Blob分析 （Binary Large Object Analysis）指图像中具有相似纹理、 颜色等特征的组成区域，采用 Blob 分析可以从背景中 分离出目标区域。

       通过使用装夹夹具（见图 7），进一步让工件定位在 指定采集、检测区域，这样可保证手机壳位置的准确性 和 ROI区域裁剪的精确定位。

2.2.1    胶壳胶道 ROI区域分割

       为了减少干扰区域和不必要处理区域，需要在采集 的深度图中提取胶壳胶道 ROI。在 HALCON 中，通过使 用 get_image_size 算 子 获 取 深 度 图 像 尺 寸 信 息 ； gen_rectangle1 算 子 生 成 一 个 覆 盖 图 像 的 全 局 矩 形 ； min_max_gray 算子获取区域内灰度（深度）值的变化范 围。深度图中灰度信息被每个像素格的高度信息代替， 为了得到更清晰的区域信息，需要分离出图像背景，在 HALCON 中使用 threshold 算子对图像进行全局高度灰 度阈值分割，设定最低高度阈值为-5 mm 和在矩形区域 内深度最大值。通过使用 reduce_domain 算子裁剪区 域，图 8a）和图 8b）为 去 除 背 景 前 后 的 深 度 图 像 。 消 除背景后使用 gen_rectangle1 算子提取胶壳胶道 ROI， 图 8c）即为需要的胶壳胶道区域深度图。使用上述思 路可实现对点胶前、后胶水和胶道 ROI提取。

2.2.2    点胶前后胶道、胶水 ROI区域提取

       将点胶区图像中无关的杂余信息分割出，需对胶壳 胶道 ROI做进一步的阈值分割处理，通常阈值分割有实验法、直方图谷底法、迭代选择阈值法等[11⁃13] 。由于胶壳 胶道 ROI的前景和背景区域中高度灰度值分布均匀，在 高度灰度直方图中可观察到很明显的双峰，采用直方图 谷底法确定阈值可达到理想效果。阈值分割算法的数 学原理表达式为：

式中：S 为直方图谷底法分割出的输出区域；R 为被分割 出的特征区域；（c，r）是区域 R 内灰度点的横、纵坐标； hmax 和 hmin 为指定阈值区间的上、下界；fc,r 为待分割图像 ROI。将 ROI区域中 R 内的高度灰度值在指定阈值区间 内全部的点（c，r）传递至区域 S 中，通过使用 HALCON 中 min_max_gray 算子求 ROI内的高度灰度值变换区间， 提取最大的高度灰度值 hmax=-1 mm，通过直方图谷底法 确定高度灰度值 hmin=-0.068 2 mm，根据阈值区间分割 出的红色区域为点胶前无胶壳胶道 ROI，如图 9所示。

        对阈值区域内的图像使用 connection算子计算连通 域个数；select_shape 算子提取区域内最大的面积区即 为胶道、胶水的 ROI。图 10a）为无胶胶壳胶道 ROI， 图 10b）为通过阈值分割后得到的无胶胶壳中胶道空胶 区域；图 10c）为有胶胶壳胶道 ROI，图 10d）为有胶壳中 胶道有胶区域。

2.3   定义模型的截取轨迹  

       对 上 述 得 到 的 区 域 ，求 每 个 区 域 的 中 心 坐 标 （Column，Row），为了更精确地匹配点胶前后壳内胶道 与胶水的像素位置，需要计算点胶前和点胶后区域中心 点的偏移距离（ΔColumn，ΔRow）消除误差，设定点胶前ROI 区域的起始坐标为（Start_Column，Start_Row），对于 点 胶 后 的 ROI 区 域 的 起 始 坐 标 为（Start_Column + ΔColumn，Start_Row+ΔRow），进一步依次获取区域中每 行 x坐标中所对应点像素的深度数据。

2.4   生成无胶、有胶轮廓

        在深度图 ROI中，每个点的深度灰度信息代表这个 点相对于基面的高度信息，通过使用 get_image_size 算 子获取区域尺寸；tuple_gen_const 算子生成一个长度与 尺 寸 宽 度 相 同 的 元 组 ，从 区 域 的 起 始 行 坐 标 Start_ Column 从左向右依次读取每行数据中的像素点行坐标 信息；使用 get_grayval 算子获取每一行像素中每个像素 点的高度灰度值，之后使用 gen_contour_polygon_xld 算 子生成亚像素轮廓 XLD（Extended Line Descriptions）， 如图 11所示，其中，z轴为高度灰度值坐标。

2.5    测量胶的高度、宽度并判断缺陷

        测量胶高度需要先定位基准，本算法通过比对无胶 轮廓和有胶轮廓图，对无胶轮廓中胶道位置的亚像素轮 廓做基准面的提取，为保证检测精度，使用最小二乘法 对无胶轮廓的胶道区域进行直线拟合。使用矩形轮廓 锚定无胶轮廓中胶道区域来减少对无关数据的处理。

        直线方程的表示以 a，b 为系数满足 y 与 x 之间的函 数关系为：

        通过降低观察值的残差提高轮廓精度，得到正规方 程组[14] ： 

        拟合出胶道基准线后，在HALCON中使用distance_lc 算子计算基准线到有胶轮廓间的距离，图 12a）为胶轮 廓的高度信息。

       在胶水宽度测量前，需先判断是否有溢胶缺陷。设 定求取无胶XLD轮廓的起点坐标和结束点坐标为（Base_ Start，Base_End），有胶 XLD 的坐标为（Glue_Start，Glue_ End）。通过设定溢胶阈值，得到有胶、无胶坐标起始点 的差值结果后再作差值计算。计算结果与溢胶阈值对 比判断是否溢胶；计算有胶轮廓区域的开始点与结束点 间距离差值确定胶宽度，图 12b）为胶轮廓的宽度信息。

        图 13 中，在无胶轮廓胶边框区域内提取高度灰度 信息的最小值，为轮廓最低点；同理，获取有胶轮廓胶边 缘区域内高度灰度信息的最大值，定义为最高点，通过 计算轮廓高低点的距离差和设定高出胶道高度的阈值 作比较，判断是否缺胶。

3     检测结果分析

       本实验对 ROI 内的胶水区做测量，以每 0.3 mm 为 基准依次截取 y坐标图像，最终可截取 182个截面轮廓， 分别测量胶壳的高度、宽度数据并判断是否有缺陷问 题。去除粗大误差与缺陷胶水数据后，随机抽取有效结 果数据中的 100组。 

        图14统计出4组胶壳共400组结果的直方图，进一步 观察可知，本文算法测量的数据结果有一定规律性，其高度信息在（0.30±0.02）mm 内，且测量结果具有一定的 集中性，宽度在（1.105±0.025）mm 内，胶水的宽度测量 结果与实际值的误差为 0.03 mm，该结果在工艺允许误 差范围内。

4    结 语

      由于手机屏幕下封装胶的特殊性，针对当前工业生 产实际需求，本文提出一种基于线结构光的手机封装胶 的视觉检测方法和流程，通过使用 Gocator 2510 线结构 光传感器采集手机壳深度数据图及 HALCON 视觉软件 做图像算法处理得到检测结果。通过实验验证本文算 法相较于传统视觉算法克服了当前工业胶水检测中无 法对微米级封装胶水缺陷的准确评估和胶水截面轮廓 数据的精确测量现状，对比人工检测，该方案合理地避 免了人工检测中无法评估、误判、低效率等问题的出现。 因此可有效地解决当前手机制造行业中点胶后胶水在线检测的难题。随着自动化工业与立体视觉的发展，该 方法可满足实际工程中生产检测的需求，具有推广 价值。