基于机器视觉技术制作烤羊肉比色卡

　　摘 要：为建立一种能够快速无损识别羊肉烤制过程中颜色变化的标准化方法，本研究基于机器视觉技术结合三种算法(均值算法、K-Means算法和K-Means+图像降噪算法)制作烤羊肉颜色识别比色卡，对烤羊肉的颜色进行在线监测。结果表明，三种算法制作的比色卡均能呈现出羊肉烤制过程中的颜色变化。为明确三种比色卡的准确率，研究采用K-medoids算法结合感官实验进行比色卡颜色识别准确率验证。其中利用K-medoids算法的比色卡识别准确率验证结果显示，均值算法准确率为85.60%、 K-Means算法准确率为95.70%、K-Means算法+图像降噪算法准确率为93.40%;感官实验的验证结果显示，均值算法、K-Means算法、K-Means算法+图像降噪算法的识别准确率依次为67.32%、73.71%、 68.74%，对比发现K-Means算法制作的比色卡对烤羊肉颜色识别准确率最高。研究证明比色卡可作为颜色评价标准，为烧烤肉制品加工提供指导依据，具有良好的应用前景。

　　王博; 胡晓妍; 于芳珠; 刘登勇， 食品工业科技 发表时间：2021-09-24

　　关键词：烤羊肉，比色卡，机器视觉，颜色，图像识别

　　烤羊肉是我国传统风味肉制品，颜色棕黄，色泽油亮，肉香浓郁，深受消费者喜爱[1]。随着人们食品安全意识的提高和市场需求量增大，传统加工方式已不能满足人们的需要，工业化加工逐渐代替传统加工方式，并正在向标准、营养、健康、智能的方向发展[2]，然而目前在工业化生产中能够对产品质量进行及时、快速评价的标准化方法仍存在不足。烤羊肉作为传统肉制品，色、香、味、形独具特色[3]，消费者往往通过这些特点来评价产品质量。其中颜色是消费者感官评价最直观的指标也是反映食品质量的重要因素,不仅能表征食品的新鲜度，还是食品成熟度的重要指示因子，在食品加工及储藏过程中也可以通过颜色变化及时发现食品品质的改变，烤羊肉加工过程中颜色是用来判断成熟度的重要依据[4-7]。因此建立一种能够识别烤羊肉颜色的标准方法对于精准控制其颜色，实现标准化生产具有很好的现实意义。比色卡是一种可进行颜色对照识别，在一定范围内统一颜色标准的工具，目前在食品领域应用较少，制作烤羊肉比色卡检测颜色只需通过简单对比，操作方便准确率高[8-9]。

　　比色卡制作要采集大量样本的颜色信息，传统颜色识别方法主要为仪器测定和感官评价，仪器测定结果准确，但对样品具有破坏性且成本较高;感官评价简单方便，但容易受外界因素影响且存在一定个人主观性[10-11]。机器视觉是利用机器代替人眼，模拟人类视觉功能的一项技术，通过图像采集、信号转换、数据处理分析等最终实现对物体的识别，可应用于多种领域[12-13]。在肉类食品中的应用如：监测碎肉在连续油炸过程中凝集增加的变化[14]、评估肉类食品的质量参数[15]、在线预测识别猪肉的颜色和大理石花纹[16]以及禽类产品尺寸、质量、体积的测定和分级分类[17]等，方法智能新颖且具有识别速度快、准确率高、不具破坏性等特点[18]。因此利用机器视觉技术对烤羊肉图像进行采集和处理，减少误差提高比色卡准确率[19]。

　　本研究以烤羊肉为实验目标，基于机器视觉技术制作烤羊肉颜色比色卡，实现对烤羊肉颜色的实时检测，在生产过程中能够及时控制产品质量，研究为烤羊肉质量评价管理提供了基础依据。

　　1 材料与方法

　　1.1 材料与仪器

　　羊外脊 锡林郭勒盟羊羊牧业股份有限公司提供，羊品种为内蒙古锡林郭勒盟苏尼特羊(月龄 6 月，均重 30 kg)。

　　NB-HM3810 电烤箱 厦门建松电器有限公司;CR-400 色彩色差计 日本柯尼卡美能达公司;LED 迷你小型摄影棚 绍兴上虞风景户外用品有限公司;VGA2USB 图像采集卡 加拿大艾普飞公司;EOS-R6 照相机 日本佳能公司;HP ZHAN 66 R5-4500 笔记本电脑 中国惠普有限公司。

　　1.2 实验方法

　　1.2.1 样品制备 购买排酸成熟 24 h 后的新鲜羊肉于 4 ℃条件下运回实验室冷冻保存。实验前将冷冻的羊肉放置室温解冻 1 h，去除筋膜和多余脂肪，制备规格均为长×宽×厚 20 mm×20 mm×10 mm 的肉样，利于羊肉烤制过程中成熟度一致。待肉完全解冻，表面温度升至室温后置于烤盘，放入上下温度 220 ℃电烤箱中。通过控制烤制时间获得羊肉在烤制过程中的所有颜色变化，经预实验得出，本实验所用电烤箱在羊肉烤制 25 min 时，表面已经出现焦糊，因此选取烤制时间范围为 0~25 min。每分钟烤制 15 块羊肉共 390 块，得到试验样品。

　　1.2.2 比色卡制作方法 为确定烤制过程中所有颜色的变化，选择 0~25 min 共 26 个时间点的烤羊肉样本进行图像采集，并对采集图像进行预处理来提高质量，读取预处理后的图像信息，利用算法将图像信息转化为计算机可识别的颜色参数继而建立比色卡。

　　1.2.2.1 图像采集 图像采集均由图 1 所示自主设计的图像采集装置获取，该装置主要由照相机、图像储存卡、灯板、摄影棚、背景板及计算机组成。其中灯板、背景板及相机固定在摄影棚内。将相机在采集效果最佳的高度固定，采集的图像通过图像储存卡传输到电脑，从而获取烤羊肉样品图像。

　　1.2.2.2 图像预处理 由于图像采集装置在进行烤羊肉图像采集时会受到外界因素干扰，影响图像真实特征信息的提取，进而影响颜色识别效果，因此需要对采集的图像进行预处理。图像预处理可以在不实质性增加图像数量的情况下使图像增广，让有限的图像产生一些相似又不完全相同的样本。常用的图像预处理方法有以下几种：图像滤波、几何变换、图像增强、图像复原等[20]。本研究采用以下四种预处理方式：随机对比度调整、随机亮度调整、随机旋转调整、随机缩放调整[21]。

　　1.2.2.3 构建图像识别模型 利用 Xception-CNN 模型处理获取烤羊肉图像，处理流程如图 2 所示。模型的最后一层为全连接层，负责整个神经网络的输出，通过 Softmax 激活函数得到最终的输出。损失函数(Loss function，简称 Loss)用来评价模型的预测值和真实值不同的程度，解决回归任务的基础函数为均方误差损失函数(MSE)。

　　MSE 表示如式(1)所示

　　其中，n 表示一个 Batch 中的样本数量;y 表示期望输出;y’表示实际输出。

　　1.2.2.4 制作比色卡 机器视觉技术采集样品图像，将样品图像信息转化为计算机可以识别的参数，再利用算法处理图像信息进而制作比色卡。常规算法处理的数据，会出现计算机难以将数据换算为可识别的颜色参数的情况，本研究采用均值算法、K-Means 算法和 K-Means+图像降噪三种算法，能够解决这一问题对图像进行有效处理，处理后能较好地呈现出样品颜色信息[22]。

　　利用均值算法[23]制作比色卡：通过计算全局的 RGB 均值得到该图像的主色调，将图像划分为若干个小块，用大小为 32×32 的滑块遍历每块图像，计算每个色块的 RGB 值，得到 32×32 区域的像素块均值，最后由局部的 RGB 均值逐渐变为全局的 RGB 均值，即为该烤羊肉图像的颜色数值，将数值转换为对应颜色，再将对应的颜色按照烤制时间排序，即可得到均质算法制作的比色卡。该算法原理简单，实现起来比较容易，聚类的效果比较好，在可解释性方面较强，再调整参数时只需调整簇的个数即可。

　　利用 K-Means 算法[24]制作比色卡：将 26 组图像经过像素块遍历得到的颜色信息作为数据集，在各个数据集中生成质心，共形成 26 个时间段的质心。选取在烤羊肉图像的颜色参数范围内的 26 个与颜色参数相同维度的质心，分别计算每一个颜色数据到 26 个质心的距离(欧氏距离)，使每个数据分组于距离最近的质心。更新质心的位置重新计算，经过不断重复计算直到质心位置不发生变化或只发生微小的变化，提取质心周围类簇群所对应的 RGB 信息值并做均值处理，可以得到这 26 个时间段的 RGB 信息，根据烤制时间进行排列即可得到 K-Means 算法制作的比色卡。该算法在处理大的数据集时是相对可扩展的，并且具有较高的效率。

　　利用 K-Means 算法+图像降噪处理[25]制作比色卡：由于羊肉会存在一些难以剥离的肌内脂肪，使烤羊肉表面颜色识别产生误差，使得部分图像不能完全代表烤羊肉实际的颜色，这些质量较差的图像即为聚类中的噪声数据和异常数据，影响分类准确率。因此在 K-Means 算法的基础上提出通过自动替换，将噪声数据和异常数据替换为周边的正常数据。该方法能够有效的去除异常数据，有利于提高比色卡的准确度。

　　1.2.3 比色卡识别准确率验证 由于比色卡均通过算法制作，验证比色卡准确率时若单独采用算法验证可能会出现泛化性差的问题[26]，若单独采用感官验证可能存在主观性影响实验结果，所以本研究采用 K-medoids 算法结合感官实验验证三种比色卡的准确率。 K-medoids 算法区别于制作比色卡的三种算法，使验证方法统一，利于验证结果准确。

　　1.2.3.1 算法验证 利用 K-medoids 算法[27]验证比色卡准确率，将测试集样本图片划分若干个区域，用大小为 5×5 的滑块对每个区域的 RGB 值进行均值处理，从中随机选 26个点作为初始的类簇群区域中心点，其余点按与这 26 个点的最小距离分配到对应最近的类簇群，以此类推，比较每个样本到类簇群中心点的距离，将样本划分到最近的类别中，在新组成的类别中重新计算中心点，直到 26 个中心点不再变化为止，最终得到 26 个类簇群的 RGB 值，将 26 个类簇群的 RGB 值与三种算法识别的 RGB 值进行对比，进行比色卡准确率的评价。

　　1.2.3.2 感官实验 制备 0~25 min 的烤羊肉样品，根据 GB /T16291.1-2012[28]培训和筛选出 15 名感官评定员，其中男生 6 名，女生 9 名，平均年龄为 24 周岁，身体健康、无色盲、能有效辨别色差。

　　喜好度评价：根据以上方法选定感官评价员结合 A.N[29]等方法加以修改，经过预实验结果可知，烤制 10 min 后的羊肉中心温度达到 75 ℃，为可食用的状态[30]。因此评价样品为 11~25 min 的烤羊肉样品，并根据九点感官评价法(表 1)对烤羊肉的颜色进行打分[31]。

　　准确率检验：26 个样品背面标记烤制时间，将顺序打乱后随机放置;感官评定员参照三种算法制作的比色卡为 26 个样品评定烤制时间，每种比色卡评定完成后间隔 10 min，根据感官实验数据对比真实数据得到 3 种比色卡的感官实验准确率，重复 3 次，以准确率平均值作为实验结果。规则同上，感官评定员未用比色卡直接对样品进行烤制时间的评定，结果与利用比色卡评定烤制时间的准确率进行对比，以此判断比色卡的应用效果。

　　1.3 数据处理

　　本研究统计分析的实验环境为 Python3.7，主要使用了 Python 的第三方扩展模块 “Pylab”和“Matplotlib”绘制图像、使用“Numpy”进行高维度矩阵计算、使用和“Keras”、 “Tensorflow”开源深度学习框架搭建模型。使用“Scikit-learn”开源的机器学习模块对模型进行评估和分析，采用 Origin9.0 和 IBM Spss Statistics26.0 软件对数据进行统计处理。

　　2 结果与分析

　　2.1 图像采集结果

　　每块烤羊肉采集 4 张图像，共采集烤羊肉样品图像 1560 张，均为 384×384 格式，采用 1.2.2.2 方法进行图像预处理后，共获得 6240 张图像，定义为数据集 Roast Mutton，将其按 8：2 随机分配为训练集与测试集，训练集中包含 4992 张图片用于构建和优化试验模型，测试集为剩余的 1248 张图片，用于测试模型的准确性，样品图像以圆形输出。

　　2.2 图像预处理结果

　　烤羊肉的局部图像经过随机亮度调整、随机图像缩放调整、随机对比调整和随机旋转调整等方法进行预处理后，结果如图 3 所示。从图中可以看出，在不改变图像原本属性的前提下，随机对比度与随机亮度的调整使烤羊肉图像亮度产生差异，改善图像质量，并且可以增强局部细节;经过随机旋转和随机缩放调整后，改变了图像的原有位置、方向和量级，相当于一幅新的图像，进而衍生出了更多有利于提升测试结果的准确率的训练样本。将预处理后的烤羊肉图像部分代替原图作为展示图，能更好地展现图像预处理的效果。

　　2.3 模型识别

　　损失函数对 Xception-CNN 模型训练集样本训练结果表明，Xception-CNN 模型在训练过程中随迭代次数增加，Loss 值逐渐下降，训练轨迹收敛性良好。一般情况下，训练过程中的 Loss 值越小表明模型的准确率越高，总体性能越好。所以 Xception-CNN 对不同颜色的烤羊肉图像具有较高识别准确率，可以用于处理获取烤羊肉图像。

　　2.4 比色卡建立

　　2.4.1 均值算法制作的比色卡 均值算法制作比色卡的主要过程如图 4(A)所示，首先使用大小为 32×32 的滑块遍历烤羊肉原图，得到 32×32 区域的 RGB 均值像素块，再将区域 RGB 均值像素块大小逐渐增加至 64×64→94×94，最后由局部的 RGB 均值逐渐变为全局的 RGB 均值。在遍历所有图像得到烤制时间 0~25 min 共 26 个时间段的样品图像颜色后，将各个烤制时间段的图像颜色按烤制时间依次排列，得到的即为均值算法制作的比色卡，结果如图 5(A)所示。

　　2.4.2 K-Means 算法制作的比色卡 K-Means 算法制作比色卡的具体过程[24]如图 4(B)所示，在每块烤羊肉样品图像上获取 10 个如“原图”所示的 5×5 像素块后，每个像素块利用大小为 2×2、长为 1 的小滑块进行遍历，遍历结束后每个 5×5 像素块可以得到 16 个包含 4 个 RGB 信息的 2×2 小滑块，将每个小滑块进行 RGB 均值提取。经处理后根据烤制时间进行排列即可得到 K-Means 算法制作的比色卡，结果如图 5(B)所示。

　　2.4.3 K-Means 算法+图像降噪处理制作的比色卡 本研究通过 4 种方式对图像进行预处理，但由于噪声数据和异常数据会使数据边界偏移，影响聚类效果。因此，研究利用图像降噪处理方法对烤羊肉图像做进一步处理[32]。通过机器学习，将 K-Means 同类簇中心点覆盖到 RGB 值过低和过高的部分并自动替换成颜色正常的部位。如图 4(C)所示，192×192 区域由于表面不平整导致 RGB 值差别较大，则将该部分 RGB 值替换为类簇中心点值以去除异常数据。K-Mean 算法+图像降噪处理比色卡制作过程同 K-Means 算法，结果如图 5(C)所示。

　　2.4.4 比色卡识别准确率验证结果 利用上述均值算法、K-Means 算法、K-Means 算法 +图像降噪对数据集进行处理，生成的比色卡 RGB 值依次如图 6A~图 6C 所示。

　　由图 6A~图 6C 可知在 0~25 分钟的 26 个时间点内，均值算法的 RGB 值与 K-Means 算法的 RGB 值始末状态区间波动较小，呈相对平稳的梯度变化;而 K-Means 算法+图像降噪处理后的 RGB 值波动较大，R 值在 13 分钟后迅速减小，尤其是在 16 分钟后呈现明显下降的趋势，原因是图像降噪处理去除大量的噪声信息。根据三种比色卡的 RGB 值和对应的烤制时间做多元线性回归分析，结果如表 2 所示。由表可知 K-Means 算法建立的方程拟合效果好(R2=0.962)，均值算法和 K-Means+图像降噪处理的方程拟合效果一般(R2=0.790，R2=0.714)，K-Means 算法能够更好的反映烤制时间和对应图像颜色信息之间的关系。

　　2.4.4.1 算法验证结果 样本数据分层取样建立验证集并获得对应的三种验证比色卡，并使用 K-medoids 算法处理得到验证集比色卡的 RGB 值;然后将三种比色卡的 RGB 值与其值对比，从而对三种比色卡的准确率进行检验。K-medoids 算法验证结果如表 3 所示。由表可知，比色卡的算法识别准确率分别为均值算法 85.60%、K-Means 算法 95.70%以及 K-Means 算法+图像降噪处理 93.40%。

　　2.4.4.2 感官验证结果

　　感官喜好度评价 烤羊肉的感官喜好度评分结果如图 7 所示。由图可知，烤羊肉的颜色喜好度评分呈现先上升后下降的趋势，从 11 min 开始评分逐渐升高，因为羊肉在此阶段随烤制时间延长颜色逐渐由浅棕色变为黄棕色，14 min 时评分最高，颜色喜爱度最高;羊肉烤制 15 min 后颜色喜好度评分开始下降，烤制 25 min 时评分最低，因为在 15~20 min 阶段羊肉颜色进一步加深，20 min 后逐渐出现焦糊现象，所以 20 min 后的评分普遍较低。

　　验证比色卡识别准确率结果 感官实验验证结果如表 3 所示，比色卡的感官识别准确率分别为均值算法 67.32%、K-Means 算法 73.71%和 K-Means 算法+图像降噪处理 68.74%。结合图 8，三种比色卡的感官识别准确率在 14 min 和 15 min 不理想，原因是烤制 14 min 和 15 min 的羊肉处于成熟阶段，呈棕黄色差别并不明显，因此感官评定员对此时间段的颜色难以区分。为此，本研究将烤制 14 min 和 15 min 的感官数据去除后重新计算准确率，结果显示，均值算法制作的比色卡感官识别准确率为 71.25%、K-Means 算法为 78.86%、K-Means 算法+图像降噪处理为 72.30%。感官验证试验的准确率顺序与算法验证的准确率顺序相符合(K-Means 算法>K-Means 算法+图像降噪处理>均值算法)，结果表明 K-Means 算法的识别效果准确率最高。

　　将未用比色卡进行烤制时间验证的准确率与利用三种比色卡对照识别烤制时间的准确率结果进行对比。如图 8 所示，未用比色卡识别烤制时间的准确率，在 9~24 min 时低于均值算法比色卡;在 1~25 min 时低于利用 K-Means 算法比色卡;在 8~25 min时低于 K-Means+图像降噪处理算法比色卡，结果表明烤制后期羊肉表面颜色变化迅速，借助比色卡能够在一定程度上提高对羊肉烤制时间的识别准确率。

　　3 结论

　　本文采用机器视觉技术建立烤羊肉颜色识别比色卡，对烤羊肉的颜色进行快速识别，并对识别准确性进行了验证。结果表明：三种比色卡都能够呈现出良好的颜色梯度变化，反映羊肉烤制过程中的颜色变化，其中 K-Means 算法比色卡经 K-medoids 算法验证准确率为 95.70%，感官验证准确率为 73.71%，效果在三种比色卡中最好，与烤制时间的相关性也最强，所以 K-Means 算法制作的比色卡感官属性更好。综合来看，制作烤羊肉比色卡可以将羊肉烤制过程中所有可能出现的颜色直观的呈现出来，表明基于机器视觉技术制作比色卡具有良好的可行性。颜色能够反应产品信息，在加工过程中可通过比色卡对烤羊肉成熟度进行对比判断，也可以将比色卡作为消费者对烤羊肉颜色喜爱度的评价标准，便于商家调查分析各类消费群体对产品的成熟度等不同需求，及时对产品进行调整;在生产生活中，比色卡可作为质量评价依据，对烤羊肉及时进行监测、控制烤制时间，使产品拥有良好的感官特性，方便商家以及消费者在生产、消费过程中进行质量检查，为产品颜色识别和感官评定提供参考依据。研究发现比色卡可在一定程度上反映出烤羊肉的成熟度，烤羊肉的成熟度是导致其颜色变化的重要因素，因此可基于本研究方法，针对比色卡与烤羊肉成熟度之间的关系等方面展开进一步系统研究。