畜禽舍环境数据的采集与质量控制研究

　　摘要：畜禽养殖场舍内环境复杂，为便于后期使用数据时更具准确性，前期的采集和质量控制尤其重要。为解决这个问题，从数据采集、数据质量管理和数据融合三个方面进行控制，通过多源无线传感器网络采集温度、湿度、不同成分气体浓度等各个参数的数据，为进一步的分析环境各要素对舍内环境小气候的影响奠定数据基础。

　　关键词：数据清洗;数据融合;自适应加权算法

　　开放科学(资源服务)标识码(OSID)：

　　畜禽养殖中，养殖舍的环境数据是动物生长监测的重要内容之一。传统上，数据采集依靠人工，操作工人根据此信息做出调节养殖舍小气候的动作。这种方式需要人工值守效率低。现代自动化的方法是利用传感器与物联网技术自动采集数据，并根据采集的环境数据自动做出干预环境的动作，如报警、开启风机通风、开启温湿度设备等等。但是由于养殖舍环境监测数据多样，环境复杂，采集到的数据有可能丢失或者出现错误，导致不能进行科学的处理，引起设备的错误报警或操作，这背离了自动调整达到适合畜禽生长需要的初衷。本文考量采集设备合理分布和有效采集，从以下几个方面对数据质量控制进行研究。

　　1 數据采集

　　物联网技术在各行各业中的广泛应用，也给传统养殖行业带来了新技术和新理念。传感器、嵌入式计算与分布式信息处理等技术的协作，可以实现对畜禽舍内环境的实时监测，感知环境状态并采集环境数据，进一步传送给用户，为用户实时掌控养殖过程提供技术支持和决策依据。实现智慧养殖的第一步是自动化的数据采集，最常用的技术就是无线传感器技术。无线传感器通信技术中，ZigBee通信技术发展最为迅速，广泛应用于精准农业、智慧牧场等多个系统和领域。ZigBee无线网络具有如下优点：

　　(1)自动组网，网络容量大，ZigBee网络最多可容纳65000个网络节点，并且任何网络节点之间都可以进行通信。(2)模块功耗小，两节5号干电池可以支撑一个节点使用180-730天的时间，免去有线供电、充电和频繁更换电池的麻烦。(3)成本低，由于协议简单，工作在全球免费频段，仅需先期的模块费用。 养殖舍内环境参数传递时数据量比较小，ZigBee无线网络在畜禽环境参数监测中非常实用，因此采取基于物联网的Zig-Bee无线传感器网络采集养殖舍里的各个环境参数。

　　2 数据质量管理

　　2.1 数据清洗

　　数据清洗，顾名思义就是对数据进行净化。通过重新审查和校验，删除重复的数据、纠正错误数据，保证数据的一致性。需要清洗的数据的主要类型：

　　(1)缺数据

　　引起这类问题的主要原因是：缺失了一些应该有的基本信息。这类数据经过过滤后，将缺失的内容补充到文件并提交给客户，并重新写人数据库即可。

　　(2)误数据

　　业务系统不健全和工作人员操作不规范，往往是产生的原因。比如对输入数据没有经过判断和校验直接写入数据库造成的。这一类错误数据可以进一步细化，比如全角字符错用问题、不可见字符问题等等。检测处理这种错误常用的一种方法是在数据库中运行soL语句。

　　(3)重复数据

　　对这一类的数据清理是最复杂的，比如二维表中出现重复记录或者重复字段。为了避免重要的数据遗失，数据过滤之前，要求客户进行备份，需要过滤掉的数据，也不是直接丢弃，而是写入文件存档。为了保证数据的完整性和数据清洗的效率，负责数据清理的人员要和相关的单位负责人保持密切联系，及时进行沟通和确认。

　　数据经过清洗才能保证数据的正确性，去除冗余的数据有利于数据的存储，节省存储开销，提高效益。

　　2.2 数据修复

　　针对畜禽舍内环境数据缺失的修复处理，如果数据前后时间间隔不大，采用线性插值法。

　　式(l)中，xsub>k和xsub>k+j分别为已知k时刻和k+j时刻监测得到的畜禽舍内环境参数值，xsub>k+i为第k+i时刻缺失的畜禽环境参数值。如果丢失数据比较多或者前后间隔的时间比较大，则需要为缺失数据确定替补值，填补到缺失数据的位置上。新数据填补后，要尽可能地减少数据缺损造成的计算量偏差，因此填补值要尽可能地接近缺失的原始数据值。针对畜禽舍内环境缺失环境参数的数据的填补，采用气象条件相同或者相近时，相邻的几天中监测到的同时刻相邻节点的数据作为填补值。

　　畜禽舍内养殖环境监测数据具有时序性和连续性的特点，短时间内监测到前后相邻时段数据，在正常的情况下不可能急剧发生变化。通过前后数据进行比较，如果某一时刻xk时间点监测到的畜禽舍内环境参数变化范围严重偏离了前一时刻Xk-1和后一时刻Xsub>k+1的变化幅度，则认为该数据有错误。可采用式(2)均值平滑法进行水平处理。

　　其中υ1和υ2分别为两个相邻数据之间的误差阈值。

　　畜禽舍内环境监测的数据具有周期性，在不同日期，在气象条件状况相似的，前后几天应具有相似的参数变化趋势。相邻日期的同一时刻监测到的参数值，应该稳定的维持在正常的变化范围内。如果某一时刻监测到的环境数据，和其气象条件相似的前一天、前两天相同时刻监测到的环境数据相差+10%范围之外，就可以判断为该数据为异常的数据，可采用式(3)均值法进行垂直处理。

　　x(d，k)为d天k时刻的环境的数据，υ3为气象条件相似时同一时刻数据误差的阈值，Xk为待处理数据在气象条件相似的近几天同一时刻环境参数的平均值。

　　3 数据融合

　　为了获得比较精确的环境监测数据，养殖舍内无线传感器监测时，采用了多传感器(温湿度传感器、氨气传感器、二氧化碳传感器、硫化氢传感器)进行监测，同时对同类型的数据进行数据融合，以消除二义性并解决数据的缺失及错误。如表1所示，对各种数据融合技术进行对比，确定采用加权平均法做同类数据的融合。

　　假设针对养殖舍环境各个参数监测时各有N个无线传感器，由于每个传感器所处舍内位置不同、测量精度不同，对于同一类型的传感器的不同个体，在总的最小均方误差达到最优化条件下，求解最优加权因子，使数据融合后的数值达到最优。 假设预估计的真实值是X，相互独立的N个无线传感器实际显示的值分别是X1，X2…Xn，方差分别是σ1，σ2，…σn，加权因子分别是W1，W2，...Wn。进行数据融合后x的值应该满足式(4)。

　　计算出最优加权的因子，进一步根据传感器测出的实际数值就能够方便地计算出经过数据融合后得到的最优值，如式(9)。运用自适应加权估值算法，普遍能够取得比平均估值算法更加突出的融合效果。

　　4 结束语

　　针对真实复杂的畜禽养殖场环境，通过多源无线传感器网络采集各个参数的数据，做数据清洗保证数据的完整性，然后使用自适应加权算法，进行特征级融合，能够更好地保证测量数据的精度和准确性，从而达到控制环境数据质量的目的。

　　参考文献：

　　[1]王冉，徐本崇，魏瑞成，等.基于无线传感网络的畜禽舍环境监控系统的设计与实现[J].江苏农业学报，2013(3)：24-30.

　　[2]张伟，何勇，刘飞，等.基于物联网的规模化畜禽养殖环境监控系统[J].农机化研究，2015，2(2)：245-248.

　　[3]王骞.禽畜舍环境多参数监测系统的研究[D].河北农业大学，2012.

　　[4]王宇英，周兴社，梁东方.面向信息物理融合系统的异构模型转换方法[J].西安电子科技大学学报：自然科学版，2015，42(2)：124-131.

　　推荐阅读：《当代畜禽养殖业》(月刊)创刊于1980年，是由内蒙古农牧业科学院主办的畜牧科技普及性刊物。旨在宣传党的有关畜牧业生产的方针、政策，普及畜牧业科学技术知识;交流经营和管理生产的经验，介绍国内外先进的科技知识和发展动态，提供和传播畜牧业产、供、销信息。