这篇海洋工程论文发表了海洋水质监测浮标数据管理研究,论文探讨了如何对海洋水质监测浮漂进行综合管理,这项核心信息监测系统是海洋工程监测重点,为海洋环境综合管理、海洋环境保护、海洋资源合理开发提供服务。
【摘要】近年来,随着海洋水质监测浮标在国内得到的广泛重视与快速发展,针对长期、定点、连续、准确的监测数据的科学管理伴随着浮标一起成为热点研究课题。介绍海洋水质监测浮标数据管理系统的设计与实现,该系统以“‘一体化’数据管理应用开发与集成框架”为核心来设计,严格按照海洋监测相关规范、标准,实现集成了数据安全控制、数据质量控制、数据统计分析、数据模型等功能,并为后续开发与完善提供了数据接口。
【关键词】海洋工程论文,自动监测,数据管理,浮标
1需求分析
海洋水质监测浮标数据管理系统功能需求包括对投放在海上的水质监测浮标的综合管理,制订实时监测数据质量控制程序,数据有效性评估和监测数据集的统计分析等。数据管理模块是整个系统的关键所在,是其他功能模块实现数据的存储、交换等工作的基础。而数据管理模块的设计与实现必须严格按照海洋监测相关规范、标准,最终构建一个集成、稳定、开放、可共享和可扩展的海洋环境资料数据仓库[1]。数据管理模块从数据集中实时获取海洋水质监测数据、集成数据安全控制、数据质量控制、数据统计分析、数据建模等功能,分别形成相互关联的数据集,在此基础上构建海洋环境资料数据仓库,为模型分析和数据产品提供强大的数据支撑。性能需求主要通过功能需求实现来体现,要求系统运行稳定,容错性强,界面友好,能够满足海洋水质数据监测、传输、接收、管理、查询、分析、预警、发布、存档等各方面的要求。系统各性能指标包括系统响应速度,平均无故障运行时间间隔等要求均需按照国家相关标准。
2设计与实现
海洋水质监测浮标数据管理系统采用浏览器/服务器(Brower/Server,简称B/S)和客户机/服务器(Client/Server,简称C/S)混合模式开发,基于C#、.NET开发环境,以MicrosoftSQLServer为数据库管理系统。本系统遵循以数据为重点、以提高数据管理、分析为目标的指导思想,对基础数据进行有秩序、科学的管理、展示和分析,讲究系统的先进性、实用性原则,标准化、规范化原则,高性能和稳定性原则,开放性、可扩展性原则,安全性、可靠性原则,经济和时效性等设计原则。海洋水质监测浮标数据管理系统的体系构架以“‘一体化’数据管理应用开发与集成框架”为核心来设计,实现海洋水质数据监测、传输、接收、管理、查询、分析、预警、发布、存档全过程管理。利用地理信息系统技术对浮标数据的统计和分析,以统一的方式对浮标和基础数据进行管理,在此基础上设计并实现海洋水质监测浮标数据管理系统。该系统可以实现了对浮标的多点、多传感器、长时间序列的关联存储、条件检索和动态展现,通过将浮标总表与浮标分表相结合,实现多层次、全方位的海洋水质数据管理功能,系统功能图[2]如图1所示。海洋水质监测浮标数据管理系统实现了登录、个人首页、地理信息、统计分析、数据表格、浮标管理、GPS信息、模型管理、系统运维九大模块,集成了数据安全控制、数据质量控制、数据统计分析、数据模型等功能,并为后续开发与完善提供了数据接口。
2.1数据安全控制
基于海洋水质监测浮标的数据的重要性与保密性,数据安全控制尤为重要。(1)加密传输数据在浮标端发出之前就需要对受保护的数据进行加密[3],即对客户端需要读取的数据在服务端先加密再发往客户端,客户端则对授权用户采用相应的解密措施,在客户端软件中实施解密。(2)存取控制实为授权机制,它规定某个范围的数据,在何种条件下,准许何种操作。对于数据库表的存取控制,一种方法是定义用户权限表,只有指定的用户才能进行相应的操作,如对数据库进行拥有、只读、只写、读写、删除等操作;另一种方法是对表定义访问权限。对于文件系统的存取控制,一种方法是控制文件的存取,另一种方法是置于与文件树关联的各级目录中。(3)口令保护即对已授权用户分配特定的口令。系统登录模块中有用户口令识别模块,通过对分配给用户的特定口令来识别并确认用户的访问权限,口令识别认证通过后用户才允许进入系统,且进入系统后根据不同权限的用户分配不同的操作权限。口令法的优点在于软件比较简单,缺点是口令本身保密性不强,而通过加密后再传送口令这一方法能有效的解决这一保密性问题。(4)日志管理系统全面采取日志管理监控机制。用户对数据的创建、浏览、修改、删除等都将被系统监控并记录,记录的详细信息包括时间、用户、用户IP地址、所进行的操作等。对数据备份也会生成相应的备份日志文件,以方便在数据恢复时准确掌握备份数据情况。(5)数据备份数据是系统的基础,任何情况下,保障数据的完整与安全都至关重要。完善的数据备份机制,是保障数据完整与安全的重要手段之一。考虑到管理业务的特点,本系统采用完全备份和增量备份组合的机制。每周一个备份循环,周日进行完全备份,其它工作日采用增量备份。另一方面,为防止一些不可抗拒的外来因素对数据备份存储介质带来永久性损坏而造成数据的损失,必须周期性的将数据备份文件复制到异地存储设备,以最大限度地保障数据安全。
2.2数据质量控制
海洋水质监测浮标的每一条数据入数据库之前,会通过数据校验模型、数据校正、异常值检测等一系列的质量控制程序,将数据结构不完整、数据异常、仪器故障等情况在数据状态一栏标注出来,以供进一步审核判断,保障数据准确可靠。(1)解析模型解析模型是接收模型的核心内容,接收模型主要为接收服务提供数据接收算法依据,包括接收字段的长度、接收频率、接收地址、有效性、接收次数及接收对应浮标等。接收模型可针对单个浮标多种协议单独设立接收规则。解析模型主要辅助数据接收模型中解析服务对接收的数据进行解析,能验证通讯包结构,验证数据解析配置,验证周期配置,修正公式校正等,并根据结果存入数据仓库的对应表中。解析模型可针对单个浮标多种传感器数据单独设立解析规则,如时间周期、编码对应等。解析模型的流程图[2]如图2所示。(2)异常值检测由于海洋环境明显的动态效应[4],海洋水质监测浮标所得到的数据存在着一定的异常率。核心问题是如何在数据入库的过程中实现异常值的自动检测,并正确地标记出异常值的位置,这就是所谓的异常值定位问题。本系统中异常值检测包括阈值检测和异常数据判断。阈值检测根据系统内已设置的监测参数数值上下限初步判断异常值。异常数据判断依据已制定的异常数据判断算法执行。譬如pH的异常数据判断,若某个pH数据与时间序列前10个数据和后面10个数据相比分别有8个以上的差值大于0.5,即标记为异常值。经过异常值检测后进入数据库的数据都已做标记,同时系统还具备了人工审核功能。对于标记出异常的数据在人工审核阶段可以对其进行再次的判定,若确认是异常值,在之后的一系列数据应用中此异常数据将被排除。
2.3数据统计分析
数据表格主要将各浮标数据及传感器的实时信息进行展现、导出、部署等,具体包含数据列表、数据报表、数据导出、数据补数、传感器状态和数据量统计功能。数据列表将各浮标及传感器的实时信息进行展现如图3所示。数据导出对数据列表中个数据执行导出动作,可按条件、范围导出。数据补数实现对漏发或异常数据的补发功能,补数功能支持时间段选择。补数功能主要由浮标管理员发起,通过系统将可视化命令转化为浮标指令下达至浮标。传感器状态模块记录传感器周期性状态,并实时展现。同时给出各状态的统计图、标准值并预警。数据量统计对数据仓库中的浮标数据量进行总体统计,包括对传感器的各项具体指标。数据统计分析是以实时数据接收、解析和处理后的海洋水质监测要素数据为基础,为用户提供数据查询、分析、显示、转换、导出等功能,实现信息数据从采集、传输到数据共享、利用和分析的过程。其中曲线图模块对浮标各传感器的监测参数有效值进行曲线图展现,如图4所示。数据统计模块对多个浮标的各监测参数有效值分别进行统计并展示,便于用户直观的查看并做出正确的判断。对报表统计结果可以进行导出。
2.4数据模型
数据模型是使用数据管理模块提供的海洋水质监测数据资料进行建模分析并对其发生状况进行评价及预警。该模块是利用先进的数据挖掘算法,如模糊聚类分析、支持向量机等,建立海洋水质评价模型、海洋水质要素预警模型等,分析海洋灾害发生时的特征、发生的原因并预测出海洋灾害即将发生的时间,实现海洋灾害特征要素的自动预警预报,为海洋相关部门提供可靠的、科学的依据。数据模型从建模开始就是在不断的更新过程中的,通过不断的验证以及反馈自动修正,确保数据模型的精确性和可用性。数据模型中提供了多种基础类的评价预警模型,也提供了相应的接口供用户修正数据模型。
2.5数据接口
对系统中已有的数据接口进行了显示和说明,可进行是否打开操作。数据接口除了在实施系统时现场开发的新接口外,系统还提供部分常用接口和说明供其他系统和用户调用。数据接口一般有数据底层交互接口,XML等通用文件交互接口,WebService网络交互接口和类库调用交互接口等多种方式,具体根据系统间可提供的交互度为基础选择最优方式进行数据对接。
3结束语
海洋水质监测浮标数据管理系统是海洋环境监测的核心信息系统之一,在系统设计实现过程中,综合考虑了系统架构、技术方案、软硬件设施、运维服务能力等方面,确保系统的高性能和低故障率。系统实现了登录、个人首页、地理信息、统计分析、数据表格、浮标管理、GPS信息、模型管理、系统运维九大模块,集成了数据安全控制、数据质量控制、数据统计分析、数据模型等功能,并为后续开发与完善提供了数据接口。基于国家对海洋水质监测高度的重视,监测浮标不断的规模化发展,数据管理系统也逐步发展成为能实时地、连续地、长期地、准确地提供监测区域内水质监测数据的海上在线监测网,实现了海洋水质监测由瞬时监测向连续监测,由定期监测到实时监测的跨越。在此基础上,今后将着力于构建海洋水质实时监测与动态评价体系,实现海洋水质评价由定性评价到定量评价,由单一学科评价到生态系统评价,由现状评价到趋势评价与预测的转变,开发建立符合监测海域环保、海洋开发利用、减灾、防灾需要的实测、预报及预警等评价信息产品,为海洋相关部门提供详实可靠的数据信息、科学的预报、预警信息,为海洋环境综合管理、海洋环境保护、海洋资源合理开发提供服务。
参考文献
[1]李俊.海洋环境在线监测及赤潮灾害预报系统研究[D].山东大学,2007:9-12.
[2]王瑞金.统一建模语言UML及其建模实例[J].计算机应用研究,2002,(8).
[3]何志强.近岸海域浮标实时监测系统设计概要[J].声学与电子工程,2014,(3):47-49.
[4]阮华杰.生态浮标预测赤潮暴发的分析[J].声学与电子工程,2014,(2):44-46.
作者:贾冯圳 单位:杭州应用声学研究所
推荐期刊:《新材料新装饰》是经国家新闻出版总署正式批准,系由中国建筑材料科学研究院承办、陕西省建筑材料工业总公司主管主办的科学建筑、建材、装饰设计类国家级综合性学术期刊。