基于水资源监测的多元大数据平台研究

来源：核心期刊咨询网时间：12

摘要：摘 要：本文以水资源监测数据为基础，引入生态环境、农业、国土、气象、工商等相关数据，探究多元数据下的大数据平台构建方法。首先论述了大数据平台的研究现状及不足，然后阐述了多元大数据平台的建设目标与平台架构，最后探讨了平台构建的关键技术。 关键

　　摘 要：本文以水资源监测数据为基础，引入生态环境、农业、国土、气象、工商等相关数据，探究多元数据下的大数据平台构建方法。首先论述了大数据平台的研究现状及不足，然后阐述了多元大数据平台的建设目标与平台架构，最后探讨了平台构建的关键技术。

　　关键词：多元数据;水资源监测;算法模型;大数据平台

　　水是生命之源、生產之要、生态之基[1]。自中央一号文件将水利信息化作为水利建设的重要内容以来，我国基本上形成了以数据采集、数据存储、业务应用、技术规范与保障体系为一体的信息化综合体系，而水利数据的增量也达到了前所未有的高度，如何利用好水利大数据，提供更为全面可靠的水利智慧化服务是水利信息化建设亟需解决的问题。

　　1 大数据平台研究现状

　　大数据[2](Big Data)一词，最早来源于2008年“Nature”杂志公开发表的论文“Big Data：Science in the Petabyte Era”，文章发表后引起了全世界专家学者的广泛关注与讨论，也正式拉开了大数据时代的帷幕。随着通信科技的普及，大数据现已广泛应用在金融、教育、电信、娱乐等产业。

　　尽管大数据在水利行业上的应用尚处于起步阶段，但也积累了一定的研究成果。柴立[3]等人基于3D-VSP技术，以陕西省为例，构建了三维可视化仿真平台，解决了大数据中的共享性差、表现应用单一的问题。周浩[4]等人立足于辽宁省水利信息化的发展状况，阐述了大数据管理信息平台的建设任务和目标，提出了构建基于水资源监控数据管理信息平台的解决方案。姜小俊[5]等人结合大数据技术特点，以浙江省水资源监测大数据为研究对象，从“理数据、搭框架、推应用”三个层面阐述了大数据应用示范工程设想。陈华[6]等人解读了水文数据的特点，为水文数据的分类和存储提供了标准化设计，最终针对水文大数据的共享平台提出了全面构想。

　　已有研究大多仅关注水利大数据，很少引入其他行业数据，但笔者认为大数据平台的构建不能仅仅以水利数据为主，其他生态环境、农业、国土、气象、工商数据也必须引入。尤其是随着“国家水资源监控能力建设项目”的逐步实施，未来水资源大数据将更加全面准确。因此，十分有必要在水资源监测数据基础上关联其他政府部门的数据，利用大数据分析方法，对分布在各行业的数据进行清洗、甄别、融合、同化，为水资源管理与实施调控提供决策依据，为相关部门的工作和发展提供可参考的数据支撑，最终让水资源大数据实现最大价值，受之社会，并服务于社会。

　　2 多元大数据平台设计

　　2.1 平台建设目标

　　依托“国家水资源监控能力建设项目(一期、二期)”的监测数据成果，引入生态环境、农业、国土、气象、工商等行业数据，通过对省级用水数据和多元行业数据的集中智能化分析，实现以下目标。

　　(1)实现省级“水利一张图”的管理目标

　　实现省级平台用水情况一张图管理，全面感知和管理工业用水、农业用水、生活用水及其他用水量、行业水资源利用率类比、万元GDP用水情况类比、用水许可分布等情况。

　　(2)智能化水利辅助决策

　　形成各类用水对象和用水情况变化图，分析水资源利用率、行业用水情况排名、万元GDP用水量类比等情况，以期调整用水许可的下发和水价的定价，全面优化省级水资源分配情况，最大化水资源利用率，发挥水利部门对省市GDP情况的优化指导作用。

　　(3)打通业务数据壁垒、实现共享互联

　　基于OpenAPI开放平台连通企业数据、其他业务系统数据和其他政府相关部门业务系统数据，以API形式开放水利业务数据，形成水利行业数据开放服务标准，对农业等相关部门开放，实现数据的共享互联。

　　(4)形成水利行业大数据标准规范

　　在水利数据模型的建设和探索性分析、预测性分析的过程中形成标准水利行业数据模型和分析算法模型，建立省级水利行业大数据标准规范，规范全省水利行业信息化建设。

　　2.2 平台架构

　　水利大数据分析平台逻辑上分为四层，分别是数据采集层、数据模型层、数据分析层和数据展现层，四层逻辑架构图如下图1所示。

　　数据采集层作为水利智能分析平台的数据网关，采用OpenAPI的模式实现对现有水利数据库数据、生态环境数据、气象数据、工商数据、统计局数据及其他单位的数据的采集、清洗、丰富和业务一致化梳理。对于需要特殊保密性的数据，则需与数据提供单位深度合作，采用特定接口与专业系统进行采集。

　　数据模型层是在现有水利业务的基础上对工业用水、农业用水、生活用水的用户和区域进行数据建模，并依托数据建模标准对数据采集层的数据加工逻辑进行指导，结合数据采集平台完成水利业务数据模型库。鉴于Hadoop平台在处理非结构或半结构化数据、复杂ETL流程、多维数据计算模型具有极佳的性能，因此，数据模型层主要是利用Hadoop平台进行扩展和封装。

　　数据分析层依托主流大数据分析工具，算法类如：深度学习算法[7](Deep Learning)、数据挖掘算法[8](Data Mining Algorithms)等，技术类如：数据质控管理[9](Data Quality and Master Data Management)、深度语义引擎[10](Deep Semantic Engines)等，实现对大数据多维度、深层次的分析。

　　数据展现层是大数据分析平台的核心部分，只有可视化与准确化的展示才能最大化数据价值。本层采用成熟的数据可视化工具(3D-VSP)，以组件的形式协同与集成不同数据业务，采用图件、表格、动画等多种形式进行数据解读与展现。

　　推荐阅读：《海河水利》是水利部主管、水利部海河水利委员会主办的水利技术类期刊,面向国内外公开发行。《海河水利》办刊的宗旨和任务是:坚持""百花齐放、百家争鸣""和理论与实践相结合的方针,刊登有关水利理论、水利改革发展和水利科技研究新成果、新经验,报道有关国内外水利学发展动态,宣传介绍海河流域水利建设成就,为实施""科教兴水""战略服务。

转载请注明来自：http://www.qikan2017.com/lunwen/lig/16180.html