大数据技术在网络安全分析中的应用

来源：核心期刊咨询网时间：12

摘要：摘 要： 科学信息技术日新月异，网络技术成为人们生活不可缺少的内容，带来极大的便利，推动互联网可持续发展。但是现阶段网络安全问题严重，急需提高网络安全技术水平。本文以网络安全信息的实践应用为例，结合大数据技术实践应用，对提升网络安全性进行研

　　摘 要：　科学信息技术日新月异，网络技术成为人们生活不可缺少的内容，带来极大的便利，推动互联网可持续发展。但是现阶段网络安全问题严重，急需提高网络安全技术水平。本文以网络安全信息的实践应用为例，结合大数据技术实践应用，对提升网络安全性进行研究讨论，以供有需人士参考。

　　关键词：　网络安全分析; 大数据技术; 实践应用;

　　《大数据时代》(月刊)创刊于2016年，杂志是经国家新闻出版广电总局特别批准，落户“中国数谷”的国内首批大数据专业期刊。

　　网络信息安全主要依靠于载体从而进行的深入分析，普遍的信息载体有两个种类分别是流量和日志，其次，在从网络访问、资产以及漏洞等方面进行辅助参考，并合理结合大数据技术为信息网络技术行业带来新鲜血液。其主要原理是将流量和日志数据进行采集并收入在一个地址上，再进行储存、采集、分析和检索技术，进而从时间和效果上入手，提高网络分析效率。

　　1、 大数据技术在网络安全分析中的应用

　　1.1、 采集信息

　　网络信息的采集一般借助Chukwa等工具进行的，其基本采取方法是使用分布采集，采集对象是日志信息，采集速度普遍可达到每秒数百兆，如果利用数据镜像还能使目标更好地实现[1]。

　　1.2、 储存信息

　　在互联网时代，网络数据和网络应用形式变得更加多样化，人们对网络技术的要求也越来越严格，信息储存要实现多种数据储存的同时，还要提高信息搜索和信息处理的速度，并对不同信息数据通过不同存储方法进行分类处理，使信息存储更加便利和快捷。

　　1.3、 检索信息

　　在对需要的内容进行安全数据搜索时，其搜索原理多数基于Map Reduce的检索框架，作用分布式计算方法对查询语言的各个分析节点进行详细的加工处理，从而达到提高数据检索的目标，使网络信息搜索功能得到进一步完善。

　　1.4、 分析数据

　　数据分析原理是通过Spark或Storm等计算架构来进行分析处理的，也有一些问题会使用到更加复杂的处理技术，这一问题也成为问题处理的关键环节，最后确定并建立合理的分析电联计算方案。在设计方案时，应加大对实时数据处理的重视度，其中包括对信息数据的异常检测和实时监控等。而在对非实时数据处理的情况中，通常使用Hadoop架构，在计算时运用的是Map Reduce分布式计算和HDFS分布式存储。

　　1.5、 多源数据以及多阶段组合关联分析

　　大数据技术特点和作用在于，可以更好提高信息的处理和存储速度，使用较短时间进行多源异构数据，发现并解决系统内部可能出现的安全隐患等问题。以研究“僵尸网络”为例，实施有效的DNS的访问特性和整合流量，对数据源进行深入分析、拓展，对莫管数据、溯源数据做出攻击，分析整合分组数据。当日常使用中，受到不良网络入侵或者安全隐患时，及时联想大系统下其他端口是否存在相同的问题，维修人员在最短时间里找到安全隐患并采取应对措施。

　　2、 网络安全分析中的大数据技术实践探索

　　2.1、 构建整体数据平台框架

　　首先需要构建整体数据平台框架，串联起采集信息、储存信息、分析数据等环节，发挥大数据技术的实际作用，给分析网络安全带来精准服务。设计信息采集时，要搭建健全的信息渠道且涵盖流量数据、用户信息等内容，创设多源异构技术模型连接分布式采集关系。在技术方面，严格管理DNS流量、SNMP信息、数据资源等内容[2]，达成采集方式多元化。设计储存信息时，可以使用分布式管理文件法，对各技术渠道有机结合，实现长效存储、管控信息内容，使统一信息储存结构不再单一化，依托于多层运算法，加快日后使用时的检索速度。依附于数据发掘、分析技术，结合使用CEP引擎，结合真实情境有效融入Map Reduce以及Storm流计算架构等，通过分析数据信息的系统性、关联性，完成提取网络安全问题的特点化，在处理时积极结合检索关键词。

　　2.2、 平台实现的技术支持

　　2.2.1、 数据采集技术

　　在这里融合Flume、Kafka以及Storm，其中Flume帮助完成庞大数据的采集、整理、输送，其具备较强的实用性以及可靠性，对数据进行定制，便于使用者发现源于各端口的数据，在简单处理以后，上传至数据定制方。把Kafka当作缓存使用，处理多变的流式数据，其结构复杂，生产者众多，拥有很多的代理、消费者，通过实施全面逻辑加工，使之成为分布式发布订阅系统，最后应用Zookeeper框架处理数据管理，实现均衡、调节负载[3]。

　　2.2.2、 数据存储技术

　　通过使用HDFS把已经采集好的数据信息储存起来，其具备显着的分布式文件系统，吞吐功能特别强大、容错性非常高，在各数据节点都可以保存数据文件，在划分以后其基础储存单位是64兆字节。如果强制在同一时间段访问的文件数量较多，有很大几率会损坏系统功能，因此，为了提高处理数据效率，需要使用HDFS数据块，统一收集全部所得数据，进一步完成加工处理，把文件大小管控在64兆字节范围。

　　2.2.3、 数据分析技术

　　通常情况下是使用Hive完成统计和分析数据，通过应用Hive包装API，结合事先编制的插件处理、统计、分析数据。如果需要分析、关联事件流，需要使用CPE，其通过把系统数据模拟为各种事件，进一步分析、研究事件间的联系，然后建立事件关联序列库，完成改变事件难易程度的目标，快速在庞大的信息库里发现隐藏的网络安全隐患。

　　3、结束语

　　综上所述，本文针对网络安全应用大数据技术进行深入分析和研究，在强化科学技术水平的同时，进一步凸显出应用网络技术的重要性。基于此，在推广和应用网络安全技术时，互联网数据会不断增加，网络安全分析工作难度愈发提高，想要确保其应用效果，必须要科学、合理分析、处理有关数据，通过搭建网络安全系统，强化网络维护以及安全效果，给推广应用大数据技术奠定坚实基础。

　　参考文献

　　[1]曾秋梅.网络安全分析中的大数据技术实践探究[J].信息系统工程, 2017 (4) :77-77.

　　[2]李贵鹏.网络安全分析中的大数据技术与实践探究[J].通信电源技术, 2018, v.35;No.171 (3) :184-185.

　　[3]佟瑶.试论网络安全分析中大数据技术的应用[J].网络安全技术与应用, 2017 (12) :77+90.

转载请注明来自：http://www.qikan2017.com/lunwen/dzi/14622.html