《基于大数据的校园网络安全日志分析平台》
本文是关于网络和大数据论文参考文献范文与网络方面在职研究生论文范文.
摘 要：本课题分别从大数据信息分析平台、数据收集、数据存储以及数据分析的架构着手分析;其次,通过实现K-means的MapReduce方法,采用Hadoop分布式计算平台,同时分别从聚类功能结果测试和单机分析平台性能对比测试,通过实验测试,基于Hadoop的校园网络日志分析系统在收集、处理、存储、挖掘方面相比传统单机处理有很大改进,不仅减少了开发人员工作量同时还提高了效率.
关键词：大数据处理;Hadoop分布式;K-means
1 引言
如今,移动互联网技术的发、大数据等新兴技术的普及,整个社会的网络信息技术发生了巨大的变化,信息化环境己进入了一个新的阶段,这对学校网络中心在对校园网络的维护和管理上也提出了新的要求和挑战.在当今时代,互联网技术己经被十分深入地应用到高校的学习、工作和校园生活中,我国各大高校的校园网建设也越来越受到高校的重视,通过连接校园网络上网,产生的日志数据具有实时、海量、动态、无规则等特点,但这些数据同时具有重要的价值.如何从这些复杂数据中找出我们需要的内容,这就需要对这些原始的日志数据内容进行一些处理,通过数据的处理,挖掘出对学校管理有用途的信息,这些信息对学校校园网络建设以及学校对学生的管理都十分重要.现有的一些日志分析工具,如：Awstats、Webalizer等,都可以用来对网络日志进行分析统计,但由于这些工具基本是属于单机运行,在计算能力和存储能力上,满足不了如今校园网络中海量的网络日志的分析和处理,所以,通过使用Hadoop为框架,利用MapReduce编程模式和HDFS实现并行化处理,解决传统日志分析在海量数据面前遇到的瓶颈,对校园网络建设和管理有重要的意义.
2 大数据安全日志系统架构
2.1 智能信息分析平台
智能信息分析平台由数据的收集,保存,分析和优化功能模块组成,每个模块构造不同的数据格式和处理方法.从各种数据源中稳定地收集数据,并通过多个并行结构平均地保存数据,提供能够基于高速搜索进行智能分析的系统结构.
2.2 数据收集算法
在考虑所有数据收集技术,海量数据传输,管理稳定性以及收集和使用数据的高可用性的基础上,开发数据收集框架.安全设备中产生的所有信息都通过数据发送器实时保存在收集器中,例如源,格式数据,结构化/非结构化原始日志和原始日志.当前的数据收集过程显示了在处理主要主页中的Web日志,提出使用两种方法,即agent/lessagent来收集信息,并通过考虑实时性和稳定性来增加选择收集方法的灵活性.数据发送器自动分散错误和数据负载,并通过使用自动负载分配,检测错误/重复和日志转发技术来防止数据丢失.
通过应用大量的UDP数据包处理技术和数据转发技术,可从由互锁适配器Syslog/SNMP,具有UNIX/Windows性能的系统性能适配器,UNIX Syslog和Windows WMI构造的系统日志适配器传输大量信息.要将收集的信息通过适配器传输到传输队列,可以通过验证数据一致性并根据设备的性能调整数据传输量来完成.当发生数据溢出时,数据将无法传输并重复到保留的收集器.如果在此过程中发生诸如网络遣散之类的错误,请临时保存数据,然后通过具有SSL认证,SSL,SSL捕获和LOG过滤器功能的数据接合适配器重复该数据.
2.3 数据存储
收集器由基于分发的日志服务器构造,有收集器服务器的保存方法,通过收集系统获得的数据供客户通过接收和规范化过程初始查找信息,然后与规范化数据进行比较,并获得与DB交互的索引值.接收安全日志,系统日志和应用程序日志的数据,并通过规范化对其进行规范化引擎,规范化文件和数据标记,使用分布式体系结构保存大量的安全日志文件,分散的体系结构在并行处理中进行处理以存储海量数据,并通过基于分发的多索引器运行保存和实时索引工作.因此,每天的Tera字节（TB）数据可以通过分布式体系结构进行处理,每个收集器显示出200000EPS的处理性能.特别是每个收集器在保存数据时自动检查完整性,并将数据保存在压缩和编码的文件夹中.收集器通过构造数据备份/热备用收集器来自动备份和还原,以自动保护原始数据免受多系统可能出现的故障的影响.从理论上讲,这种管理结构可以存储无限的数据,并且具有可扩展性和稳定性.与并行处理方式相比,通过以并行形式排列收集器也可以得到更快的结果,从而导致收集器数量和处理性能成比例.当数据大小较小时,该技术可以对处理大量安全日志大数据产生巨大的影响.
2.4 大数据分析系统
不能通过实时检查来保证海量数据的速度,但是,可以通过输入关键字或保存在收集器中的索引数据的条件来查找索引数据来进行操作.搜索到的大量安全日志数据分析通过数据细化（将问题细分成小块的数据进行分析）,使多重扫描变得更加容易.此外,通过两种基于分布的多次扫描,还可以确保来自安全设备的数据的实时分析性能.其中之一是根据基线和阈值检测数据的快速变化.另一个正在使用趋势分析,该趋势分析是基于统计数据来预测数据.
通过对设备/日志类型的实时监控,分析所有事件的相关性并以图表的形式直观地显示出来.在实时监控过程中发现错误时,打开警报以可视化形式显胁.单次扫描最多运行20亿例,在每天200G～400G的簡单扫描条件下,在一分钟内进行扫描.
2.4.1 数据分析日志系统.数据收集结构的构建应考虑所有数据收集技术,海量数据传输,管理稳定性以及数据收集和参与的高可用性.因此,所有源,格式数据,结构化/非结构化原始日志以及来自安全设备的原始日志都将实时收集,并通过数据发送器存储在收集器中.
2.4.2 日志分析算法.课题提出使用PCRE（Perl兼容正则表达式）技术的方法,该技术支持非结构化数据规范化技术,该库支持特殊的Separator技术和正则表达式.该算法用于分析日志,这些日志分为日志收集服务器,日志解析器和日志转换.日志收集服务器使用FireWall事件,IDS事件,流量事件和WebFw事件等收集设备,通过数据过滤器将收集的数据传递到日志解析器.日志解析器负责解析收集到的设备对已过滤数据的转换,并将数据标准化为常规数据.转换后的数据保存在文件或内存中,并发送日志.同时,通过检查原始数据,正则表达式和日志转换,删除以及选择字段值以保存XML文件来完成规范化.
此文点评，本文是一篇关于对写作网络论文范文与课题研究的大学硕士、网络和大数据本科毕业论文网络和大数据论文开题报告范文和相关文献综述及职称论文参考文献资料有帮助.
网络和大数据引用文献:
[1] 网络和大数据自考毕业论文范文 关于网络和大数据类本科毕业论文范文2000字
[2] 网络和大数据论文例文 关于网络和大数据毕业论文开题报告范文8000字
[3] 网络和大数据专科开题报告范文 网络和大数据方面有关论文范文例文8000字
