《基于全链路的大数据基础管理关键技术分析》
该文是关于关键技术类论文参考文献范文跟数据和基础和管理和关键和技术和分析方面学士学位论文范文.
[摘 要]随着各行企业的不断发展,新布局不断推进,使大数据管理技术不得不弃旧革新,跨专业专业数据分析应用、各专业数据共享和融合成为业务改革提升的迫切需求.本文结合大数据技术,讲述了全链路数据管理的全过程、大数据计算分析技术以及关键技术的创新研究,能够实现业务数据全过程信息化、标准化管控,增强数据处理、分析和供给能力以及数据流通和共享.
[关键词]全链路;大数据基础管理;关键技术
doi：10.3969/j.issn.1673 - 0194.2020.02.031
[中图分类号]TP311.13[文獻标识码]A[文章编号]1673-0194（2020）02-00-02
0引 言
近年来,各行各业的数据增长趋势都非常明显,大数据也不再是少数大企业的专属研究领域,如何做好数字化运营以及开发数据的管理技术,成为各行企业共同关注的话题.针对企业日益迫切的数据化运营需求,基于全链路的大数据基础管理的关键技术被研究出来,通过研究大数据关键技术,提升了数据集成平台的数据分析和挖掘能力,实现了业务数据的处理与应用功能,实现了电网多元化数据共享与融合.
1国内外研究水平的现状和发展趋势
本研究通过国内外先进的大数据处理、全链路数据管理技术实现信息中心信息化项目全链路数据探索技术研究,以实现数据共享和融合,提高数据供给侧的数据处理、数据分析挖掘和数据供给能力.本研究主要涉及大数据处理、全链路数据管理等关键技术,以下从本系统相关的大数据计算和全链路数据管理两个方面展开.
1.1 大数据处理技术
大数据处理是针对海量异构、多态的数据进行高效、可靠、低廉存储以及快速访问和分析的技术.目前,大数据处理技术可以分为批处理与流处理两种模式.批处理系统具有先存储后计算、数据的准确性和全面性要求高等特点,只适合处理对实时性要求较低的任务.而电力大数据具有数据量大、种类繁多与产生速度快等特点,使其迫切需要大规模数据流处理技术提供解决方案.流处理系统往往不要求结果绝对精确,而注重对动态产生的数据进行实时计算并及时反馈结果,数据流具有实时性、易失性、无序性、无限性等特征,价值会随时间的流逝而减少,流式数据的实时处理是一个连续计算的处理过程,本质上是一种连续微批处理技术.目前,以Storm、Spark Streaming等为代表的实时计算技术是目前大数据处理领域的一个研究热点.
1.2 全链路数据管理
大数据全链路数据管理,是对大数据进行采集、数据开发、存储、线上回流、可视化展示等步骤的全过程供给与全过程信息化、标准化监控管理.数据采集是对数据进行ETL（Extract-Tranorm-Load）操作,对数据进行抽取（Extract）、转换（Tranorm）、加载（Load）到目的端的过程,对于大数据采集系统,主要分为3类系统：系统日志采集系统、网络数据采集系统、数据集成系统.数据开发是最复杂的一个环节,在这个环节中,用户可以使用批处理工具、实时流处理工具和机器学习算法进行开发,挖掘出潜藏在海量数据中的价值.数据存储是为了满足企业数据多样化的存储和应用需要,对海量异构数据提供的一种存储功能;数据回流指将处理好的数据,回到非分布式数据库上供门户系统展示使用;可视化展示指提供常用普适的数据可视化功能,使开发人员能更便捷地探索原始数据,或更直观明了地展示开发成果数据.全链路数据管理需要为上述各个步骤提供一个无缝衔接的集成开发环境,需要将各个步骤的功能封装成基于模板的可复用的自定义模块,这样,用户只需要通过选择模块并进行配置就可以完成大数据采集、数据开发、存储、线上回流和可视化展示等任务.
2基于全链路的大数据基础管理的关键技术
2.1 研究多渠道数据集成技术
目前,数据集成平台仅根据应用需求接入了部分结构化数据,数据接入还不够广泛,为了扩大平台的数据接入范围,需研究离线导入包括Mysql、PostgreSQL、Oracle等主流关系数据库的结构化数据技术以及包括文本数据、日志数据、语音视频等非结构化数据的技术.由于业务系统庞大,传感器测量技术、通信技术和计算机技术等在电网中的广泛使用,平台需要集成的结构化数据、非结构化数据和实时数据量非常庞大.为了支持多渠道数据接入功能,需要研究高强度数据压缩及加密传输技术,以保证工作顺利、安全进行.
2.2 研究企业级大数据存储技术
为了提升数据集成平台为高端应用提供数据支撑的能力,数据集成平台需要具备大数据存储能力.从存储技术看,单一的数据存储技术很难满足企业数据存储和应用的需要,应研究多类型存储支持技术,包括OLAP数据库、OLTP数据库、时序（时标）数据库、内存数据库、块存储、分布式文件系统等;从数据资产安全方面看,数据资产对企业而言是一笔非常重要的财产,平台应该充分考虑可靠性建设,需研究存储系统高可靠容灾设计;从可持续发展方面看,电网的数据量增长速度快,存储系统应具备动态扩展能力.
2.3 研究离线批处理计算机技术
针对离线批处理系统具有先存储后计算、数据的准确性和全面性要求高等特点.为了支撑企业数仓建设中的数据清洗、转换、汇集、主题提取等数据处理需求,需要研究MapReduce、Hive、Pig等批处理工具,以支持大数据计算作业;另外,还要研究Spark分布式内存计算框架,在内存中对数据集进行快速多次迭代计算,以支持复杂的数据挖掘算法和图计算算法.
2.4 研究实时流处理计算技术
该文汇总,本文论述了适合数据和基础和管理和关键和技术和分析论文写作的大学硕士及关于关键技术本科毕业论文，相关关键技术开题报告范文和学术职称论文参考文献.
关键技术引用文献:
[1] 虚拟专用网关键技术研究 论文大纲范本大全
[2] 关键技术论文范文 关于关键技术相关专升本论文范文2万字
[3] 关键技术论文范文 关键技术本科毕业论文范文2万字
