《大数据环境下网络舆情预警系统的设计》
该文是网络舆情相关硕士毕业论文范文跟大数据和环境和预警和系统方面自考开题报告范文.
摘 要： 近年来,网络舆情成为了最主要的社会舆情传播方式之一,在大数据环境下,海量的网络舆情信息给网络舆情预警增加了新的挑战.依托爬虫技术对新闻网页、论坛和微博等网站进行信息采集,利用大数据平台Hadoop对采集的数据进行预处理及挖掘分析,所设计的网络舆情预警系统能够完成在大数据环境下,海量的网络舆情信息中网络舆情热点问题的挖掘以及预警等级的自动判别.
关键词： 大数据; 舆情; 预警; 爬虫技术; 数据挖掘
中图分类号：TP391 文献标识码：A 文章编号：1006-8228（2020）01-30-05
Abstract： In recent years, Internet public opinion has become one of the most important ways of social public opinion dissemination. Under the big data environment, massive online public opinion information adds new challenges to online public opinion early warning. Relying on crawler technology to collect information from news web pages, BBS, Weibo and other websites, and using the big data platform Hadoop to preprocess and mine the collected data, the network public opinion early warning system designed in this paper can complete the mining of hot issues of network public opinion and automatically identify the early warning level in the massive network public opinion information under the big data environment.
Key words： big data; public opinion; early warning; crawler technology; data mining
0 引用
2019年2月28日,中国互联网络信息中心（CNNIC）在京发布第43次《中国互联网络发展状况统计报告》,《报告》显示,截至2018年12月,我国网民规模达8.29亿,普及率达59.6%[1].网络舆情成为了最主要的社会舆情传播方式之一.而事物往往具有两面性,网络舆情也给社会的稳定带来了威胁.当一些恶意伤害,诽谤诬陷等负面现象出现在网络舆情中时,会造成社会的不稳定.各种网络暴力,人肉搜索等,在当今社会的网络中屡见不鲜.网络舆情的两面性日益加剧.目前我国正处于社会矛盾较多的社会转型期,所以更需要做好有关网络舆情的工作：对网络舆情的监测和预警等.正如罗伯特·希斯所说,避免危机的发生或者将危机消灭在萌芽状态是成本最小、最经济、也是最成功的危机管理办法.所以,搭建合理科学的网络舆情预警体系结构,建立起早期第一道保护壁垒,可以将舆情工作从事后的紧急解决转变为事前警示,做到提前干预,防患于未然,将舆情危机控制在最小范围内.建立完善的舆情预警机制,以科学正确的引导社会舆论,保证和促进社会的和谐发展.
在大数据环境下,微博、微信、论坛等社会媒体繁荣发展,产生了网络舆情预警的大数据需求,所以需要及时分析海量的网络舆情数据,进而给管理人员提供信息支持,这对网络舆情预警是新的挑战.传统的依靠简单的数据统计方法进行舆情预警和监控已无法满足需求.在大数据背景下,网络舆情的预警,要求从海量的数据中找到有价值的舆情信息[2].
1 文献综述
1.1 国外研究现状
国外对网络舆情传播的研究较早,并且已经有一定的体系和成果.近些年,对社交网络舆情传播领域学者们针对舆情传播话题,舆情传播模型,舆情传播影响因素和舆情传播控制策略等方向进行了深入的探索和讨论[3].
在舆情传播话题方面,Szabo和Huberman预测了Digg和You Tube两个门户网的舆情话题流行度的走势,并为线上话题趋势的预测提供了有效的模型[4].
在舆情传播模型方面,有学者引入了传染病模型,并将网民分为易感染、已感染和已免疫三种状态.而用不同的方法Moreno等提出了新的划分：易感染者、传播者和不传播者,验证了舆情传播没有明确的界限[5].
在舆情传播影响因素方面,Brooks提出了网络削弱了传统的信息传递载体新闻等在信息传播中的作用,也正是新时代网络自身的特点带来了这种变化[6].
1.2 国内研究现状
目前,国内对于网络舆情传播阶段模型的研究者较多,成果较多.对于网络舆情传播阶段的研究,学者是通过建立模型的方法,他们把网络舆情的传播特点和生命周期理论相结合,并带入到网络舆情传播阶段的划分中,从而提出了三、四、五、六阶段模型.每个模型各不相同,在网络舆情的传播过程中,各个模型的特性也会非常清晰的表现出来.
三阶段模型：王来华国内较早对网络舆情研究的学者,他将网络舆情传播階段划分为发生,变化,和结束三个阶段[7].
四阶段模型：刘毅最初将网络舆情传播阶段划分为四个阶段：涨落阶段、序变阶段、冲突阶段和衰变阶段[8].
五阶段模型：根据生命周期理论,兰月新等分析了网络舆情传播的五个阶段,即潜伏阶段、萌动阶段、加速阶段、成熟阶段和衰退阶段[9].
六阶段模型：在Web2.0环境下,崔鹏等分析了网络舆情传播的六阶段模型：潜伏阶段、成长阶段、蔓延阶段、爆发阶段、衰退阶段和死亡阶段[10].
随着各个模型的提出,和不同模型不同概念的创新,推动促进了网络舆情研究的发展,对网络舆情预警系统研究提供了基础.
2 构建大数据环境下网络舆情监控和预警模型
大数据环境下的网络舆情预警机制的构建依托爬虫技术对新闻网页、论坛和微博等网站进行信息采集,利用大数据Hadoop平台、MapReduce编程模型对采集的数据进行预处理及挖掘分析,继而对网络舆情环境予以监控与预警,包括监测、汇集、分析、警报等,从整体上把握网络舆情,做到“防范于未然”[11].构建预警机制的过程中,网络舆情预警对预警系统信息的及时性与准确性有较高的要求.
2.1 大数据环境下网络舆情信息的存储设计
⑴ 网站信息挖掘存储表,当指定搜索网站时,程序搜索到的网页内容放在信息存储表中,用于检测关键词出现的频率,并预警.
网络舆情信息存储表t_webinfo结构如表1所示.
⑵ 关键词存储表,搜索的关键词存储的表格,字段搜索时间（matchtime）是搜索对应的舆情信息的关键词,关键词存储表t_key结构如表2所示.
2.2 大数据环境下网络舆情信息的采集与预警
⑴ 获取网页内容并将其存入数据库以及对所需内容的获取
该模块是以matchtime为条件,先搜索t_webinfo表（网站舆情信息存储表）中数据,当前一次 MySQL 操作所影响的记录行数不存在时,删除t_key表（关键词存储表）里该匹配时间的数据,并前台返回显示done.
而当数据存在时,循环遍历搜索到的数据,然后以标题,*,关键词放入对应数组中.
部分关键代码如下：
$sql等于"select * from txttmp where matchtime等于$matchtime order by id limit ".$step;
$ret 等于 mysql_query（$sql,$conn）;
if（mysql_affected_rows（）<等于0）
{
$sql等于"delete from keytmp where matchtime等于$matchtime";
$ret 等于 mysql_query（$sql,$conn）;
echo "<script>document.getElementById（'echoinfo'）.innerHTML等于'done *_*';</script>";
mysql_close（$conn）;
exit;
}
while（$row 等于 mysql_fetch_object（$ret））
{
$link等于trim（$row->link）;
$connarr[$j]等于curl_init（$link）;
curl _ setopt （$connarr[$j], CURLOPT _ RETURNTRANER,1）;
curl_setopt（$connarr[$j], CURLOPT_TIMEOUT, 20）;//這个非常关键
curl_multi_add_handle（$mh,$connarr[$j]）;
array_push（$tmpidarr,$row->id）;//link
array_push（$tmplinkarr,$link）;//link
array_push（$tmptitlearr,trim（$row->title））;//title
array_push（$tmpsitearr,$row->site）;//site
$j++;
}
⑵ 网络舆情的预警
该模块主要是判断关键词在指定网站出现的次数,当次数在20-50之间时,返回前台页面初级预警,当出现次数在50-100之间时,返回前台页面中级预警,当次数达到100次以上时,返回前台页面高级预警.
部分关键代码如下：
$sql等于"select * from txttmp where matchtime等于$matchtime";
$result 等于 mysql_query（$sql,$conn）;
if（$result）{
$num 等于 mysql_num_rows（$result）;
}else{
echo "<script>document.getElementById（'echoinfo'）.innerHTML等于'done';</script>";
}
if（$num>等于20&&$num<等于50）{
echo "<script>document.getElementById（'echoinfo'）.innerHTML等于'初级预警';</script>";
}
if（$num>50&&$num<等于100）{
echo "<script>document.getElementById（'echoinfo'）.innerHTML等于'中级预警';</script>";
}
if（$num>100）{
echo "<script>document.getElementById（'echoinfo'）.innerHTML等于'高级预警';</script>";
}
3 模型的实证分析
3.1 预警系统主界面
系统运行主界面如图1所示.
该界面是进入舆情预警平台的主界面.
⑴ keys是写入需要检索的网络舆情关键字词.
⑵ site栏是写入需要检索的网站地址,必须以http：//开头.
⑶ 检索按钮就是在检索*中检索关键词,也就是执行程序.
⑷ addkey是当给的关键词搜索框满足不了需求时,可以增加关键词搜索框.
⑸ 同理addsite是当给的*搜索框满足不了需求时,可以增加*搜索框.
⑹ 当页面呈现时,会默认写好在网络舆情中比较热门的关键词和舆情出现较明显的热点*,以供用户参考.
3.2 舆情处理界面
图2展示了该平台网络舆情预警检索运行后的界面,该舆情并不需要预警,界面展示了检索网站中出现了关键词的标题,并以红色凸显出关键词;关键词一列也就是用户写在key中的某个关键词出现在标题中时,这一列将会出现该关键词;位置一列是该关键词出现在标题还是文章内还是标题内;*一列则是关键词出现的*;最后是跟踪时间,即搜索到的该信息的时间,精确到秒.
图3展示了当关键词出现次数在20到50次之间时达到初级预警,这时会在页面左下角出现初级预警四个字进行预警提示.
经过实验,本文设计的预警系统已初步达到了网络信息的获取和对获取信息中关键词的搜索显示功能.
4 结束语
对于大数据环境下频发的网络舆情,需要完善网络舆情的监测预警,以及采用相应的措施,对于不利于社会安定和谐的网络舆情,我们要做到及时把控和后续的处理,尽可能做到产生积极向上的社会影响.
对网络舆情的处理措施要依据当前网络舆情的情况而定,对其程度的判断,也是一个分类的过程.本文旨在通过判断网络舆情的不同阶段,给予政府、个人相应的处理措施建议;利用大数据Hadoop平台、MapReduce编程模型,通过php、mysql、js、Apache等技术简单地实现了大数据环境下对网络舆情的简单监测与预警.
本次研究中仍有许多不足之处待改进,在之后的研究中,将对以下几点进行进一步研究和完善.一是本次研究对舆情预警程度划分并不是很严谨,还需要更多地查阅相关资料,借鉴前人的舆情预警等级划分来完善.二是由于篇幅限制,本文并没有给出针对不同等级的网络舆情的具体处理措施,在后续研究中,会多搜集网络舆情案例,并找寻他们的相同之处和不同之处,进行合理的划分归类,并给予合理的处理建议.
参考文献（References）：
[1] CNNIC：2019年第43次中国互联网络发展状况统计报告[R].北京：中国互联网络信息中心,2019.
[2] 儲节旺,朱玲玲.基于大数据分析的突发事件网络舆情预警研究[J].情报理论与实践,2017,40（08）：61-66.
[3] Klüver H.,Pickup M.Are they listening? Public opinion,interest groups and government responsiveness[J]. West European Politics,2018：1-22
[4] Ankolekar A,Szabo G,Luon Y,et al.Friendlee：A Mobile Application for Your Social Life[M].Mobile Computing, Applications,and Services.2009.
[5] Moreno Y,Nekovee M,Pacheco A F.Dynamics of rumor spreading in complex networks[J].PhysicalReview E,2004.69（6）：066130.
[6] Brooks B.S.Journali in the Information Age：A Guide to Computers for Reporters and Editors[M].Allyn & Bacon,Inc.1996.
[7] 王来华.舆情变动规律初论[J].学术交流,2005.12：155-159
[8] 刘毅.网络舆情研究概论[M].天津人民出版社,2007：292-326.
[9] 兰月新,夏一雪,刘冰月,等.网络舆情传播阶段精细化建模与仿真研究[J].现代情报,2018.38（1）：76-86
[10] 崔鹏,张巍,何毅,等.突发公共事件网络舆情演化及政府应对能力研究[J].现代情报,2018.38（2）：75-83
[11] 胡瑞娟.面向大数据的件网络舆情预警机制研究[J].计算机时代,2017.5：13-16
本文总结：本文是一篇适合大数据和环境和预警和系统论文写作的大学硕士及关于网络舆情本科毕业论文，相关网络舆情开题报告范文和学术职称论文参考文献.
网络舆情引用文献:
[1] 网络舆情论文范文 网络舆情方面有关毕业论文格式范文8000字
[2] 网络舆情论文范文 网络舆情方面有关硕士论文范文2000字
[3] 网络舆情论文范文 网络舆情有关论文如何写8000字
