灰烬神主等会儿更新
今天还是有点拉肚子，所以，晚一会儿更新，大概凌晨一点左右吧，到时候重新刷新这一章就行了。
…………
摘要:为了保证网络安全，提出基于大数据分析的网络安全风险挖掘与估计方法，选取Hadoop平台的Map和Reduce函数挖掘网络安全事件关联规则，将所挖掘关联规则作为网络安全事件特征，将网络安全事件特征作为径向基核函数的支持向量机输入，通过训练建立网络安全风险估计模型，并采用QPSO方法的寻优性能搜寻支持向量机最优参数，实验结果表明，该方法提升了网络安全风险估计精度，对于防御网络安全风险具有重要的参考价值。
关键词:大数据分析；网络安全风险；关联规则；支持向量机
1引言
互联网技术发展极为迅速，互联网网络环境具有较高的开放性，部分攻击者利用网络具有的不确定性以及多样性攻击网络，严重威胁网络运行安全[1-2]。以往的网络防御方法仅利用数据包中所包含信息获取风险估计结果，所获取风险估计结果准确率较低。为了保障网络运行安全性，令网络管理者实时明确网络运行状态，提前明确网络安全风险，采用相应的防御措施抵御风险，是保障网络安全运行的重要基础[3-5]。目前众多研究学者针对网络安全风险进行大量研究。韩晓露与何春蓉等人分别利用直觉模湖集以及注意力机制评估网络安全态势[6-7]，但网络安全风险仍存在告警量过大以及由于数据量过大导致误报率较高的缺陷。从海量网络大数据中挖掘有用的网络安全风险数据是网络安全风险精准评估的关键。网络存在攻击行为时，将形成大量众多类型的告警信息，提升数据挖掘难度[8]，高效的大数据挖掘方法对于提升网络安全风险评估精度极为重要。为此本文提出了基于大数据分析的网络安全风险挖掘与估计方法，并对其性能进行了测试与分析。
2大数据分析的网络安全风险挖掘与估计方法
2.1数据挖掘的关联规则提取
采集海量网络数据中的安全事件，由于所采集网络安全事件格式存在较大差异，需归一化处理安全事件，便于挖掘其中所包含的关联规则。利用所挖掘关联规则分析网络安全风险的相似病毒[9]，相似漏洞等攻击行为，提升网络安全风险评估精度。利用大数据分析技术的数据挖掘方法提取网络安全事件关联规则。n}表示安全事件元素集合，R={r1，r2，…，rn}表示数据集，数据集R中所包含元素ri均为由W建立的集合，即存在riW。定义1：利用集合R内元素建立集合C，数据集内元素可满足Cri要求数量为l时，可得数据集R内集合C的支持度计算公式如下：(1)(1)定义2：存在集合IDW时，利用表示C→D的置信度。所挖掘数据集合内可满足最小置信度以及最小支持度的C→D即大数据挖掘方法所需挖掘的关联规则。关联规则通过挖掘事务集内频繁项集合，获取不同事务与事务间所存在的关联规则。网络安全事件具有规模量极大的特点[10]，选取云计算平台Hadoop平台实现海量网络安全事件关联规则挖掘。大数据分析技术挖掘关联规则分为两部分：(1)挖掘频繁项集，所挖掘频繁项集应满足最小支持度；(2)利用数据挖掘所获取的频繁项集挖掘满足最小置信度条件的关联规则。Hadoop平台利用Map函数以及Reduce函数获取项目集子集以及综合已获取子集的支持度，通过分析全部子集支持度获取所挖掘网络安全事件中频繁项支持度，挖掘网络安全事件数据集中所包含频繁项集。Hadoop平台挖掘关联规则过程如下:将最小支持度β以及原始网络安全事件数据集R作为Hadoop平台运算输入；将可满足最小支持度的频繁项作为Hadoop平台运算输出。Map任务：(1)依据所输入文件路径利用最小支持度的频繁项集分割原始网络安全数据集为大小为n的数据子集，格式化处理所分割的各子集，获取键值对，其中value与key分别表示数据信息以及字符偏移量。(2)将所获取不同子集中的键值对依据Map函数读取，将数据信息value利用split函数解析，将解析结果传送至集合内；(3)利用输出key表示全部子集，设子集value值等于1；(4)调用全部可选的bin函数，全部Map端在网络安全数据中生成相同key值的键值对，通过bin函数合并全部相同的键值对，改善通过网络将所获取的键值对发送至Reduce端造成运算效率低的缺陷；Reduce任务：(1)排序bin函数所发送的键值对，合并相同key值的键值对，获取，所获取键值对利用Re-duce函数读取，累加键值对中L()内的值。网络安全数据集R内key集合的支持数量，所获取结果即Reduce端具有频繁候选项集的全局支持度；(2)将高于最小支持度的候选项集基于最小支持度发送至存储数据外部表内，利用所获取外部表查询挖掘所获取的频繁项集，设置该频繁项为MapReduce程序的输入以及输入相关文件。将最小置信度δ