今天還是有點拉肚子，所以，晚一會兒更新，大概凌晨一點左右吧，到時候重新重新整理這一章就行了。
…………
摘要:為了保證網絡安全，提出基於大數據分析的網絡安全風險挖掘與估計方法，選取Hadoop平臺的Map和Reduce函式挖掘網絡安全事件關聯規則，將所挖掘關聯規則作為網絡安全事件特徵，將網絡安全事件特徵作為徑向基核函式的支援向量機輸入，透過訓練建立網絡安全風險估計模型，並採用QPSO方法的尋優效能搜尋支援向量機最優引數，實驗結果表明，該方法提升了網絡安全風險估計精度，對於防禦網絡安全風險具有重要的參考價值。
關鍵詞:大數據分析；網絡安全風險；關聯規則；支援向量機
1引言
網際網路技術發展極為迅速，網際網路網路環境具有較高的開放性，部分攻擊者利用網絡具有的不確定性以及多樣性攻擊網路，嚴重威脅網路執行安全[1-2]。以往的網路防禦方法僅利用數據包中所包含資訊獲取風險估計結果，所獲取風險估計結果準確率較低。為了保障網路執行安全性，令網路管理者實時明確網路執行狀態，提前明確網絡安全風險，採用相應的防禦措施抵禦風險，是保障網絡安全執行的重要基礎[3-5]。目前眾多研究學者針對網絡安全風險進行大量研究。韓曉露與何春蓉等人分別利用直覺模湖集以及注意力機制評估網絡安全態勢[6-7]，但網絡安全風險仍存在告警量過大以及由於資料量過大導致誤報率較高的缺陷。從海量網路大資料中挖掘有用的網絡安全風險資料是網絡安全風險精準評估的關鍵。網路存在攻擊行為時，將形成大量眾多型別的告警信息，提升資料探勘難度[8]，高效的大資料探勘方法對於提升網絡安全風險評估精度極為重要。為此本文提出了基於大數據分析的網絡安全風險挖掘與估計方法，並對其效能進行了測試與分析。
2大數據分析的網絡安全風險挖掘與估計方法
2.1資料探勘的關聯規則提取
採集海量網路資料中的安全事件，由於所採集網絡安全事件格式存在較大差異，需歸一化處理安全事件，便於挖掘其中所包含的關聯規則。利用所挖掘關聯規則分析網絡安全風險的相似病毒[9]，相似漏洞等攻擊行為，提升網絡安全風險評估精度。利用大數據分析技術的資料探勘方法提取網絡安全事件關聯規則。n}表示安全事件元素集合，R={r1，r2，…，rn}表示資料集，資料集R中所包含元素ri均為由W建立的集合，即存在riW。定義1：利用集合R內元素建立集合C，資料集內元素可滿足Cri要求數量為l時，可得資料集R內集合C的支援度計算公式如下：(1)(1)定義2：存在集合IDW時，利用表示C→D的置信度。所挖掘資料集合內可滿足最小置信度以及最小支援度的C→D即大資料探勘方法所需挖掘的關聯規則。關聯規則透過挖掘事務集內頻繁項集合，獲取不同事務與事務間所存在的關聯規則。網絡安全事件具有規模量極大的特點[10]，選取雲計算平臺Hadoop平臺實現海量網絡安全事件關聯規則挖掘。大數據分析技術挖掘關聯規則分為兩部分：(1)挖掘頻繁項集，所挖掘頻繁項集應滿足最小支援度；(2)利用資料探勘所獲取的頻繁項集挖掘滿足最小置信度條件的關聯規則。Hadoop平臺利用Map函式以及Reduce函式獲取專案集子集以及綜合已獲取子集的支援度，透過分析全部子集支援度獲取所挖掘網絡安全事件中頻繁項支援度，挖掘網絡安全事件資料集中所包含頻繁項集。Hadoop平臺挖掘關聯規則過程如下:將最小支援度β以及原始網絡安全事件資料集R作為Hadoop平臺運算輸入；將可滿足最小支援度的頻繁項作為Hadoop平臺運算輸出。Map任務：(1)依據所輸入檔案路徑利用最小支援度的頻繁項集分割原始網絡安全資料集為大小為n的資料子集，格式化處理所分割的各子集，獲取鍵值對，其中value與key分別表示資料資訊以及字元偏移量。(2)將所獲取不同子集中的鍵值對依據Map函式讀取，將資料資訊value利用split函式解析，將解析結果傳送至集合內；(3)利用輸出key表示全部子集，設子集value值等於1；(4)呼叫全部可選的bin函式，全部Map端在網絡安全資料中生成相同key值的鍵值對，透過bin函式合併全部相同的鍵值對，改善透過網路將所獲取的鍵值對發送至Reduce端造成運算效率低的缺陷；Reduce任務：(1)排序bin函式所傳送的鍵值對，合併相同key值的鍵值對，獲取，所獲取鍵值對利用Re-duce函式讀取，累加鍵值對中L()內的值。網絡安全資料集R內key集合的支援數量，所獲取結果即Reduce端具有頻繁候選項集的全域性支援度；(2)將高於最小支援度的候選項集基於最小支援度發送至儲存資料外部表內，利用所獲取外部表查詢挖掘所獲取的頻繁項集，設定該頻繁項為MapReduce程式的輸入以及輸入相關檔案。將最小置信度δ以及滿足最小置信度δ的關聯規則分別作為挖掘網絡安全事件關聯規則的輸入與輸出，運算過程如下：(1)選取Map函式啟動setup法連線資料庫；(2)分割儲存資料所建立外部表內的頻繁項集，完成分割後獲取數量為n的資料子集，將全部資料格式化處理至鍵值對；(3)解析value內頻繁項集內元素，完成解析後獲取相應value值用(C，D，SValue)表示，將所獲取的(C，D)儲存至集合中；(4)求解頻繁項集內元素子集C，讀取元素子集C支援度sup(C)，利用表示C→D的置信度。(5)當所獲取置信度高於已設定閾值時，所獲取的頻繁項集內部包含該子集外的全部元素與該子集存在關聯規則，利用所獲取差集與子集建立key值，該key值的置信度值即value。透過以上過程挖掘網絡安全事件關聯規則，利用支援向量機方法基於所挖掘關聯規則實現網絡安全風險估計。
2.2網絡安全風險估計方法
將所挖掘關聯規則作為網絡安全事件特徵，利用所挖掘關聯規則估計網絡安全風險。利用樣本輸入xi以及樣本輸出yi所組成的(xi，yi)表示網絡安全事件訓練樣本集，該樣本集滿足xiRn，yiRn。網絡安全事件樣本集(xi，yi)內網絡安全事件樣本利用非線性映射函數φ()對映至高維特徵空間內，可得網絡安全事件評估的最優線性迴歸函式表示式如下：(2)式中，b與w分別表示偏置量以及權值。利用結構風險最小化原則獲取LSSVM迴歸模型的解，可得公式如下：(3)(4)式中，ei與C分別表示迴歸函式與實際結果的誤差以及懲罰函式。將公式(4)的約束最佳化問題引入拉格朗日乘子可得公式如下：(5)式中，ai表示拉格朗日乘子。依據Mercer條件定義核函式公式如下：(6)選取徑向基核函式設定為網絡安全風險估計的核函式，可得徑向基核函式表示式如下：(7)獲取最終支援向量機迴歸模型如下：(8)式中，σ為徑向基核函式寬度。支援向量機引數決定其估計精度，選取合適的引數有助於提升網絡安全風險估計精度。選取QPSO演算法對支援向量機的引數尋優。QPSO演算法設定存在數量為m的粒子於維度為D的搜尋空間內，粒子原始位置用xi(xi1，xi2，…，xid)表示，PB(pb1，pb2，…，pbd)表示當前最優位置，GB(bg1，bg2，…，bgd)表示全域性最優位置。粒子進化表示式如下：(8)式中，mbest與β分別表示粒子群內最優粒子值以及演算法收斂速度。迭代次數為t時，演算法收斂速度計算公式如下：(9)網絡安全風險評估過程如下：(1)依據網絡安全風險評估規模設定粒子群內粒子數量，粒子群內粒子維度分別表示用於估計網絡安全風險支援向量機的引數C與σ。(2)設定最佳化支援向量機引數的粒子群演算法的引數以及最大迭代次數；(3)獲取粒子的適應度函式；(4)計算粒子的最優個體位置以及全域性最優位置，建立網絡安全信息庫；(5)更新粒子群內各粒子位置；(6)依據以上過程重複迭代計算，判斷是否滿足終止條件，滿足終止條件時，轉至步驟(7)，否則轉回至步驟(3)；(7)將透過以上過程所獲取的最優粒子作為支援向量機引數，完成網絡安全風險估計模型建立，利用所建立網絡安全風險估計模型獲取網絡安全風險估計結果。
3例項分析
選取某通訊網路執行時間為60min的通訊資料作為測試物件，共採集樣本資料5846544條，採用本文方法評估網絡安全風險。選取直覺模湖集方法(參考文獻[6])以及注意力機制方法(參考文獻[7])作為對比方法。本文方法採用大數據分析技術挖掘海量網絡通信資料間所存在的關聯規則，統計不同最小置信度以及最小支援度時所挖掘的關聯規則數量，統計結果如圖1所示。圖1實驗結果可以看出，最小置信度以及最小支援度分別為0.7以及0.3時，可挖掘數量較多的關聯規則，設定採用本文方法挖掘海量網路資料時，β值以及б值分別為0.7以及0.3。本文方法具有較高的關聯規則挖掘效能，應用於海量網絡通信資料時，仍具有較高的挖掘效率。完成關聯規則挖掘後，利用QPSO演算法的尋優效能獲取支援向量機最優引數，QPSO演算法在不同迭代次數時收斂情況如圖2所示。圖2實驗結果可以看出，本文方法採用QP-SO演算法尋找支援向量機評估網絡安全風險的最優引數，僅需40次左右的迭代次數即可快速獲取最優支援向量機引數。本文方法所選取QPSO演算法具有較高的尋優效率，可在較短時間內快速獲取支援向量機的最優引數，提升網絡安全風險估計效能。透過QPSO演算法獲取支援向量機演算法最優引數為C=130，σ=135。採用QPSO演算法所獲取的支援向量機最優引數建立網絡安全風險評估模型，採用所建立安全風險評估模型評估網路執行5h的安全風險事件數量，將本文方法與另兩種方法對比，對比結果如圖3所示。圖3實驗結果可以看出，採用本文方法評估網絡安全風險結果與實際網絡安全風險結果極為接近，波動趨勢具有較高的吻合性。對比結果說明本文方法可有效預測網絡安全風險，預測結果極為可靠，可作為網絡管理員管理網絡安全的有效依據。經過多次測試，對比三種方法的網絡安全風險評估效能，對比結果如圖4所示。圖4實驗結果可以看出，採用本文方法評估網絡安全風險，可有效改善所需歷史數據較多、對缺失資料較為敏感等缺陷，應用於網絡安全風險評估時具有較高可靠性。採用本文方法評估測試網路於2020年1月3日7:00-24:00共17個小時的安全風險情況見表1。針對表1給出的實驗網絡安全事件情況表，採用本文方法對其風險事件攻擊型別進行評估，結果見表2。分析表2可得，本文方法可評估安全風險事件，可有效確定網絡安全風險事件的具體攻擊行為，驗證本文方法具有較高的安全風險事件評估有效性。
【新章節更新遲緩的問題，在能換源的app上終於有了解決之道，這裏下載 huanyuanapp.org 換源App, 同時查看本書在多個站點的最新章節。】
4結束語
網絡安全風險估計是目前網絡安全防禦體系中的重要部分。伴隨網路中數據量的提升，對網絡安全風險估計提出更高要求。充分考慮網路執行過程中的攻擊形勢，將大數據分析技術應用於網絡安全風險估計中，利用大數據分析技術所具有的可處理海量資料的優勢，充分挖掘網絡安全事件中所存在的關聯規則，估計網絡安全風險。透過實驗驗證所研究方法可實現網絡安全風險的有效估計，可保障海量資料執行環境下的網絡安全的有效防護。