基于Hadoop的大規模網絡流量分析

在網絡流量的分析中,基于流的分析被大多數ISP所采用,分析系統一般部署在一臺高配置的服務器中。如由CERT網絡勢態感知團隊(CERT-NetSA)開發的用于大規模網絡安全分析的網絡交互分析工具集 SILK(the System for Internet-Level Knowledge),支持有效的收集、存儲和分析網絡流數據,SILK可以高效地查詢歷史大流量數據集,能用于分析大的企業或者中型ISP的骨干或邊界網絡流量。然而,隨著互聯網帶寬的日益增加,單臺系統會受到硬件等因素的限制使計算速度變得很緩慢,而且數據存放在單個服務器時的風險往往也很大,需要考慮使用分布式的方法。而分布式計算平臺Hadoo… Read more基于Hadoop的大規模網絡流量分析