Stream-Based-ML

here for paper

  • Author: Pavol Mulinka (Microsoft ByteDance)
  • Computing Methodologies , Machine Learning, Security and Privacy


概述:

  • 数据流机器学​​习,在网络监控社区中迅速普及,因为网络设备和终端用户产生的大数据超出了标准监控设备的内存限制。关键网络监控应用程序(例如异常检测,网络攻击和入侵)需要快速且连续数据流在线分析机制。
  • 在本文中,我们考虑基于流的机器学习方法,用于网络安全和异常检测,分析各种网络数据流中,应用和评估多个机器学习算法。
  • 来自数据流挖掘领域的数据流分析算法不断发展,以及为这种算法进行基准测试而构思的多种评估方法使得难以选择合适的机器学习模型。不同方法的结果可能具有重要意义,确定哪种方法最能反映算法性能至关重要。
  • 因此,我们比较和分析最新评估方法对常用顺序数据的结果。基于批处理的机器学习算法及其相应的基于流的扩展,用于在线网络安全异常检测的特定问题。
  • 类似于我们之前在处理用于网络安全和异常检测的机器学习方法时的离线机器学习方法。我们的结果表明,自适应随机森林随机梯度下降模型,能够在底层网络数据流中,追踪到概念漂移,并且通过多次重新训练,保持高精度。