April 12, 2024
SAGE概述 # SAGE（入侵警报驱动的攻击图提取器）直接从入侵警报生成AG，而无需先验漏洞和网络拓扑信息。它采用了一个可解释的序列学习管道，利用入侵警报之间的时间和概率依赖。SAGE可以直接增强现有的入侵检测系统（IDS），用于对大量警报进行分类，从而只产生少数几个AG。这些警报驱动的AG开启了一种新的手段，可以获取有关攻击者策略的情报，而无需调查数千个入侵警报。
局限性 # 机器学习支持的攻击者策略识别的一个特殊挑战是严重警报的稀缺性-大多数警报与网络扫描相关联，由于其广泛使用，分析师对此不感兴趣[18]。因此，频繁模式挖掘和最长公共子序列等频率分析方法本质上是不合适的，因为它们丢弃了不频繁的行为。
相反，我们使用FlexFringe自动机学习框架学习了一个可解释的基于后缀的概率确定性有限自动机（S-PDFA）[19]。我们调整学习算法并转换警报数据，使得生成的模型强调不常见的严重警报，而不丢弃任何低严重性警报。该模型总结了导致严重攻击阶段的攻击路径。它可以区分具有相同签名但不同上下文的警报，即，攻击开始时的扫描和攻击中途的扫描是不同的，因为前者表示侦察，后者表示攻击进展。有针对性的攻击图是在每个受害者，每个目标的基础上从S-PDFA中提取的。
贡献 # 我们的主要贡献是：
我们提出了基于后缀的概率确定性有限自动机（S-PDFA），一个可解释的序列模型，专注于不频繁的严重警报，而不丢弃任何低严重性警报。该模型总结了数据集中的攻击路径。 我们提供了正式的定义，SAGE的组件，包括一个彻底的可解释性分析SAGE和警报驱动的AG它产生。 我们利用三个安全测试竞争数据集来广泛评估SAGE。我们表明它是可推广的，AG提供了关于攻击者策略，战略差异和指纹路径的可操作情报。 第2节描述了SAGE的两个实际用例。我们在第3节中简要介绍了相关工作。SAGE的体系结构及其可解释性方面的沿着在第4节中说明。第5节和第6节描述了实验设置和警报驱动攻击图的全面分析。我们将在第7节讨论SAGE的局限性，并在第8节总结。
April 2, 2024
关键挑战 # 如何同时检测攻击并根据日志定位攻击点；
如何克服单向模型偏差带来的学习不足的挑战；
如何对非线性依赖关系进行建模并构建攻击图来帮助用户掌握入侵者的策略。
解决方法 # 为了应对上述挑战，我们提出了 DeepAG，一种在线方法，能够同时检测 APT 序列，并分别利用日志语义向量和索引定位序列中的攻击阶段，并根据上述日志索引构建攻击图。 当检测到攻击序列时，DeepAG可以定位序列的异常点。 首先，我们提取日志的词汇和语义信息[16]并将其矢量化，以减少日志信息的丢失。 特别地，我们使用的日志序列是由多个连续的日志语句组成的，这可以帮助发现异常的用户行为序列并显示异常点。 为了检测攻击，我们利用变压器模型 [23]，它并行处理高维语义向量并有助于减少运行时间。 此外，我们提出了双向模型来学习日志索引序列之间的位置关系。 基于前向和后向 LSTM，它可以生成多个序列，为可靠的预测提供更多信息，这与传统的 BiLSTM [17] 对同一序列进行单时间步预测不同。 此外，我们还介绍了 OOV 文字处理器和在线更新的机制，分别克服了检测和预测模型学习不足的问题。 最后，DeepAG构建了攻击图，对非线性依赖关系进行建模，直观地展示攻击阶段，帮助用户掌握对手的策略。 我们在四种不同系统日志的开源数据集上评估 DeepAG：HDFS、OpenStack、PageRank 和 BGL 日志。 DeepAG可以高效地实现实时攻击检测，与基线相比，时间成本降低了3倍以上。
3.系统模型 # 虽然多步攻击具有高度的隐蔽性和复杂性，但我们仍然可以通过分析系统日志来发现它们。
受此启发，我们从系统日志中学习攻击阶段，并提取日志模板。
图2示出了DeepAG的高级概述，其被分为五个部分：文本表示、训练阶段、检测阶段、预测阶段和图构造。
首先，为了表示日志，我们提取了日志模板，然后将它们分别转换为索引和向量。
在训练阶段，我们对日志进行矢量化，得到几个对数向量序列，并将这些序列输入到转换器中进行训练，以进行APT序列检测。
此外，我们向双向模型提供最近指数序列的历史，并将历史之后的下一个指数作为输出。
检测和预测阶段的目的是对APT序列进行判断，通过双向模型得到预测的攻击阶段及其概率分布。
在构建攻击图的基础上，DeepAG提供了一种与条件概率相关的图生成方法。
3.1 准备工作 # 双向预测。在每一步的预测中，由于可能的分叉(即并发)或学习不足，可能会产生不同概率的多个结果。为了提高预测的可靠性，我们提出了包含两个LSTM的双向模型，从两个方向对事件进行验证。它们分别由顺序执行中包含日志序列的正向日志和反向日志序列的反向日志来训练。最后，对于每一个新的条目，在从前向LSTM获得对下一个时间步长t的预测后，我们进一步基于前向LSTM进行h步预测，得到几个长度为h的序列，然后将这些序列反转并输入到后向LSTM，得到对时间步长t的向后预测。最后，我们从两个方向综合对时间步长t的预测，做出可靠和全面的预测。 Bi-directional prediction. In the prediction of every step, there may be multiple results with different probabilities caused by possible forks (i.e., concurrency) or insufficient learning.
...