最新消息：
    你的位置：jinglingshu的博客 > 好的外部文章和内容 > AI赋能的检测工程师

    AI赋能的检测工程师

    好的外部文章和内容 admin 25浏览 0评论

    数据量已经远远超过了我们手动创建、调整和维护检测规则的能力。随着组织的增长，安全团队面临着日志持续指数增长和支持业务合规需求的挑战。

    检测即代码 (Detection as Code, DaC) 是解决这一扩展问题的自然解决方案——将版本控制、自动化测试和CI/CD等软件工程原则引入安全监控。通过将检测规则视为代码构件而非配置项，安全团队获得了系统性开发、测试和部署规则以监控各种环境的能力。

    在2025年，AI将成为大规模运营的检测工程师的强大力量倍增器。AI承诺通过自动化常规规则创建来减少运营开销，同时放大人类细微差别。

    在这篇文章[1]中，我们将探讨AI如何重塑检测工程——从将业务需求转化为工作代码到优化现有规则和创建新型检测。我们将研究这些能力如何适应现代安全团队所需的端到端管道，以及检测工程师的角色将如何在这个AI增强的未来中演变。

    检测工程师助手

    传统的检测工程涉及针对各种数据源编写复杂查询，这一过程需要对安全日志数据、攻击模式和SIEM平台的具体情况有深入了解。正如在《高质量SIEM规则的剖析[2]》中所探讨的，检测规则应该是有意图的，现实地平衡信心和影响，同时针对特定的攻击者技术。它们还需要明确的分类步骤、适当的错误处理和针对各种情况的彻底测试。这种复杂性使检测工程成为AI增强的完美候选。

    代码生成和规则优化

    代码生成已经从简单的语法补全发展成为复杂的软件和检测工程协作者。考虑这些新兴方法：

    像GitHub Copilot、Cursor和Claude这样的通用AI编码助手为检测代码提供了强大的起点。它们擅长将自然语言描述转换为功能性检测逻辑，并可以帮助在不同规则语言中实现常见模式。例如，检测工程师可能提示：”编写一个检测规则，识别用户何时在非工作时间从非托管设备访问生产数据库”，并收到完整的规则实现。

    然而，这些通用工具在使用特定SIEM平台时有局限性。它们可能不了解专有数据模型、环境日志架构的细微差别或特定查询模式的性能影响。它们的建议通常需要大量完善才能在生产中有效工作，例如包含SIEM规则语言、数据模型等详细规范的大量提示。

    特定供应商的AI工具通过与各自平台深度集成解决了这些限制。主要SIEM提供商已经认识到这一机会，并迅速部署专门的助手：

     上图所示的Splunk的AI助手分解复杂的SPL查询，并用简单的英语解释每个组件。这种方法帮助检测工程师理解底层逻辑，同时制作更有效的规则。

    同时，Elastic的AI助手提供全面的ES|QL功能，从示例到性能优化和故障排除。

    即使是像Panther这样的云原生解决方案也在集成AI功能。考虑这个例子，简单的自然语言提示生成精确的PantherFlow查询。

    提示：

    给我过去8小时内登录Okta的用户列表：

    响应：

    panther_logs.public.okta_systemlog 
| where p_event_time > time.ago(8h) 
| where eventType == "user.session.start" 
| summarize login_count=agg.count() by actor.alternateId
| sort login_count desc

    这些特定平台的助手比通用AI更深入地理解其原生查询语言。最有效的方法是通过检索增强生成(RAG)系统结合SIEM平台数据、最佳实践和特定日志上下文，这些系统了解您独特的数据集、现有规则和过去行为。

    从业务需求到检测

    一旦有了有效的代码生成，AI模型可以弥合业务上下文和技术实现之间的差距。

    通过将业务细节与人员、流程和技术相结合，AI 可以直接用 SIEM 语言帮助构思新的检测方法：

    提示：

    我们的开发人员只通过Jenkins CI/CD流水线将代码部署到生产环境。创建一个规则，检测何时绕过我们的部署工作流直接对生产环境进行代码更改。

    这个过程以前需要安全团队和业务部门之间反复沟通协调。这种能力也使检测工程普及化，让更多安全专业人员无需深厚编程知识也能创建有效规则。

    错误检测、性能和最佳实践

    除了初始代码生成，精通您的系统和语法选择的AI擅长识别现有检测规则中的潜在问题：

    • 性能优化：AI可以分析规则以识别低效的查询模式、不必要的字段提取或可重构以提高性能的高成本连接。
    • 逻辑验证：通过模拟不同的事件模式，AI可以识别规则可能无法触发或生成误报的边缘情况。
    • 架构漂移：随着日志格式的发展，访问架构数据的AI代理可以自动识别规则何时引用已弃用的字段。

    这一能力将规则维护从被动转变为主动。AI可以持续分析和改进您的检测代码库，而不是等待性能问题或错过检测。

    每个SIEM平台都有自己一套最佳实践和优化技术，这些技术通常只存在于分散的文档、博客文章或经验丰富的从业者的思维中。AI可以用来编纂这些最佳实践，并在规则创建过程中自动应用它们。

    例如，在为AWS CloudTrail日志生成新规则时，AI助手可能会自动：

    • 包括适当的错误处理以处理缺失字段
    • 实施推荐的过滤以提高性能
    • 基于相关实体添加上下文丰富逻辑
    • 构建规则以适应未来的架构变化
    • 生成涵盖各种情况的全面测试用例

    这种嵌入的专业知识确保了平台特定知识有限的团队可以创建遵循既定最佳实践的高质量检测规则。

    跨 SIEM 平台调整规则

    安全团队通常在多SIEM环境中运行或进行平台迁移——这些情况需要在不同查询语言之间转换检测逻辑。虽然像Sigma这样的框架被设计为提供可转换为各种目标平台的通用检测语言，但它们仍然需要手动映射，并且通常无法捕获特定平台功能的全部表达能力。

    AI提供了一种更灵活、更强大的跨平台转换方法。考虑这个将经过验证的Splunk检测规则转换为Panther基于Python的检测框架的例子。

    提示：

    将这个检测通过WMI进行横向移动的Splunk SPL查询转换为Panther Python检测规则：

index=windows EventCode=4688 CommandLine="_WmiPrvSE.exe_" | stats count min(_time) as firstTime max(_time) as lastTime by Computer, User, CommandLine | where count > 10

    响应：

    def rule(event):
    # 检查这是否是正确的 Windows 进程创建事件类型
    if event.get('EventCode') != 4688:
        returnFalse

    # 检查命令行中是否有 WmiPrvSE.exe
    return'WmiPrvSE.exe'in event.get('CommandLine', '')

def title(event):
    returnf"Potential lateral movement via WMI detected by user {event.get('User')}"

# Panther 检测配置：
# - 设置阈值为 10 个事件
# - 在企业范围内按用户分组
# - 设置时间窗口为 120 分钟

    AI不仅转换了核心检测逻辑，还指导如何在Panther的配置系统中实现基于阈值的告警。它理解SPL的过滤和聚合管道与Panther基于Python的规则函数之间的概念差异。

    这种转换能力扩展到任何SIEM平台组合——从Elastic的EQL到Microsoft Sentinel的KQL，从Chronicle的YARA-L到AWS Security Lake的SQL。更令人印象深刻的是AI在转换过程中增强规则的能力。

    提示：

    这个Splunk规则对我们很有效，但会产生一些误报。您能否将其转换为Panther的同时添加额外上下文以减少误报？

    响应：

    我已将您的Splunk规则转换为Panther并添加了几项改进：

1. 使用Panther的deep_get辅助函数对嵌套字段进行增强过滤
2. 添加用户上下文查找以排除预期的管理活动
3. 实施更精确的命令行解析以减少误报
4. 在告警标题和描述中添加上下文信息以帮助分类

以下是改进的Panther实现：

    这一能力在安全平台迁移期间特别有价值。安全团队可以使用AI加速转换过程，同时保留或增强现有检测的安全价值，而不是手动重写数百或数千个检测规则——这一过程可能需要数月并引入错误。

    AI辅助转换超越了简单的语法转换。AI理解检测规则背后的意图，并可以调整它以利用特定平台的优势，无论是Splunk的搜索时提取、Elastic的ECS数据模型，还是Panther的Python库。这确保检测保持有效，同时充分利用您所选平台的功能。

    未来的检测工程工作流

    随着AI更多地集成到安全运营中，检测工程师的角色不会消失——它将演变。最有效的安全团队将成功地将人类专业知识与AI能力相结合，创建利用双方优势的工作流程。

    传统的检测工程涉及研究、开发、测试和调整的周期——每个步骤都需要大量手动工作。在AI增强的未来，这一工作流将发生显著变化：

    研究成为协作探索。 检测工程师不必花费数小时阅读文档或威胁报告，而是与AI协作快速探索检测可能性。对话可能如下所示：

    工程师："展示我们CI/CD流水线中供应链失陷的潜在检测。"

AI："基于您的环境，我已确定三种方法：
1. 监控您的GitHub存储库中异常提交模式
2. 检测在核准流程之外对构建脚本的修改
3. 确定在构建过程中引入的可疑包依赖

您想先探索哪一个？"

    这种协作方法允许工程师在更短时间内探索更多检测可能性，利用AI快速原型化不同方法，然后再投资于完整实施。

    开发成为引导性完善。工程师不再从头编写检测代码，而是越来越专注于完善AI生成的实现。他们将提供业务上下文，调整检测逻辑以减少误报，并确保与响应工作流程的适当集成：

    工程师："这个检测可疑Office宏执行的规则看起来不错，但我们需要排除财务团队批准的电子表格。"

AI："我将更新检测以排除匹配已批准模式的进程。这是修订后的实现，包含一个检查您批准的应用程序列表的白名单机制。"

    这一转变让检测工程师专注于高价值定制，而非基本实现细节。AI处理常规编码任务，而工程师应用其独特的环境知识和业务上下文。

    测试变得全面且自动化。AI可以生成人类工程师可能想不到的各种测试场景，确保更强大的检测覆盖：

    工程师："为我们新的AWS权限提升检测规则生成测试用例。"

AI："我已创建12个测试场景，涵盖各种权限提升技术：
- 未授权用户直接修改策略
- 对配置错误的服务角色的利用
- 临时凭证滥用
- IAM权限边界绕过
- ...

每个测试包括预期的告警和潜在的误报场景。"

    这种全面的测试方法在部署前识别边缘情况和潜在问题，显著提高检测质量并减少调整周期。

    调优成为持续优化。AI将持续分析检测性能并提出改进建议，而不是等待误报积累或错过告警：

    AI："我注意到我们的异常登录模式检测在过去一周触发了27个误报。分析显示，这些主要与您的销售团队在季度结算期间访问CRM有关。您想让我更新检测以纳入这一业务节奏吗？"

    这种主动调整方法确保检测质量随时间改进，而无需不断手动干预。

    AI增强型检测工程师

    在这个不断发展的环境中，成功的检测工程师将从主要是程序员转变为指导AI系统的安全架构师。他们的价值将来自：

    1. 业务和威胁转化：帮助AI理解与其组织相关的特定威胁和风险
    2. 环境上下文：提供有关正常操作、批准的工作流程和AI应在检测中考虑的业务流程的见解
    3. 质量控制和验证：确保AI生成的检测符合安全目标和政策要求
    4. 跨平台集成：协调检测如何跨多个安全工具和数据源工作
    5. 持续反馈：帮助AI从成功的检测和误报中学习，以改进未来性能

    实施注意事项与挑战

    虽然AI驱动的检测工程未来很有前景，但今天实施这些能力需要仔细考虑几个挑战：

    数据质量和模型限制

    AI 生成的检测质量取决于其基础数据和模型。当前的挑战包括：

    • 对自定义环境的有限理解：AI可能无法在没有特定培训的情况下完全掌握独特的架构元素或自定义应用程序。
    • 不断发展的查询语言：随着SIEM平台更新其查询功能，AI必须不断学习新语法和最佳实践。
    • 信息不完整：检测生成需要对日志格式和数据结构有全面理解，这可能并不总是可用。
    • 模型偏见：AI系统可能继承训练数据的偏见，可能过分强调某些类型的威胁而忽略其他威胁，或对”正常”行为模式作出错误假设。

    团队可以通过从记录良好的数据源开始并向AI系统提供明确的例子来缓解这些挑战，随着能力成熟，逐步扩展到更复杂的场景。

    人类评审的角色

    即使是最先进的AI也需要人类监督以确保检测质量。有效的工作流程应包括：

    • 对AI生成逻辑的严格审查：工程师应理解并验证检测规则背后的推理。
    • 性能验证：新检测应针对历史数据进行测试，并在初始观察期间进行监控。
    • 安全和合规验证：人类评审者应确保AI生成的代码遵循组织标准和监管要求。

    这种监督确保AI仍然是一个强大的工具，而非不可预测的黑盒。

    平衡自动化与专业知识

    在检测工程中实施AI最成功的方法将找到自动化和人类专业知识之间的正确平衡。这通常意味着：

    • 从简单、明确定义的检测场景开始
    • 随着信任建立，逐步扩展到更复杂的场景
    • 维持人类审查流程，特别是对于高关键性检测
    • 创建帮助AI系统从人类决策中学习的反馈机制

    这种平衡方法确保安全团队实现AI的效率优势，同时保持其检测能力的质量和可靠性。

    AI驱动的检测即代码的复合价值

    检测即代码与人工智能的融合代表了安全团队如何处理威胁检测的根本性转变。通过将软件工程的纪律和严谨与AI的创造能力相结合，安全团队可以构建与现代环境日益复杂性相适应的检测系统，同时保持高质量输出。

    这一演变正值关键时刻。随着组织加速AI采用，手动制作检测规则的传统方法无法跟上步伐。检测工程师一直是安全团队中最稀缺的资源之一——现在 AI 提供了一种方法，使他们的影响力在整个组织中倍增。

    AI驱动的检测工程的价值在于其复合效应：

    1. 知识积累：AI系统不断从文档、威胁情报和人类反馈中学习，每次互动都变得更加有效
    2. 技术的交叉融合：在一个上下文中有效的检测模式可以自动应用到环境的其他区域
    3. 普及专业知识：没有深厚编程经验的安全分析师可以通过自然语言交互直接为检测工程做出贡献
    4. 加速适应：当新威胁出现或环境变化时，AI可以在多个平台上快速生成更新的检测逻辑

    这些复合优势创造了一个良性循环，检测能力呈指数级而非线性改进，使安全团队尽管资源有限，仍能实现全面覆盖。

    对于希望实施AI驱动检测工程的组织，前进的道路很明确：

    • 投资于强大的检测即代码基础，包括版本控制、测试框架和 CI/CD 管道
    • 从AI可以展示即时价值的目标用例开始
    • 建立反馈循环，帮助 AI 系统从成功和失败中学习
    • 发展团队角色，专注于战略检测监督而非战术实施

    安全运营的未来属于成功将人类专业知识与AI能力相结合的团队。通过采用这种方法，组织可以构建比以往更全面、更适应性强和更有弹性的检测系统。

    随着安全环境持续发展，一件事变得确定：检测即代码与AI辅助的结合将是下一代安全监控构建的基础。问题不再是AI是否会转变检测工程，而是安全团队将如何快速适应以利用其全部潜力。

    小结

    👉 关注「玄月调查小组」，解剖硬核技术！

    参考资料

    [1]The AI-Powered Detection Engineer: https://www.detectionatscale.com/p/the-ai-powered-detection-engineer[2]The Anatomy of a High Quality SIEM Rule: https://www.detectionatscale.com/p/hq-siem-rules

    转自：https://mp.weixin.qq.com/s/YWpgcz9ZOgVf1Y7A85Glbw?mpshare=1&scene=1&srcid=1005xyuxYLTeA4TlwfHpBvoL&sharer_shareinfo=270aa8cba09bbe8f7be701cc586d225c&sharer_shareinfo_first=270aa8cba09bbe8f7be701cc586d225c&version=5.0.0.99730&platform=mac#rd

    转载请注明：jinglingshu的博客 » AI赋能的检测工程师

    与本文相关的文章

    发表我的评论
    取消评论

    表情

    Hi，您需要填写昵称和邮箱！

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址