基于大模型的AI应用在提升网络安全防御的效率和能力方面展现出令人欣喜的效果,好似一个速度倍增器,可以用来增强或辅助现有安全产品的迭代。威胁情报作为追踪安全事件和感知应对风险的利器,引入大模型技术,将对其收集与分析的效率及质量带来怎样的改变?本期,我们将聚焦大模型在威胁情报领域的应用,探讨技术融合与发展趋势。
![](http://img.anquan419.com/2024/0312/20240312044327858.png)
威胁情报成攻防对抗利器 整理及分析面临瓶颈
网络对抗就是发生在网络空间的战争,所谓“知己知彼,百战不殆”,胜负在很大程度上取决于理解敌人的思维和运作方式,理解他们的动机并确定他们的战术,并根据这种理解作出相应的决策。
根据Gartner的定义,威胁情报是与资产所面临的威胁相关,并可为资产相关主体对威胁响应或处理提供支持的一种信息,如攻击者的身份、动机、能力、策略、工具、目标等。安全专家可以使用威胁情报来调查潜在威胁和恶意行为者采用的攻击方法,完善的威胁情报体系对于提升威胁检测准确率、提升应急处置效率、指导企业网络安全建设起到至关重要的作用。
如今,随着攻击者在利用网络安全漏洞瞄准攻击目标方面变得更加隐秘,以及企业机构复杂的组织流程、庞大的IT系统架构和海量的日志数据,都对威胁情报的应用效果提出了更高的要求。
在情报的收集整理过程中,面对的是网络空间浩如烟海且不断增加的数据,信息过载带来的噪音和重复内容,增加了整理的难度。与此同时,收集到的信息可能来自不同的语言、文化和专业领域,其数据载体和格式也往往不尽相同,这更让信息的整理和分析难上加难。
在情报分析使用的过程中,用户首先需要从海量情报中检索出所需的信息,复杂的查询语法带来了较高的使用门槛。而且主动检索的模式存在着较大的隐患,一方面,用户的检索难以覆盖到所有相关情报,存在很大的遗漏风险;另一方面,当与用户自身高度相关的威胁情报产生时,用户很可能在几小时之后才获知这一消息,这无疑会让用户更久地暴露在风险之下。
此外,结合多源头、多维度情报数据进行高效分析,也是一项难度颇大的任务,不同来源的情报甚至可能会产生冲突。最后,在对情报进行总结时,要进行大量研究并编写报告,这一过程需要丰富的经验以及大量的人力,在网络安全问题日益严重的今天,这无疑是低效的。
效率与质量双提升 大模型助力威胁情报价值倍增
威胁情报的来源和形式多种多样,人工分析威胁情报是一项复杂、繁琐、不及时的工作,运用大模型技术,可以帮助安全专家自动化地收集、分析和利用威胁情报,提升威胁情报的及时性、有效性和完整性。具体来说,可以从效率和质量两个维度来分析:
威胁情报的生产过程,是从不同的来源和渠道收集和整合相关的威胁情报,形成一个统一的威胁情报库,对库中的数据进行实体识别、关系抽取、事件抽取、情感分析等,提取出攻击者、攻击手段、攻击目标、攻击影响、攻击动机等信息,形成威胁情报报告。大模型可以实现从安全报告、漏洞预警和安全资讯等非结构化的文本数据到结构化的威胁情报数据的转化,从而提高威胁情报的生产效率,有效地缩短安全事件从发生到情报交付的周期,释放安全分析师大量的情报整理类工作时间。
面向威胁情报的整理和分析,利用大模型对来自不同安全组织、情报机构和企业的威胁情报进行语义理解和关联分析,找出不同来源之间的共同点和相关性,建立更全面的威胁情报图谱,促进不同实体之间的信息共享和合作,加强整个网络安全生态系统的防御能力。除此之外,可以设置威胁情报中的关注点,利用大模型对复杂的威胁情报报告生成符合安全团队关注点的分析摘要,快速了解威胁情报中的要点信息,提高威胁情报分析速度。
当前对于威胁情报的运用局限在静态形式,利用大模型强大的分析和推理能力,对威胁情报中的知识进行总结、归纳、演绎和推理,为用户提供动态的威胁情报,其中包含确定性结论,即对黑客组织既往攻击行为,攻击手法和使用工具等信息的总结,也包括基于用户问题和热点情报趋势等信息推理获得的风险预警类的概率性结论。这种全新的威胁情报动态利用方式,可以提高威胁情报的利用效率,充分挖掘情报的价值。
此外,识别虚假威胁情报也是提高情报质量的重要指标之一。数据投毒攻击会故意制造和传播一些错误或误导性的安全信息,对基于威胁情报数据训练的算法模型的破坏力极大,可以通过大模型构建多模态特征融合和知识一致性检测的方法,从特征和知识的角度去判断是否为虚假威胁情报。
与现有安全体系结合落地 让威胁情报发挥巨大潜力
进一步从产品应用上来说,随着监管要求日益严格、网络态势日渐复杂,单一的威胁情报产品并不是应对风险的最佳实践方式,威胁情报体系化建设成为企业安全建设的关注重点之一。如今,威胁情报贯穿安全运营体系监控、发现、止损和溯源的各个环节,通过情报分析驱动防御体系持续提升,我们在大模型应用观察之安全运营篇中也发现,许多运营体系的功能和优化也融合了安全大模型与威胁情报的集成。
随着AI技术的快速发展,国内提供威胁情报相关产品和服务的厂商在大模型方面的探索和布局非常迅速,已有不少产品投入市场,并取得了积极的反馈。
· 微步在线 XGPT
将安全大模型与微步99.99%高精准、覆盖全球的威胁情报能力及久经实战考验的安全检测能力相结合,具备GPT模型、情报数据和知识库的底层能力。已完成生成式人工智能上线备案,能力已开放至微步X安全情报社区,面向广大社会公众提供服务。
XGPT具备安全知识、威胁分析、安全运营三大核心能力,可从不同维度帮助企业安全团队提升安全运营效率,降低安全运营成本。
![](http://img.anquan419.com/2024/0312/20240312044525839.png)
![](http://img.anquan419.com/2024/0312/20240312044542977.png)
此处重点观察其在安全分析方面的优势,首先,基于机器学习技术对攻击资产特征进行快速识别和降噪,可以帮助过滤掉无关的线索,提炼出值得关注的特征,比如情报与APT关联、与特种木马关联,存在非常规开放端口、自签名证书、域名注册可疑信息。其次,辅助快速整理情报溯源线索,基于提供的线索能更快地判断有价值的溯源路径和放弃无价值的关系,同时联动Graph可视化分析能力可进行深度挖掘和拓线,更全面了解攻击者的意图。此外,通过对大量情报的分析和处理,提供高质量的研判结果,帮助快速响应和处置告警事件。还能对掌握的相关情报进行归纳和总结,对安全相关专业知识如黑客工具、攻击手法、危害等进行解读,帮助轻松理解威胁概况和防范措施。
· 华云安网络安全大模型
依托北京昇腾人工智能计算中心,在华为盘古模型基础上,经过一段时间大语言模型的训练,拥有语言文本理解能力、自然语言文本生成能力、安全语义理解能力和逻辑理解和推理能力,在扩展威胁情报、智能攻防对抗、合规与风险评估等网络安全运营场景的探索中取得了积极进展。
使用华为的Atlas算力平台,基于多种大语言模型,进行海量数据超大规模参数建模和多轮训练与调优,并通过接口在华云安产品中以随信息查询和智能问答的方式进行整合,让一般安全人员也可以进行专业化的安全数据分析。此外大模型还增加了已有的多个强化学习的小模型进行不断优化,还对接口调用参数和过滤条件等细节进行微调,以进一步提高模型的回复质量,极大减少了人工的重复劳动,提高了信息分析速度和深度。
![](http://img.anquan419.com/2024/0312/20240312044653819.jpg)
在扩展威胁情报方面,通过对1day漏洞情报、敏感数据泄露情报分析,帮助企业快速感知情报价值,决断响应和修复;在智能攻防方面,基于大模型的语义理解和生成,将晦涩的攻防技术成果进行易读性文字总结,以及场景化验证脚本和思路生成,进一步提高安全运营效率,缩小攻防信息差。
· 绿盟风云卫大模型NSFGPT
将单点数据构建情报体系形成知识图谱并最终积累到高质量语料数据体系,覆盖攻、防、情报、知识多方面。突破多项关键技术,如高效并行加速增量训练、下游任务高效微调、低算力推理加速、人机对齐安全管控等。
![](http://img.anquan419.com/2024/0312/20240312044715846.png)
结合威胁情报平台派生出多种能力,情报智能整理时,结合自身安全领域知识,准确识别信息中格式多样的威胁情报实体,以及实体间复杂的关联关系,从而高效实现去噪、摘要、归类等功能,并汇总到威胁情报平台中,实现情报梳理和整合的自动化。
在海量情报检索过程中,用户无需牢记大量查询语法,能够实现自然语言查询,更进一步,可以实现一站式查询功能,无需从多种平台搜集信息。除了主动检索,还可判断用户可能感兴趣的领域主动推荐相关情报。此外,鉴于情报的突发性,也可以结合用户具体情况进行预警推送。
在面对多源情报时,将在研判后会给出综合意见,甚至当多源头情报发生冲突时,可汇总多方情报来源,根据其各自的细节信息并结合安全知识和推理能力,综合分析给出合理建议。最后,可自动阅读分析资料并主动查询,按照需求生成安全报告,支持自动统计并可视化展示。
尾 声
威胁情报是定义可疑事件和行为模式的自动化系统的一部分,通过与现有安全解决方案或安全运营体系相结合,可以最大限度筛选安全数据、减少警报疲劳、优化安全策略。其整理和挖掘一直面临着动态信息繁杂琐碎、专家经验门槛高的瓶颈,大模型技术的辅助,显著提高了威胁情报的效率和质量。风险时刻升级,我们还需要持续探索,让大模型和现有技术体系优势互补,持续提升企业和安全人员对安全事件的追踪分析和风险防御的能力。