深度对话丨第三届ADConf圆桌实录

第三届ADConf安全大会圆桌对话，专家们共同剖析了AI在攻防两端的应用场景，从智能化攻击的演变到防御策略的创新，再到AI技术在网络安全中的实际应用。这场对话不仅探讨了AI技术在提升安全效能方面的潜力，也探讨了如何确保这些创新在合规性和隐私保护方面不会造成风险。

MT - 圆桌主持人
随着人工智能技术的快速发展，AI 在网络安全领域的应用越来越深入和广泛，同时也带来了新的机遇和挑战。那么，AI是否只是网络安全行业新一轮的“内卷”现象？它是否真的能为网络安全产业带来实质性的变革？
接下来，我们共同探讨AI到底能为网络安全产业带来哪些创新和价值。

黄绍莽
我是360安全大模型技术团队负责人，我们周鸿祎周总高度重视安全大模型的研发，我们公司内部设立了“产品含AI量”的指标，要求每个安全产品必须为安全大模型做出贡献。这种贡献可以是提供数据、清洗数据或生产数据，也可以是利用安全大模型的技术来优化产品体验或探索新的用户需求。
自大模型出现以来，安全产业发生了显著变化。一方面，大模型催生了许多新的安全需求，例如自动化攻击的自动化程度有了质的飞跃。现在，可以使用大模型操控agent进行自动化扫描、漏洞探测和漏洞利用，甚至突破深层网络。例如，开源项目Pen test GPT的自动化程度非常高，使得刚毕业的计算机专业本科生能够达到安全行业专家的水平，显著提高了安全从业人员的专业水平。
另一方面，传统的安全问题解决方案也发生了变化。以往的EDR检测或WAF检测主要依赖规则、字符串匹配、正则表达式或特征码等方法。而有了GPT后，对语义的理解变得更加自然，使得基于环境的检测、基于语义的检测和多数据源关联的检测成为可能。此外，方案的实现形式也发生了变化。以往需要一个全面的团队来实现原型思想，而现在通过代码大模型可以快速实现原型思想实现一个demo，这标志着实现方式的重大变化。
事实上，我们公司的主流安全产品都已经集成了安全大模型，这部分功能有的在后台运行，有的则对客户是可见的。我们主打的几个产品，例如360本脑，安全大模型是目前最主推的，其在产品中的占比相当大，并且在360本脑中进行了多项优化。此外，我们的网络安全产品，包括360的NDR以及360的AISA，也利用安全大模型显著提高了检出率。在终端产品方面，我们的EDR和EPP也进行了包括行为语义检测在内的优化。


潘立亚
从攻防两个方向来看，AI大模型的应用确实为网络安全产业带来了向好的趋势。
在攻击方向上，虽然目前还没有完全工程化全体系的案例产品，但我们正在探索一些细分领域的应用，例如钓鱼和免杀技术。我们也在尝试推广SaaS化的渗透测试，这将涉及到自动化渗透技术，这些技术将应用大模型。
在防守方向上，大模型的应用更为广泛，社会影响力也更强。我们开发了多个大模型，包括0day防御大模型、钓鱼防御大模型以及运营大模型。这些模型在今年的常态化过程中发挥了很好的效果。
与传统方法相比，大模型的应用显著提高了效率。在没有大模型的情况下，需求转化的时间会很长，而且如果完全依赖人力，效果也不一定理想。


杨雷
第一点感受呢，我觉得大模型技术就像屋子里的灯光一样无处不在，是社会发展的一个源动力，它一定会在各个领域发挥作用。但任何事物都有两面性，大模型技术的普及也意味着黑客可以利用它做更坏的事情，而且成本很低。因此，作为防御者，我们也需要升级我们的武器，提高我们的防御能力。
其次，从效率和效果的角度来看，安全本质上是业务的一个属性，我们需要考虑如何让业务稳定运行。在对手已经使用大模型的情况下，我们不能再用传统的方法，而应该进行升级，提升我们的检测和运营能力，让大量人员能够以高效率的方式产生好的效果，同时控制成本。
最后，大模型在运营方面为我们提供了可迭代的空间。我们需要给新人一个成长的路径，让他们从基础学习，成为未来的专业人士。而我们这些经验丰富的人则需要研究方法，将其做成模型，自动化执行，以迭代的方式提高效率。大模型是社会发展的必然产物，它会在各个领域应用，而我们需要不断升级我们的方法，提高运营效率和效果，否则就会落后。

李佳峰
首先，我认为AI大模型技术绝非噱头。从我们公司平时对身份的研究来看，AI大模型在实际应用中已经展现出其强大的能力。例如，在欺诈行为或银行卡盗用等领域，传统的KYC技术可能已经无法应对新型的深度伪造技术，如deepfake，这些技术可以通过AI的方式实现，绕过传统的人脸识别等安全措施。
其次，AI大模型在攻击技术上的先进性已经不容忽视。黑客可以利用这些技术做更坏的事情，而且成本很低。因此，作为防御者，我们也需要升级我们的武器，提高我们的防御能力。
再者，AI大模型在防御方面的应用也已经取得了显著进展。例如，阿里兄弟提到的防御模型，可能不再需要依赖正则表达式，而是通过各种模型和方式去做检测。此外，AI大模型的出现也引申出新的需求，如大模型本身的安全问题。
最后，我认为AI大模型是社会发展的一个必然产物，它会在整个社会的各个领域都有应用。社会里的所有事物都有安全属性，既然有安全属性就会有对立，那么我们就需要不断地去升级我们的方法。在运营效率、运营效果方面，我们需要在安全检测的能力上面进行提升，否则我们就会落后。
 

MT - 圆桌主持人
听到各位的讨论，无论是在检测还是防御方面，AI大模型都能够实际落地并有很好的应用场景。
接下来的问题，就如各位刚刚所说一个应届毕业生利用大模型的能力，可能表现得像经验丰富的老师傅。我以自己最近使用无图NOA自动驾驶功能的经历作为类比，说明即使是新手，也能在某些情况下表现得像老司机。
那这个东西对于在座的各位老司机们来说会是一种挑战吗？或者说这个大模型就是未来是不是能够取代诸位绝大多数的工作？

黄绍莽
我认为，AI大模型作为一种工具，对新手和资深安全专家都是一个平等的东西。我们可以将大模型视作一个放大器，它既能让新手的能力提升10倍，也能让我们这些资深安全专家的能力提升10倍。
对于新手来说，大模型能够帮助他们快速上手，表现得像经验丰富的专家。而对我们这些资深专家而言，大模型能够极大提高我们的工作效率，将原本需要长时间才能完成的任务缩短至几个小时甚至更短的时间内。


潘立亚
目前来看，AI大模型确实对整体劳动就业来说产生了一定的冲击，无论新手或老手，比如说简单机械性、规律性比较强的工作，大模型能够很方便地处理这些任务。对于资深专家来说，学习使用大模型和创造大模型将成为未来的两大方向。大模型不是一成不变的，它需要持续的调优，而这个过程中需要人的经验输入，这些经验是长时间积累的结果。例如，在写作领域，大模型的加持使得创作不再需要苦思冥想，也能产生独特作品。对于未来发展方向，大模型既是工具，也需要持续调优，因为其本身是一个学习的过程。
之前也有提到一个大模型训练的论据，数据语料到底填成什么样？其实第一是新，第二是全。新的数据是在生产过程中产生的，而这个过程需要人来喂数据。全，即全面性，不是一开始就具备的，而是在积累过程中迭代体系化。只有体系化加上全新的数据，才能体现精准，因为现在我们不缺信息，缺的是精准信息。将精准信息与体系化结合，可以在广度和深度上匹配得更完美。大模型在某种意义上也可以被视为一种产品，它从深度和广度上解决了漏报和误报的问题，使得大模型越来越智能化，提高了人的工作效率和质量，对人类的发展也起到了共同促进的作用。


杨雷
我作为人工智能和大模型技术的坚定支持者，智能驾驶技术已经让我几乎不再自己开车，甚至倒车都不会了，但我认为这实际上进步的体现。
大模型技术是对人类大脑潜能的进一步挖掘。我们特别需要一种新型的安全运营分析师，我期望他能够一个人控制20个智能体来解决安全运营问题，并愿意为此支付高额的薪酬。我认为，这不是简单的替代，而是效率的迭代和进步。人类在某些方面与计算机相比存在天然劣势，比如在计算和记忆能力上，人类无法与计算机竞争。然而，人类在关联分析和复杂思考方面具有独特的优势，这是我们可以进一步挖掘的潜力。
比如有人说有了人工智能和大模型技术，哈利波特的编剧可以成为导演，因为人工智能可以帮助他们将创意转化为视觉作品。对于那些只会画图的专业人员来说，他们的工作可能会被替代，除非他们增加设计感和创造力，将这些知识输入给大模型，因为大模型没有人的驱动，目前还无法自我迭代。
最后还是呼吁大家应该以更积极的态度看待人工智能和大模型技术的发展，因为这是不可阻挡的趋势。我们应该看到它的积极面，并朝着那个方向发展，而不是沮丧。我们应该拥抱这种进步，而不是抗拒它。


李佳峰
我认为，这些挑战实际上是相对的，每次有新技术出现时，人们都会讨论类似的问题。以网约车取代出租车为例，这种变化确实带来了挑战，但首先它显著提升了整个行业的效率。
另外，虽然挑战确实存在，但它们是随着技术进步而变化的。我们面临的新挑战不会是过去那些低效率的问题。从安全的角度来看，10年或20年前，我们没有这么多的安全工具、自动化利用工具和漏洞，那时的研究可能更为初级。随着时间的推移，我们的研究领域变得更加高级，比如10年后，我们的研究方向将会与时俱进。尽管AI大模型可能会带来新的挑战，但这些挑战也将推动我们向更高级的研究领域发展。
 

安全大模型本身的安全问题

MT - 圆桌主持人
其实各位聊到的一个核心问题，就是大模型的训练需要大量数据和经验，但如果数据源头被投毒，那么在训练阶段就可能出现问题。这不仅关系到模型的准确性，还涉及到模型的安全性。刚刚佳峰也有提到说，可能有很多公司就因此而诞生，他专门针对这个大模型去做他本身的安全。
那我们这样攻防团队，是不是平时也是非常需要考虑这些东西？我们平时在这块是怎么做的？

黄绍莽
在我们360公司，我们采用“以模制模”的安全理念，即利用大模型对抗大模型的安全威胁，在这个以模制模的过程中，我们提出了三个方面的三个不同深度的安全，一个是清洗模型的语料的安全，对每一条语料可以自动地去判别这一条语料是否是安全的，给它打个分，那么对于一些危险性比较高的，我们会自动去清洗掉。那么第二个是在使用的过程中的安全，包括就是对输入模型的数据，我们会做一个安全检测。第三个是模型生成之后内容的安全，包括防止黄赌毒、还有宗教、政治等等这种内容的产生。我们是这三个方面也是纵深防御的这种理念

潘立亚
其实是两个维度，大模型的安全和安全大模型。其实我们现在做的，包括公司里大多数的工作，都是围绕安全大模型。这其实就跟做产品一样，我们做安全产品，另一个维度是产品的安全。目前来看大多数还是在做安全产品，大模型也可以看作是一个产品。我们现在对外输出的，体感比较强的，就是这些安全大模型，就像刚才提到的0day大模型、钓鱼大模型，因为这些在实战攻击过程中是最快速、最主流的两种方式。还有运营大模型，当然，现在还在输出的有一个是数据大模型，因为现在数据安全是一个需求热点，这几个需求都比较主流。
至于大模型的安全，就像赋能性产业，它的强弱取决于它关联的场景。比如现在新能源汽车很火，那么新能源的安全和攻防就是一个趋势。那后面如果大模型这个方向，包括人工智能整体都起来了，那么大模型的安全、大模型的攻防，这些也会随之兴起。这跟前几年攻防的发展也是一样的。

杨雷
我非常关心大模型本身的这个安全，因为它一旦不安全了以后我有可能就会在高速公路上消失掉了，这个对我来说是一个很重要的事情。这种时候，自然增加了我们对所使用模型安全性的需求。除了技术层面，我们还必须考虑法律、道德等多个方面，因为如果不加限制，错误的结论可能会引导我们走向错误的方向。
人们对于安全的追求会促使他们对安全产品提出更高的要求，比如要求有第三方的安全测试和认证。这种需求会推动专业人士和普通人士都去思考这个问题，从而推动新的就业和专业领域的发展。所以，我认为我们不必过于担心大模型带来的挑战，因为它会带动新的循环和进步。
我信任那些头部公司生产的基于大模型的自动驾驶技术，因为我相信他们在研发、语料训练等方面做了大量工作。这种信任是建立在他们对大模型安全性的重视和投入上的。总的来说，我认为大模型的发展是一个相互衬托的过程。
在最近的工作中我发现了一个现象，比如我们在使用大模型编写Python脚本时，虽然它能写出几乎无误的完美代码，但这却可能导致一种惰性。有些工程师可能会直接将这些脚本应用到生产环境中，这可能会引发问题。
因此我永远需要增加一个审核环节。审核不仅仅是提问，还需要具备相应的专业能力。这意味着，尽管大模型可以提高效率，但作为一个渗透工程师或安全运营分析师，无论是初级、中级还是高级，你都需要具备比以往更高的专业能力。现在，你不仅要会写代码，还要能够审视和验证代码。
我认为，一个合格的岗位人员不会因为大模型的到来而变得懒惰，也不会完全依赖它。我们应该保持思辨的思维，质疑它的正确性。只要我们有这样的思维方式，大模型可以帮助我们解决效率问题，提高安全性，而我们也可以不断促进大模型本身的安全性和健壮性。

李佳峰
我觉得其实这个大模型你也想它安全的话，我觉得可以把它归类到供应链安全这一类范畴。因为大模型的安全说到底涉及到模型本身以及语料等内容。从商业或公司的角度来看，很多情况下确实是先发掘商业价值，然后再考虑安全问题。我认为现在谈大模型本身的安全可能还为时尚早，因为它自身的商业价值还没有完全清晰。就像杨总提到的，如果大模型的使用规模足够大，那么它的安全性自然会受到重视，并且会反过来促进其提升。所以，从这个角度来说，大模型的安全性可能目前还是偏早的阶段。当然，我们作为安全从业者，口号是将安全融入到IT规划的起步阶段，但在实际业务开展中，往往还是先解决商业价值，再考虑安全。因为从公司的角度来看，可能更多的以成本重心。
 

MT - 圆桌主持人
现在大模型的应用情况到底跟以往相比差别有多大？比如现在到底能够有多大的提升我们的效率？我们现在这个攻防的过程可能玩法跟以前都不太一样了，所以现在大概是什么样的情况？


李佳峰