从AI Safety 到 Security for AI，大模型行业已经形成一套安全机制
近年来，在大算力和海量大数据的驱动下，以深度学习为代表的AI技术飞速发展，并依托广阔的应用场景从理论研究走向大规模的应用落地，但其本身存在的脆弱性、不可预测性和不可解释性贯穿于AI全生命周期，如何有效应对AI安全风险，保障AI安全可控的应用落地成为重要课题。
1、模型安全（AI Safety）
对大模型的训练提供全程的安全监控，提供一个关于功能、漏洞、性能、准确性全面报告。在大模型最后推向市场的时候，也需要一次“质检”。清华大学在计算机科学与技术系的CoAI在五月初推出了一套安全评测框架，他们总结设计了一个较为完备的安全分类体系，包括8种典型安全场景和6种指令攻击的安全场景，规避安全风险，降低人工智能对人类的负面影响。
2、“Security for AI”
通过外部的防护技术让AI大模型变得更安全，运用“护栏技术”（NeMo Guardrails）、标记、伪造检测等方式，对AI生成内容进行有效过滤。小红书、抖音等流量平台也接连推出AI使用相关规范，对生成内容进行显著标识，以便公众判断。
网络安全促进AI的未来发展，AI改变网络安全的未来
报告主要从“安全 for AI”和“AI for 安全”两方面解析了AI安全中的万亿机遇，并囊括3个板块、5个环节，总结形成了《AI 安全产业架构图》。
1、安全 for AI
（1）数据安全产业链
在整个AI 安全中，数据安全贯穿了整个周期。为保证健康模型的生成，数据清洗就成为了模型训练前的一个必要环节。此外，隐私计算也是解决数据安全问题的方案之一，通过多种方式，实现数据可用不可见、多方协同等，保障数据隐私。但从数据的角度来看，合成数据更能从根本解决问题。
（2）API安全
API最大的风险，来自于过度许可，为了让API不间断运行，程序员经常给API授予较高权限。黑客一旦入侵API，就可以使用这些高权限来执行其他操作。目前API安全工具主要分为、检测、防护与响应、测试、发现、管理几大类，其中“防护”、“测试”、“发现”三个环节是国内创业公司的主要转型方向。
（3）SSE（安全服务边缘）
简单来说，SSE是一种新型的防火墙，靠访问者身份驱动，依靠零信任模型来限制用户对允许资源的访问，主要包括安全Web网关、云安全代理和零信任模型三个主要部分。报告认为，SSE的能力在当前阶段，应该更多整合偏传统、偏本地化的能力，为客户带来低采购成本、快速部署、安全检测与运营闭环等价值。
（4）欺诈和反欺诈
目前，技术对抗有两种方式，一是在生产端，在AI生成的内容中加入数字水印，用来追踪内容来源。另一种则在应用端，针对人脸等特异化的生物特征，进行更准确的识别。基于DeepFake（深度伪造技术）的内容检测平台是现阶段的解决方案之一。
2、AI for 安全
“AI for 安全”更多是在原有的安全体系上做的改造和加固。目前，在该领域国内企业还处于萌芽阶段。但未来，用AI建立一套自动化的安全运营中心，以此来对抗迅猛变化的网络安全形式将成为一种常态。
京公网安备 11010802033237号
