《生成式人工智能服务安全基本要求》关注要点十问十答

2024.03.09 董潇郭静荷张续耀

2024年3月1日，全国网络安全标准化技术委员会发布了《网络安全技术生成式人工智能服务安全基本要求（TC260-003）》（以下简称“《安全要求》”），对人工智能服务安全方面的基本要求做出了规定。本文以问答的形式对公司实践中关注的要点问题进行解释。

一、《安全要求》的出台背景是什么？

2023年7月，国家互联网信息办公室（以下简称“国家网信办”）等七部委联合发布了《生成式人工智能服务管理暂行办法》（以下简称“《AIGC暂行办法》”），构成利用生成式人工智能技术向境内公众提供服务的监管框架。《AIGC暂行办法》规定了生成式人工智能服务提供者（以下简称“服务提供者”）的各项合规义务，包括训练数据使用及个人信息保护、以及安全评估和算法备案义务等。

《安全要求》是《AIGC暂行办法》的配套性技术文件。《安全要求》在其总则中明确指出文件的起草目的为支撑《AIGC暂行办法》，提出了服务提供者需遵循的安全基本要求。服务提供者在按照有关要求履行备案手续时，按照该文件的相关要求进行安全评估并提交评估报告。

此前已有技术文件对算法和技术法规中的基本要求作出细化规定，例如《网络安全标准实践指南——生成式人工智能服务内容标识方法》对《AIGC暂行办法》中关于对生成内容标识的要求进行了细化规定。考虑到AIGC技术及服务的快速迭代、创新活跃同时亟需监管的特点，未来人工智能相关细化的合规要求可能会以标准或技术文件的形式进一步明确。

二、《安全要求》的效力以及实践影响如何？

《安全要求》的性质为技术文件，即由信安标委组织编制和发布的指南类文件，旨在引导网络安全技术、产业发展，不具强制性效力。

但是对于需要履行算法备案的公司，《安全要求》将为公司是否通过算法备案安全评估的重要依据。国家网信办在算法备案系统中提供了《自评估报告》模板。实践中，国家网信办通常要求公司按照模板所列明的各项内容对备案算法开展安全评估。《自评估报告》要求服务提供者对算法的风险防控情况进行披露，包括防范和抵制不良信息、违法信息过滤等内容生态治理措施。《安全要求》所提出的各项安全评估要求可以作为公司撰写算法备案评估报告的重要参考。

三、哪些公司需考虑《安全要求》合规要求？

《AIGC暂行办法》规定了生成式人工智能服务使用者和服务提供者的各项义务。根据《AIGC暂行办法》，提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。如上所述，《安全要求》适用于《AIGC暂行办法》项下需要履行算法备案和安全评估的服务提供者。因此，我们认为对于需要进行算法备案的公司，其在相关算法研发和服务提供过程中，需要注意遵守《安全要求》的各项要求。

同时，《安全要求》也为其他暂不需进行算法备案的服务提供者开展安全评估、提高安全水平提供了合规落地的重要参考。

四、《安全要求》提出了哪些算法安全方面的要求？

《安全要求》的正文由9个部分组成，其算法安全要求规定在第5到第8四个部分，包括：语料安全要求、模型安全要求、安全措施要求、以及其他要求。该等安全要求项下的合规事项总结如下：

语料安全要求，包括：语料来源安全、语料内容安全、以及语料标注安全（第5条）；
模型安全要求，包括：基础模型的备案要求、生成内容安全要求、生成内容准确性要求，以及生成内容可靠性要求（第6条）；
安全措施要求，包括：模型适用人群、场合及用途、服务透明度、使用者输入信息使用、内容标识、推理和训练的计算系统、接受投诉举报途径、向使用者提供服务要求，以及服务稳定、持续方面的要求（第7条）；
其他要求，包括：关键词库，生成内容测试题库、拒答测试题库，以及分类模型（第8条）。

五、《安全要求》提出了哪些个人信息保护要求？

《安全要求》对个人信息保护的安全要求作了具体说明：

《安全要求》要求在使用包含个人信息的语料前，应取得对应个人同意或者具备其他合法性基础（第5.2条c）1）项）；该要求与《AIGC暂行办法》所提出的数据训练中个人信息保护要求保持了一致；
《安全要求》要求在使用包含敏感个人信息的语料前，应取得对应个人单独同意或者符合法律、行政法规规定的其他情形（第5.2条c）2）项）。除上述规定外，在涉及敏感个人信息时，除了满足《安全要求》提出的获得个人单独同意的要求外，根据《个人信息保护法》规定，公司还应当在事前开展个人信息保护影响评估、向个人告知处理敏感个人信息的必要性以及对个人权益的影响、并采取例如加密等严格的保护措施；
在数据来源方面，《安全要求》提出不应采集他人已明确不可采集的语料，包括个人已拒绝授权采集的个人信息（第5.1条c）2）项）；
为保证数据来源可追溯性，《安全要求》进一步提出，服务提供者将使用者输入信息当作语料时，应具有使用者授权记录（第5.1条c）4）项）；
在使用者输入信息收集方面，《安全要求》提出应为使用者提供关闭其输入信息用于训练的方式，例如为使用者提供选项或语音控制指令；关闭方式应便捷，例如采用选项方式时使用者从服务主界面开始到达该选项所需操作不超过4次点击（第7条c）1）项）。

六、《安全要求》对算法知识产权合规实践有哪些启示？

《AIGC暂行办法》提出了服务提供者在开展预训练、优化训练等训练数据处理活动时，不得侵害他人依法享有的知识产权。《安全要求》进一步提出如下要求：

从内部管理角度，《安全要求》要求公司设置语料以及生成内容的知识产权负责人，并建立知识产权管理策略（第5.2条b）1）项）；
《安全要求》要求对训练语料的知识产权侵权风险进行识别，不使用存在知识产权侵权问题的训练语料（第5.2条b）2）项）；
《安全要求》要求公司建立知识产权问题的投诉举报渠道（第5.2条b）3）项）；并在用户服务协议中，向使用者告知使用生成内容时的知识产权相关风险（第5.2条b）4）项）；
《安全要求》要求公司根据国家政策以及第三方投诉情况更新知识产权相关策略（第5.2条b）5）项）；
此外，《安全要求》还提出了知识产权保护的建议性措施：服务提供者“宜具备以下知识产权措施：公开语料中涉及知识产权部分的摘要信息；在投诉举报渠道中支持第三方就语料使用情况以及相关知识产权情况进行查询。” （第5.2条b）6）项）

值得注意的是，《安全要求》所提出的知识产权保护要求与目前司法判例实践趋势具有一致性。2024年2月8日，广州互联网法院作出了人工智能训练数据知识产权侵权的首例判决¹。被告公司经营网站提供AI生成绘画服务，其生成的奥特曼形象与原告奥特曼形象构成实质性相似，原告主张被告侵犯了其作品的复制权等权利。法院在论证被告公司的主观过错和赔偿责任的承担上，考虑公司是否采取了如下保护措施：（1）投诉举报机制：被告是否设置了投诉举报机制，以保证权利人通过该机制保护其著作权；（2）设置风险提示：用户在使用生成式人工智能服务时，对潜在的著作权侵权风险缺乏明确认知，被告是否就该等知识产权侵权风险对用户进行充分提示；（3）设置显著标识：被告是否对生成物设置显著标识，保证权利人能够明确认识到生成物系由人工智能生成，进而采取更具针对性和有效的维权措施。法院查明，被告未采取上述措施；其作为服务提供者未尽到注意义务，主观上存在过错，因而应对侵权行为承担赔偿责任。

七、《安全要求》提出了哪些网络、数据安全保护要求？

《AIGC暂行办法》要求服务提供者在训练数据处理活动中，遵守《网络安全法》的相关要求，履行网络信息安全义务。对此，《安全要求》在数据和网络安全方面提出了细化要求：

在防止数据泄露方面，要求将训练环境与推理环境隔离，避免不当访问（第7条i）1）项）；
在输入攻击防范方面，要求对模型输入内容持续监测，防范例如DDoS、XSS、注入攻击等的恶意输入攻击（第7条i）2）项）；
在安全制度技术措施方面，要求定期对所使用的开发框架、代码等进行安全审计，并关注开源框架安全及漏洞相关问题，识别和修复潜在的安全漏洞（第7条i）3）项）；
在安全事件应对措施方面，要求建立数据、模型、框架、工具等的备份机制以及恢复策略，以确保业务连续性（第7条i）4）项）。

八、《安全要求》规定了哪些未成年人保护机制？

近年来，未成年人个人信息保护问题受到持续关注，在《儿童个人信息网络保护规定》出台后，《未成年人保护法》也于2020年被修订。2023年10月，国务院发布了《未成年人网络保护条例》，作为首部未成年人网络保护的综合性立法，在《个人信息保护法》的基础上提出了更高的未成年人个人信息保护要求。《AIGC暂行办法》要求服务提供者采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。对此，《安全要求》在未成年人保护提出了如下具体措施要求：

如果所提供的人工智能服务适用于未成年人，公司（1）应当允许监护人设定未成年人防沉迷措施；（2）不应向未成年人提供与其民事行为能力不符的付费服务；（3）应当积极展示有益未成年人身心健康的内容（第7条a）3）项）；
对于不适用于未成年人的服务，公司应采取技术或管理措施防止未成年人使用（第7条a）4）项）。

九、《安全要求》规定了哪些内容安全量化评估标准？

除了对算法安全要求的细化外，《安全要求》还提出了各类量化的检测标准，主要集中在内容安全方面，例如：