近日,工业和信息化部会同中央网信办、国家发展改革委、科技部、农业农村部、文化和旅游部、国家卫生健康委、中国人民银行、金融监管总局、中国科学院、中国科协等起草了《人工智能科技伦理管理服务办法(试行)(公开征求意见稿)》(以下简称“《AI伦理办法》”),于8月22日向社会公开征求意见至9月22日。
第一部分 发布背景
根据征求意见的说明,《办法》的发布是为“深入贯彻习近平总书记重要指示批示精神,落实《全球人工智能治理倡议》《人工智能全球治理行动计划》要求,规范人工智能科技伦理治理,统筹高质量发展和高水平安全,促进人工智能产业高质量发展”。
早在2017年,《国务院关于印发新一代人工智能发展规划的通知》即说明,战略目标分三步走,其中在涉及到人工智能法律法规、伦理规范和政策体系方面,到2020年,“部分领域的人工智能伦理规范和政策法规初步建立”;到2025年,“初步建立人工智能法律法规、伦理规范和政策体系,形成人工智能安全评估和管控能力”;到2030年,“建成更加完善的人工智能法律法规、伦理规范和政策体系”。特别的,“加强人工智能相关法律、伦理和社会问题研究,建立保障人工智能健康发展的法律法规和伦理道德框架……开展人工智能行为科学和伦理等问题研究,建立伦理道德多层次判断结构及人机协作的伦理框架”。
2019年6月17日,国家新一代人工智能治理专业委员会在《新一代人工智能治理原则——发展负责任的人工智能》的文件之中指出“人工智能发展应符合人类的价值观和伦理道德”,并提出八项治理原则。
2021年9月25日,国家新一代人工智能治理专业委员会发布《新一代人工智能伦理规范》,进一步明确了增进人类福祉、促进公平公正等六项基本伦理规范。
2022年3月20日,中共中央办公厅与国务院共同发布《关于加强科技伦理治理的意见》(以下简称“《治理意见》”),提出“重点加强生命科学、医学、人工智能等领域的科技伦理立法研究,及时推动将重要的科技伦理规范上升为国家法律法规。”
2023年9月7日,科技部牵头多个部委联合发布《科技伦理审查办法(试行)》(以下简称“《科技伦理办法》”),正式确立了覆盖全领域的我国科技伦理审查制度,并详细规定了审查主体、审查范围与具体审查程序等内容。
2025年8月21日,国务院发布《关于深入实施“人工智能+”行动的意见》(以下简称“《AI+意见》”),再次强调要“完善人工智能法律法规、伦理准则等,推进人工智能健康发展相关立法工作”。
此次发布征求意见的《AI伦理办法》,遵循了《治理意见》的指引,在《科技伦理办法》的基础上,将伦理审查制度细化和落实到人工智能领域。
具体而言,《AI伦理办法》明确以《科技伦理办法》作为其参考依据,在核心伦理原则、审查主体和审查程序的框架等方面均与《科技伦理办法》保持一致,确保了制度的统一和衔接;与此同时,《AI伦理办法》基于人工智能技术的特殊性,对人工智能领域特有的伦理原则与合规风险加以识别,针对性规范人工智能领域数据、算法、自动化决策等专属伦理问题,并提出建立服务中心,配套支持人工智能伦理合规的指引与监管。
第二部分 要点解读
一、人工智能领域理论审查的范围
根据《AI伦理办法》第二条规定,办法所指的人工智能科技活动是“在中华人民共和国境内开展的,可能在生命健康(例如应用于疾病诊断或医疗器械的人工智能应用)、人的尊严(例如对个人进行能力评价、或是与人类进行模拟情感交互的人工智能应用)、生态环境(例如涉及自然资源开采、环境治理的自动化决策系统)、公共秩序(例如具有舆论社会动员能力和社会意识引导能力的算法模型)、可持续发展(例如涉及跨区域资源分配的算法模型)等方面带来科技伦理风险挑战的人工智能科学研究、技术开发等科技活动,以及依据法律、行政法规和国家有关规定需进行人工智能科技伦理审查的其他科技活动。”
首先,目前针对人工智能管理的法律法规,特别是《生成式人工智能服务管理暂行办法》,所规范的是“利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务”,而“研发、应用生成式人工智能技术,未向境内公众提供生成式人工智能服务的”,不适用该规定。而《AI伦理办法》的规制范围更为广泛,除对公众提供服务的情形外,还涵盖了科学研究、技术开发等活动。可见,从人工智能伦理的角度,因为是从“根源”保障人工智能的伦理导向,需要从研究、开发到应用的层面都需要进行考虑和规范。
其次,《AI伦理办法》将人工智能领域的伦理审查范围,基于此前《科技伦理办法》规定的“涉及人、涉及实验动物、带来伦理风险挑战、法律法规专门规定”的四类科技活动,针对人工智能领域进行特别规定。比如未纳入涉及实验动物的科技活动。再如,对是否存在伦理风险的评估中增加了人的尊严这一风险因素,将其扩展为“生命健康、人的尊严、生态环境、公共秩序、可持续发展方面”五个方面,使审查范围更贴合人工智能领域的应用与发展方向。
最后,对于人工智能科技活动的规模,《AI伦理办法》并未作出明确限定,也就是说,只要符合第二条规定范围内的人工智能科技活动均需进行伦理审查。但是,在实践之中,如何认定可能存在上述五个方面的伦理风险,将需逐个项目进行审查和判断。
二、伦理委员会的设立标准
《AI伦理办法》第九条规定了“从事人工智能科技活动的高等学校、科研机构、医疗卫生机构、企业”是本单位人工智能科技伦理管理服务的责任主体。“有条件的单位应设立人工智能科技伦理委员会”。
对于第九条项下“有条件”设立委员会的单位,在两部办法中暂时并没有进一步界定,仍待后续明确。
关于委员会的章程、组成和委员的职责与义务,《AI伦理办法》规定应依照《科技伦理办法》第五条至第八条对科技伦理(审查)委员会的规定进行。
根据《科技伦理办法》第五条,委员会的主要职责包括七项,从制定完善管理制度和工作规范、提供科技伦理咨询,指导伦理风险评估,开展伦理审查,到配合地方、相关行业主管部门开展涉及伦理审查的相关工作等。
参照《科技伦理办法》第六条规定,委员会应制定章程,建立健全审查、监督、保密管理、档案管理等制度规范、工作规程和利益冲突管理机制,保障伦理审查合规、透明、可追溯。
参照《科技伦理办法》第七条规定,委员会人数应不少于7人,设主任委员1人,副主任委员若干。委员会应当有不同性别和非本单位的委员,民族自治地方应有熟悉当地情况的委员。委员任期不超过5年,可以连任。另外,《AI伦理办法》第十条特别规定,委员会组成应包括人工智能技术、应用、伦理、法律等相应专业背景的专家。
《科技伦理办法》第八条则规定了委员会委员需要遵守的要求和工作内容,包括遵守宪法、法律和委员会的章程制度;按时参加伦理审查会议并独立公正发表意见;遵守国家秘密、个人隐私等保密规定;遵守利益冲突管理规定;按时参加伦理审查培训等。
《AI伦理办法》第十一条进一步建议,地方、相关主管部门可结合实际情况依托相关单位建立专业性人工智能科技伦理服务中心,接受其他单位委托提供服务。
三、伦理审查的重点内容
《AI伦理办法》第十五条以高度概括的方式,提出了人工智能科技伦理审查的五个审查重点,包括公平公正、可控可信、透明可解释、责任可追溯,以及拟开展人工智能科技活动的科技人员的资质要求。《AI伦理办法》对上述科技伦理审查重点的规定,仅停留在基本原则层面,尚未进一步明确伦理审查通过所需满足的具体标准与要求,在一定程度上为实践中的合规落地留下了细化空间。
从内容关联性来看,《AI伦理办法》提出的伦理审查重点,与《生成式人工智能服务管理暂行办法》之中规定的算法服务提供者需履行的法定合规义务存在一定相似性。公司在开展《AI伦理办法》所规制的人工智能科技活动时,可参考其他相关法律法规及国家标准中的具体要求,将《AI伦理办法》的审查重点转化为可执行的合规动作。举例而言,根据《互联网信息服务算法推荐管理规定》要求,算法服务提供者以适当方式公开算法服务的基本原理、目的意图及主要运行机制;中央网信办在算法专项治理行动中发布的《算法专项治理清单指引》,则进一步针对榜单排序、劳动就业等特殊场景,细化了算法规则的公示要求。公司可参照上述规定中关于算法公开、规则公示的具体要求,对应满足《AI伦理办法》中 “透明可解释” 的审查重点。
但是,如上文所述,现行相关规定的适用对象,主要是面向境内公众提供服务的服务提供者或技术支持者,而《AI伦理办法》的规制范围更为广泛。因此,虽然《AI伦理办法》的审查重点与其他法规存在相似性,在满足其他法规的合规义务同时,不必然等同于已符合《AI伦理办法》对伦理审查重点的全部要求。因此,仍需逐项对照《AI伦理办法》的要求符合审核要点要求,并持续关注后续配套细则的制定与发布,及时根据细则内容调整合规策略。
四、伦理审查工作程序
在伦理审查的具体流程与程序规定方面,由于人工智能科技伦理审查同样属于更广泛的一般科技活动的一种,人工智能科技伦理审查的程序同样应当符合一般科技活动的审查程序。因此,无论是申请与受理程序、一般审查程序与简易审查程序亦或是应急程序,《AI伦理办法》均采取直接参考《科技伦理办法》或重述其相关规定的方式设计。
具体而言,开展活动的单位应当主动提交申请材料至委员会进行伦理审查,委员会或服务中心受理后根据风险评估情况选择对应的审查程序:一般程序适用于较高风险的场景,需由不少于5名委员召开审查会议,并于申请受理后的30日内作出审查决定,申请人有异议可提出书面申诉;简易程序则适用于风险不高于日常常规风险、修改已批准方案且不增大风险受益比以及对前期无重大调整的活动开展跟踪审查等场景,仅需2名及以上委员审查,若出现否定意见、意见分歧等情况则转为一般程序。
应急程序针对突发公共事件等紧急状态,要求委员会或服务中心在72小时内完成审查(需专家复核的则要求在36小时内完成复核前工作),并允许其在必要时咨询顾问专家意见以保障审查质量与时效。
但出于对人工智能科技活动特殊性的考虑,在遵循《科技伦理办法》工作程序设计的框架下,《AI伦理办法》为人工智能科技活动量身打造了更为细致的伦理审查申请材料要求。例如,原本《科技伦理办法》要求材料的第一项、第二项由原来较为笼统的“科技活动概况”和“科技活动实施方案及相关材料”修改为需包括拟采用的算法机制机理,数据使用类型、来源与获取方式、清洗方式,测试评估方法,拟形成的软硬件产品,预期应用领域及适用人群等人工智能项目具体细节的“人工智能科技活动方案”与“人工智能科技活动科技伦理风险评估情况及防控预案”,并删除对人工智能科技活动并非普遍性适用的知情同意书,生物样本、数据信息、实验动物来源说明材料等内容。
五、专家复核制度
与《科技伦理办法》的第四节相对应,《AI伦理办法》的第三节建立了人工智能科技伦理审查的专家复核程序。也即,开展清单范围内人工智能科技活动的单位,在通过委员会或服务中心的初步审查后,需申请专家复核并依照《科技伦理办法》提交复核材料,由地方或相关主管部门组织成立复核专家组,对初步审查意见的合规性、合理性开展复核。收到复核意见后,伦理委员会或服务中心根据复核意见作出最终科技伦理审查决定,并负责后续对所开展活动的定期跟踪审查,跟踪间隔一般不超过6个月。若所开展活动的科技伦理风险发生重大变化,则需重新启动伦理审查程序并重新申请专家复核。
人工智能科技伦理审查与一般科技伦理审查的专家复核程序在复核材料、复核流程、跟踪审查等事项上均保持一致。但在使用范围方面,将需要开展科技伦理专家复核的人工智能科技活动限定为三类。
第一类是对人类主观行为、心理情绪和生命健康等具有较强影响的人机融合系统的研发。通过上文对审查范围具体内涵的解读,我们判断涉及与人类进行模拟情感交互、对人脑信号进行解析处理等内容的人工智能科技活动应当归入本项下。但由于现有法规及行政文件缺乏对相关术语的释义,我们建议企业在实际开展科技活动前通过咨询委员会或服务中心等途径界定活动是否属于该项内容而需开展专家复核。
第二类活动是具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发。我们注意到,这一项所采用的表述,与算法备案以及生成式人工智能安全评估的触发条件高度相似,即“具有舆论属性或者社会动员能力”。就此方面而言,根据我们过往项目经验,实践中判断算法模型是否具有舆论属性或者社会动员能力通常参考该算法模型提供服务的面向对象(面向消费者或面向企业)、用户规模是否达到一定量级、以及该算法模型功能本身的舆论属性和社会动员能力等因素进行综合判断。但与第一项专家复核范围类似,关于“社会意识引导能力”的具体含义目前仍缺乏相关释义。此外需要指出,算法备案以及生成式人工智能安全评估程序仅规制对外提供人工智能服务的情形,而《AI伦理办法》的适用范围还包括开展人工智能研究等不对外提供服务的情形。因此,对于不对外提供人工智能服务的科技活动,我们认为不能完全照搬上述标准进行判断,具体标准仍需监管机构进一步厘清。
第三类活动涉及面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发。判断人工智能科技活动是否属于本项内容,需要分别判断所研发的应用是否属于自动化决策系统,即应用是否无需依赖人工干预而独立作出决策,以及应用是否面向涉及如公共交通、污染治理等涉及人身安全与生命健康的应用场景。
另外,为确保与《生成式人工智能服务管理暂行办法》等其他监管措施相衔接,《AI伦理办法》规定若活动已在深度合成、算法推荐等领域实行了含伦理合规要求的监管措施,则无需再开展专家复核。
后文提要:我们将进一步解析和人工智能伦理审查相关的国际动态、以及我们的观察和展望。
声 明
《君合法律评论》所刊登的文章仅代表作者本人观点,不得视为君合律师事务所或其律师出具的正式法律意见或建议。如需转载或引用该等文章的任何内容,请注明出处。未经本所书面同意,不得转载或使用该等文章中包含的任何图片或影像。如您有意就相关议题进一步交流或探讨,欢迎与本所联系。