作者：林洹民（浙江大学光华法学院讲师，德国法兰克福大学法学博士）
出处：《比较法研究》2022年第2期
摘要：自动决策算法既属于专业技术，又具有赋能属性，可以和既有技术相结合催化新的应用技术和场景。与之相应，立法认识论既要注意到自动决策算法作为科学技术内含的伦理性风险，同时也需要识别不同应用场景中的复数价值以及利益冲突。为了规范内生性科技风险，立法应当根据风险程度强化对算法活动的程序性控制，确立记录和报告义务，细化算法风险评估规则，完善以个人信息保护负责人为核心的二元监管体系。为了管控因赋能导致的衍生性应用风险，立法一方面应当强调人的主体性，另一方面应根据各类应用场景中的利益顺位，灵活配置权利。我国个人信息保护法规定的算法解释权在公共管理领域和商业领域意义不同，相应的规则应有能力区分公权力应用与商业应用以及是否包含知识产权等不同场景；算法结果拒绝权旨在实现个人利益、商业利益和公共利益之间的平衡，应通过例外规则保持制度弹性。如果自动决策算法在公共管理和特殊社会治理领域中的应用可能带来高风险，法秩序应施加更多的应用要求或限制，以防止算法赋能导致原有秩序功能异化。
关键词：自动化决策；算法规制；风险识别；科技伦理；应用场景风险
讨论自动决策算法的规范问题，乃是讨论自动决策算法引发的风险类型以及风险控制问题。根据《中华人民共和国个人信息保护法》（以下简称“《个人信息保护法》”）第72条第2项，自动化决策是指利用个人信息对个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，通过计算机程序自动分析、评估并进行决策的活动。自动决策算法作为智能社会的突出特征，是人类回应海量数据的必然选择：人们通过算法评估数据，分配优先性以寻求思维经济。但技术并非有利无害，自动决策算法既属于科学技术，也属于赋能科技，其与传统技术和应用相结合，可能会导致原有秩序价值的偏移乃至异化。有鉴于此，《个人信息保护法》设计了若干规则规范自动决策算法，例如，第24条规定算法解释权和算法结果拒绝权，第55条规定算法评估制度。上述规则一定程度上捍卫了人的主体性，但因未清晰地认识到风险的层次性以及规制背后的价值基础和价值冲突，未能体系性地架构算法规制制度。本文拟以“自动决策算法+应用场景”这一模型为研究对象，结合《个人信息保护法》中的若干条款，从分析自动决策算法引发的风险类型和价值冲突入手，研讨不同层次、不同功能的算法规则配置。笔者不揣简陋，问道于方家。
在大数据和人工智能时代，“自动决策算法+应用场景”这一模式正在快速席卷社会的各个领域。在这一结构中，自动决策算法为赋能方式，应用场景为赋能领域，由此形成了一套“方式”与“领域”的叠加关系或结合关系。自动决策算法是计算机的核心运行逻辑，是一套基于设计目的的数据处理指令的总和，因此体现出专业科技的特点；一旦自动决策算法和具体应用场景相结合，人们结合应用需求有针对性地开发算法产品，此时自动决策算法就表现出强大的赋能性（enabling），从而具备通用科技的特征。当我们讨论自动决策算法立法时，我们不能不谈“方式”，自动决策算法的设计、测试、评估属于科技活动，“算法黑箱”“算法霸权”部分是因科技活动本身的不规范所致；我们也不能只谈“方式”，因为正是自动决策算法层出不穷的应用场景，使得我们在见识了算法伟力的同时，也陷入了人的客体化危机。如果我们欲剥茧抽丝地设计规范方案，就必须首先区划规范对象，即作为科学技术的自动决策算法和作为赋能手段的自动决策算法。 对自动决策算法的设计、测试、评估非专业人士不能为之，这种“排他性”表明算法活动是一项科技活动，而科技的力量使得科学家/工程师容易陷入到对技术伟力的极端推崇中。胡塞尔就指出，人类在19世纪后半叶让自己的整个世界观受实证科学的支配，并迷惑于实证科学所造就的繁荣。韦伯通过对资本主义生产方式和社会演进的分析，看到了科学技术对推进社会发展的意义以及引发的社会问题，这使得他把理性划分为工具理性和价值理性。工具理性是人作为主体在实践中为作用于客体，以达到某种实践目的所运用的具有工具效应的中介手段。韦伯一方面认可工具理性的意义，指出工业化和技术革命的巨大成功就是贯彻工具理性的结果，另一方面也指出工具理性有试图把原则的普遍有效性解读为规律的客观性的倾向。科技发现和创新并非是唯一的价值标准。技术理性化具有历史的合理性，在合理的界限内是一种进步。但若把工具理性思维泛化为社会发展依循的唯一思维路向，则是一种片面化。任何事物的泛化都意味着一种巨大的缺失，因为它掩盖了其他价值。自动决策算法蕴含的科学性使得算法设计容易陷入到工具理性迷思中。在算法设计和研发的过程中，计算机专家/算法工程师可能更加关注有用性和实效性，而忽视追求目的的正当性以及算法活动可能带来的风险。 算法研发的过程就是讨论如何处理数据的过程。为了摆脱前见的束缚，算法工程师希望算法能够自主地从海量数据中发现相关性。这种强调全本而非样本，追求相关性而非因果性，容忍错误而不苛求精确的新型方法论被称为“科学的第四范式”。计算机学界高度推崇这种摆脱前见、扩展相关性的方法，将之誉为治愈弊病的万能药方。但是，借助算法发现相关性而非因果性，本身就意味着算法决策结果违反科学性。因果律既意味着事件之间存在内在关联，也表明这种关联当然如此，存在某种价值上的正当性，而自动决策算法却忽视了这种意义。例如，自动决策算法可能发现饮食偏好与信贷还款能力具备相关性，但是这种相关性是基于所采集的样本以及历史数据的推演结果，并非具备事理上的因果关系；自动决策算法也可能发现员工成长地域与业务能力具备相关性，但这一相关性可能构成“地域歧视”，不为法秩序所容许。 算法黑箱是一个建模系统，是一种完整机制，它一旦存在算法歧视、信息控制、侵犯隐私等问题，就会成为连续性的常规动作，产生系统化和机制化的侵权后果，这是人脑“黑箱”所不具备的。“算法黑箱”对个人和社会的危害更大，需要法律规范。但“黑箱”的不透明化使得规范难度巨大，成为法秩序的严重挑战。与法学家尝试打破算法黑箱相反，算法工程师却正在不断制造算法黑箱。其一，算法设计、修改过程并没有被充分记录在档。算法工程师设计算法，展示算法结果，但是多不会定期与他人沟通设计方案，更不会常态化地记录设计思路。算法历经数任程序员团体的修改与更新，命名混乱、逻辑不清的所谓“祖传代码”使得算法工程师也难以理解之前的算法设计。因为记录存档制度的欠缺，算法解释难上加难。其二，算法设计过程中就没有考虑人们的理解需求。目前强调“算法透明”“算法可视化研究”，就在于要求算法工程师在设计算法时考虑人类的解释需求，而非片面追求科研/设计目标。其三，以深度学习为代表的人工智能算法的具体决策本身不具备解释的可能性。诚然，算法设计师也可以一般性地披露算法，解释神经网络的分层、训练数据来源等，但是无法详细解释单个决定是如何作出的。深度学习算法借助“神经元”（处理器）和“神经突触”（网络连接），获得自我学习能力；借助大量的原始数据和反馈数据实现自我成长。深度学习算法诞生之时就像一个什么都不懂的婴儿，我们可以提供营养（数据）助其发育，但却无法预测其未来。就如同父母也无法解释子女行为一样，设计者根本无法获知深度学习算法的决定依据，要求算法使用人解释自动决策算法的特定结果无异于强人所难。 算法工程师为了得到想要的结果，过度强调相关性，忽视人类的理解需求，矮化人的主体地位，此为算法研发过程中追求“工具理性”的典型表现。立法应当赋予科研活动伦理属性，将“人非工具”这一核心价值注入到算法研发过程中。 在“自动决策算法+应用场景”模式中，自动决策算法代表效率工具，应用场景则代表价值功能，它们的关系是作为赋能手段的自动决策算法产生的效率与作为应用场景蕴含的本体价值功能的关系。自动决策算法虽然有助于提升效率，但因以“人”为处理对象，必须回归价值判断，否则会造成既有秩序的功能偏移或异化。然而，人们似乎迷醉于技术的威能，过度关注工具/手段的有用性，追求社会管理的最大功效，而忽视了其他价值。例如，芝麻信用利用自动化算法和海量的各种数据形成“数字画像”，正在打造空前规模的“评分社会”或者说等级化的“排序社会”，个人有沦为算法客体的危险算法；个别政府为了实现“智安小区”，广泛推广人脸识别软件，导致“利益-风险关系”失衡；法院借助算法判断犯罪嫌疑人再犯的可能性，可能会改变原有场景法律秩序的功能和基本边界，使得“保护犯罪嫌疑人”的价值取向消解。绝对化的工具理性既没有了古典理性中的整体和谐，也失去了近代启蒙理性中的人性关爱，技术的自由和满足构成了文明社会的发展目标，文明“本身则成了一种普遍的控制工具”。为了抵制“工具理性”，避免人沦为客体，价值理性登堂入室。在韦伯眼中，价值合乎理性是人“通过有意识地对一个特定的举止的伦理的、美学的、宗教的或作其他阐释的无条件的固有价值的纯粹信仰”。由此行为者“向自己提出某种戒律或要求，”并使自身“行为服务于他内在的某种对义务、尊严、美、宗教、训示、孝顺，或者某一种‘事’的重要性的信念”。在这个过程中，韦伯认为，不管采取什么形式，不管是否取得成就，甚至无视可以预见的后果，而“他必须这么做”。我们有必要借助价值理性引导自动决策算法活动向善而行。从比较法层面观察，欧盟《通用数据保护条例》之所以规范算法应用，目的也在于防止和个体有关的决定仅仅通过对个性特征的自动评估而作出，防止个体成为计算机程序的客体。 需注意，应用场景中存在多元价值，叠加价值的存在一定程度上助推了算法应用过程的工具理性。公共安全、个人权利、经济效率等价值相互交叠，又很难确定顺位，使得算法治理举步维艰。例如，为了更好地防控新冠肺炎疫情，我国各地政府纷纷推出“防疫健康码”，并将之作为采取应急处置措施的绝对标准：持绿码者无需隔离，持黄码者隔离7日，持红码者隔离14日。健康码算法自动分析地理位置、出行记录、社交面向等个人信息，作出相应的颜色判断，这一自动决策行为直接影响“出行自由”，但也有效地助力复产复工。在商业实践中，互联网公司往往使用Cookie程序收集个人的浏览信息，进而有针对性地进行个性化推荐。在“中国Cookie第一案”中，原告主张百度公司使用Cookie “侵害了朱某的隐私权，使朱某感到恐惧”。但需注意，个性化推荐活动在使得商家避免无效广告的同时，也使得消费者获取更能满足自己需求的商品信息。Cookie收集的个人信息也不能被界定为“个人信息”，至多可被界定为“可识别的个人信息”，避免施加过多的企业责任和赋予消费者过多类型的个人信息权利。上述两个案例分别体现了高效管理与公民知情权、商业效益与个人信息保护之间的价值冲突。本体层面叠加价值的存在，使得价值取舍困难，工具理性则因指向明确而大行其道。自动决策算法规范，必须识别应用场景中的多元价值并协调价值冲突，否则将陷入“需求”中迷失方向、难以自拔。 科研对象一旦由自然转向人类本身，科研活动就不再仅是纯粹的自然科学研究，同时也属于一种社会活动。将人列为研究对象的科研活动必然内涵伦理风险和社会风险，这种风险将伴随此类科研活动而存在，贯穿科研活动的全过程。例如，2018年的“贺建奎事件”引起轩然大波，百余位中国科学家联合谴责这一人体胚胎基因编辑活动。2021年1月1日生效的《民法典》第1009条专门规定：“从事与人体基因、人体胚胎等有关的医学和科研活动，应当遵守法律、行政法规和国家有关规定，不得危害人体健康，不得违背伦理道德，不得损害公共利益。”《民法典》第1008条规范人体试验，该条也要求科研活动“应当依法经相关主管部门批准并经伦理委员会审查同意”。 大数据技术、人工智能技术的研发同样依赖于人类自身，只不过样本由“基因”变成“数据”，由遗传信息变为人类生活记录：大数据技术以自动决策算法处理海量数据，关注相关性而非因果性，不以准确性为追求目标，可能会颠覆人类社会的既存价值；人工智能技术是算法、数据和计算能力的结构性组合，通过学习人类行为，人工智能也可能习得人类的偏见、感情用事以及极端情绪。科研活动也属于社会活动，应当遵守科技伦理。《G20人工智能原则》强调应“负责任地管理可信赖的人工智能”，尤其是以人为本的价值观及公平性、透明度和可解释性等五项原则。中共中央办公厅、国务院办公厅于2022年3月印发的《关于加强科技伦理治理的意见》也强调应坚持以人民为中心的发展思想，要不断增强“人民获得感、幸福感、安全感”。算法活动应捍卫“人非工具”这一基本价值。但与生物技术、医疗试验强调事前批准和伦理委员会审查不同，算法伦理在研发控制层面突出表现为记录和报告义务、算法评估程序和闭环式算法监管制度。 当我们在使用自动决策算法时，我们至少应当了解我们的工具。然而，当下算法活动缺乏记录，而如果没有记录算法设计、测试、运行全过程，我们就无法有效地进行评估、追溯和验证复杂算法，更无法解释算法决策。记录是自动决策算法风险控制的基础性工具。算法活动记录既能帮助执法机关监督算法活动，同时也可以督促运营者在整个算法活动阶段考虑自动决策算法的合规与合法问题。立法机构应当要求设计者记录算法编程、训练数据、算法实践等有关信息，并作出必要的标注和说明。欧盟《通用数据保护条例》第30条详细规定个人信息处理活动的记录义务，欧盟委员会于2020年发布的《人工智能白皮书--追求卓越和信任的欧洲方案》也指出，算法设计者/运营者应当记录并保存下列信息：训练和测试的数据集，包括对主要特征的描述及挑选数据集的方式；在合理情况下，数据集本身；有关编程和训练方法，构建、测试和验证人工智能系统的过程和技术等，包括避免歧视的相关设计。 算法使用人有义务应监管机构的要求，提供算法活动记录，以便监管机构测试或检验自动决策算法。争议之处在于，立法机关是否应当要求算法使用人报备算法。欧盟1995年颁布的《个人信息保护指令》（Data Protection Directive）第18条和第19条均规定了个人信息控制者和处理者的备案义务。我国《互联网信息服务算法推荐管理规定》第24条第1款也规定，具有舆论属性或者社会动员能力的算法推荐服务提供者应当履行备案手续。需注意，欧盟《通用数据保护条例》抛弃了《个人信息保护指令》的备案要求，以全流程记录义务取代备案义务。在制定欧盟《通用数据保护条例》的过程中，欧盟委员会指出备案义务增加了官僚主义负担和经济成本，过于加大企业和行政机关自身的负担。欧盟委员会主张废除一般性的备案义务，而要求全面记录个人信息处理活动，当然也包括算法活动的全流程记录；一旦监管机构要求算法使用人提供记录，算法使用人有义务及时、全面提供相应的记录。欧盟《通用数据保护条例》第30条采纳了欧盟委员会的建议，以记录和报告义务取代《个人信息保护指令》的备案义务，仅是在前言第89条针对高风险的个人信息处理活动提出了报备要求。 我国算法治理应当要求算法设计者、算法使用人记录算法活动，并有效存档，以供监管机关查阅。一般性的备案义务可能对算法使用人和监管机构都是一种负担，需要谨慎考虑设立备案义务是否必要。此外，中小型企业如果仅是偶然性地使用自动决策算法，且不会给个人信息主体带来严重危害，应当免予记录和报告义务，以免阻碍中小企业的智能化变革和创新。 算法对相关性而非因果律的追求、决策过程不透明所产生的黑箱效应使得算法可能成为“大规模数学杀伤性武器”，严重侵犯人格尊严或公民的基本权利。自动决策算法的危害是巨大的，往往难以恢复原状。但无论是算法设计者还是算法相对人，都无法全面预料自动决策算法可能带来的风险，由此需要多方参与进行算法风险评估。算法影响评估制度既使得利益相关者能够参与评估，有助于打破算法黑箱，同时也能够从实质层面检验算法设计的正当性和合理性，避免算法设计师成为恣意的“立法者”。算法影响评估的参与者应当包括算法工程师、个人信息保护顾问、第三方评估机构、监管机构、算法相对人代表等利益相关者。根据欧盟《通用数据保护条例》第35条第7款，评估的内容应当至少包括：对计划的处理操作和处理目的的系统性描述，以及（如果适用的话）对控制者所追求的正当利益的描述；对与目的相关的处理操作的必要性和相称性进行分析；对给数据主体的权利和自由所带来的风险的评估；结合数据主体和其他相关个人的权利与正当利益，采取的计划性风险应对措施，包括保障个人数据保护和证明遵循本条例的安全保障、安全措施和机制。 风险评估是预防原则在自动决策算法领域的具体表现。我国个人信息保护法第55条第1款第2项也规定了算法评估制度。但需注意，算法评估不能成为企业的负担，尤其不能阻碍中小企业的发展。监管机构可以提供正面清单和负面清单，前者规定必须进行风险评估的算法类型和应用场景，后者则规定符合特定条件时可以免除算法评估义务，以此实现算法风险评估与扶持中小人工智能企业之间的平衡。对于既不符合正面清单也不属于负面清单的情况，则应交由企业内部的个人信息保护负责人判断是否进行算法评估。 现代治理理念强调打破系统界限，实现不同社会子系统之间的结构耦合。例如，为了整顿商业秩序，法律要求企业聘用负有特定责任的会计人员，增加企业的违法成本；基于保护环境的政治纲领，德国广泛要求在企业内部设立一些专门职位以保护环境，如环境入侵顾问、水源保护顾问、废品管理顾问、危险品安全顾问等。我国个人信息保护法第52条要求符合条件的个人信息处理者任命个人信息保护负责人，也体现了这种打破区隔、协同监管的理念。个人信息保护负责人是个人信息处理者“自己人”，但又负有特殊的法律义务；个人信息保护负责人的“无权”状态使其需要外部的数据监管机构的配合，以此抵抗来自企业内部的压力。我国个人信息保护法第60条规定，国家网信部门负责统筹协调个人信息保护工作和相关监督管理工作，县级以上地方人民政府有关部门履行个人信息保护和监督管理职责。由此，我国建立了以个人信息保护负责人为核心、外部监管机构提供支撑和监督的二元监管制度。该机制同样有助于加强对算法内在性风险的闭环控制。从算法设计之初起，个人信息保护负责人将对之全流程控制--如果企业在算法设计时未及时通知个人信息保护负责人，企业将面临行政处罚；在算法设计过程中，个人信息保护负责人会告知算法设计师可能的法律风险，帮助算法设计师合规地设计算法；算法设计完成后，个人信息保护负责人将对算法决策后果进行必要之评估，并在算法评估报告中披露具体的算法设计师以及对算法运行具体负责的员工。如果个人信息保护负责人认为该算法运行将有产生歧视、不公、侵害消费者利益等风险，其可以要求算法使用人进行改正；算法使用人如若认为报告夸大其词而拒绝改正，个人信息保护负责人可将报告递交监管机构。 值得注意的，这套模式的有效运转一方面依赖于个人信息保护顾问具备高度的独立性，另一方面则依赖于其直接承担法律责任的可能。个人信息保护负责人毕竟是个人信息处理者的雇员，如果没有法律的优待，其很难对抗个人信息处理者的压力。因此，立法应当强化对个人信息保护负责人独立性的保护。这首先表现为解雇保护制度：个人信息处理者不得随意终止与个人信息保护负责人之间的劳动合同或委托合同。其次，个人信息保护负责人在面临个人信息处理者不当干预的情况下，有权向监管机构寻求帮助和支持。最后，只有要求个人信息保护负责人对个人信息违法行为承担直接的法律责任，才能使得个人信息保护负责人充分履行法律义务。根据《民法典》第1191条第1款，雇员造成他人损害的，雇主应当承担替代责任。个人信息保护负责人如果能够躲入“雇主责任”的保护伞，则其将没有动力履行保护个人信息的法定义务。遗憾的是，《个人信息保护法》未对个人信息保护负责人在独立性与直接责任上有所设计。本文建议，主管机关以《个人信息保护法》为上位法出台专门法律文件完善我国的个人信息保护负责人制度，规则设计如下： 个人信息保护负责人应当具备专业能力，并有权要求个人信息处理者提供履行职责所需的必要帮助。个人信息处理者不得影响个人信息保护负责人及时、独立履行工作职责。 个人信息保护负责人岗位仅次于个人信息处理者的最高负责人，薪酬不得低于同等岗位的平均水平。 个人信息处理者不得终止与个人信息保护负责人之间的劳动合同或委托合同，但个人信息保护负责人违反法律、法规或无法履行职责的除外。 个人信息保护负责人有权向国家履行个人信息保护职责的部门寻求帮助和支持。 个人信息保护负责人怠于履行职责，造成个人信息主体损害的，应与个人信息处理者共同承担连带责任。 需要说明的是，本文列举研发阶段的多种程序性控制措施，并非是要求算法研发均采用上述制度。采取何种措施防控风险，应当结合算法训练依赖的数据类型和规模、算法潜在的对个人的影响综合判断。如果算法风险巨大，算法设计者不仅应采取上述三种措施，还应设计更为丰富、复杂的程序性控制机制（如伦理委员会制度）；反之，算法设计者可以择其一二，采取成本较低的程序性控制措施。 算法既是科学技术，也是赋能手段，其除了具备科技固有的风险之外，也因在商业和公共事业领域的嵌入式应用，不断冲击自工业社会以来形成的立法体系和治理模式，引发了诸多治理难点。在应用环节，我们当然也要贯彻程序性控制。但算法应用有着不同于算法研发的特殊性：算法应用直接作用于算法相对人。算法应用将影响算法相对人的合法权益--算法针对算法相对人的诉求作出决定，使得个人有沦为算法客体的危险。为了捍卫人的主体性，法秩序有必要通过权利路径，赋予个人对抗算法决策的权利。与此同时，应用场景本身可能叠加多元价值，权利配置应注重实现价值平衡。若存在优位价值，权利配置亦应有所倾斜。 国务院于2017年印发的《新一代人工智能发展规划》强调应促进人工智能技术在行政管理、司法管理等领域的运用。人工智能的本质即是算法、数据和算力的系统结合。目前自动决策算法已经开始在社会治理领域推广使用。（1）在行政管理领域，以“秒批”“健康码”为代表的自动决策算法极大地提升了行政效率，但也可能侵犯公民的人身自由和知情权。健康码出错的事例屡见不鲜，直接影响人们的出行自由。面对人们要求纠正错误的要求，湖北省政府在2021年3月的回复却非常简单：“人工无法干预或修改结果，这也是为了您的健康安全着想，请您理解。”行政行为错误将直接影响人们的出行自由，应当给予受影响者提供申诉的机会。此外，当人们行使“知情权”，要求政府解释健康码的运行逻辑和评级结果时，各地政府的答复也不能让人满意。杭州市委领导对健康码结果的解释是：健康码的结果是结合空间维度、时间维度和人际关系判断得出的--个人是否与病患处于同一空间；是否去过疫区；是否来自高风险国家和地区；填写健康码时身体不适；等等。这种粗线条的解释不能保护人们的知情权。（2）在司法管理领域，司法机关为了减轻审判负担也在推动人工智能审判的发展和应用。但是，“正义”不存在普遍的标准，也没有明确的价值位阶，实现正义依赖于实质判断，算法很难确保“数字正义”的实现。此外，算法并非客观中立，设计师总要分配错误，在实践中也确实存在算法模型更强调“除恶务尽”，而非“不要冤枉好人”。例如，英国达勒姆警局和剑桥大学共同开发的危害风险评估工具（HART）采用随机森林算法平衡不同种类的错误。算法决策不可能不出现偏差，此时需要决定如何分配偏差风险。该算法选择的策略是，算法运行时会倾向于容忍谨慎错误，亦即严惩犯罪，宁可过高地评估再犯可能性也不轻饶犯罪嫌疑人。如此一来，该算法出现谨慎错误的几率是危险错误的两倍。不侵犯基本权利，应是智慧行政、智慧司法的底线。在上述价值叠加的场景中，基本权利保护属于优位价值。 欧盟部长委员会早在2010年就指出，自动决策算法有利于更好地细分市场和提供更好的服务，能够实现消费者和企业的双赢，可为用户、经济体和整个社会带来益处。自动决策算法能够降低商业风险和消费者负担。例如，金融机构借助自动决策算法分析海量替代数据，既在控制风险的同时极大地降低了运营成本，又使得没有存款记录、借贷历史的人能够获得贷款，推动“普惠金融”的实现；信用卡公司采用自动决策算法审核信用卡申请，极大地降低信用卡公司的管理成本，“免年费”成为可能。但是，模型的本质就是简化。自动决策算法剔除现实社会中的复杂因素或者人类交流上的细微差别，不可避免地会作出不准确的决定。再者，数学模型基于过往的数据推算未来，其基本假设是模式会重复。一旦过去的数据表明特定人群竞争优势较弱，那么算法只会继续繁殖这种“歧视”。歧视是一个杂糅了文化、社会道德观念、历史和时间的因素，对于何种行为构成歧义并不存在统一的标准。但如果算法仅仅根据地域拒绝应聘者，根据搜索记录针对特定人调整价格，那么便构成歧视。例如，浙江喜来登度假村公司在运用算法筛选简历时，因闫某某为“河南人”而拒绝其应聘；消费者在“去哪儿”应用程序预订宾馆，使用不同的手机搜索同一酒店、同一日期、同一房型，其价格从169元到217元之间波动。自动决策算法一方面降低商业风险和消费者负担，另一方面却可能造成歧视以及“大数据杀熟”。因此，法律对商业自动决策算法的规范配置，应当致力于实现个人利益和商业利益之间的平衡，既要鼓励商业自动决策算法发挥积极作用，也要避免算法侵犯私权，造成实质不公。 综上所述，不同应用场景中存在复数价值，风险控制应以价值顺位为具体指引。（1）就公权力和公民之间的利益冲突而言，公民基本权利应当享有最优顺位。（2）当涉及商业机构和消费者之间的利益冲突时，自动决策算法可能影响消费者的法律状态或类似利益状态，但也因降低成本、提供更便捷服务等因素对消费者有益，法律对其的规范应更具弹性。 在识别复数价值的基础上，法秩序应当有针对性地配置权利，以捍卫算法相对人的主体地位。《个人信息保护法》第24条因此针对自动决策算法配置算法解释权和算法结果拒绝权，只是规则设计有些简单。 算法解释权是指，当自动化决策算法的具体决定对相对人有法律上或者经济上的显著影响时，相对人有权向算法使用人提出异议，要求提供对具体决策的解释。我国学者已经围绕算法解释权展开了丰富的研究，该权利对于保护个人权益有着明显的价值，但也因可行性问题而饱受质疑。本文所欲强调的是，自动决策算法协调的价值关系不同，使得算法解释权在不同的应用场景中有不同的意义。在公权力和公民之间的利益关系中，公民的基本权利居于价值优位，公权力有义务解释具体的算法决策；在商业机构和消费者权益之间的利益冲突中，消费者请求解释具体的算法决策的，不能“强人所难”，也应以不侵犯知识产权为底线。 （1）如果公权力借助算法管理社会，算法相对人应有权请求解释自动决策算法的具体决策。知情权是确保规范性期望不被动摇的关键。如果人们不了解行政处罚的原因，不理解自身为什么会败诉，则公权力行为的正当性和合法性将会遭受质疑。与智慧政府、智慧司法建设相比，公民基本权利保护应当处于更优的地位，公权力机关应当承受解释不利的风险。其一，全自动行政需要算法解释权制度为适当之限制。全自动行政在给人们带来便利的同时，也可能不当地影响人们的合法利益。针对全自动具体行政行为，行政程序参加人应当有权了解自动程序投入前的实验强度、详细记录检测结果、运行代码和算法等，以保护算法相对人的合法权益。从比较法层面观察，2017年修改的《法国行政法典》规定每个独立的个体可以从行政机关获得下列信息：算法模型对决策的贡献程度和贡献方式；算法模型所依赖的数据及其来源；对参数的处理方式以及对各项指标的加权幅度；算法模型导致的结果。其二，智慧司法不能保证审判的准确性。目前司法智能化面临法律要素难以算法化、算法系统难以取代法律思维以及数据采集存在偏差等问题。法律人工智能只能被定位为“辅助手”的作用，它的价值应在于学习法律人的思维方式和裁判方法，以技术效应提升法律任务的执行绩效。法律人工智能其实是另一种形式的经验证据，长期使用会使得司法机关有过度重视“专家”的经验证据的风险。算法解释权将使得司法工作者无法“惰于思考”，不能借助自动决策算法转嫁决策风险，逃避问责。因此，如果算法决策对公民/当事人产生严重影响，算法相对人应有权请求公权力机构解释具体的算法决策。 （2）商业机构使用自动决策算法进行商业活动的，算法解释权规则应当考虑解释可能性以及与商业秘密之间的协调。与公权力机关不同，商业机构使用自动决策算法虽然可能导致歧视、大数据杀熟等问题，但并未严重侵犯基本权利。更何况，商业自动决策算法在客观上也降低了商业风险和消费者负担，提升了经济活力。因此，立法对商业自动决策算法的规则配置不应强人所难，更不能侵犯商业秘密。算法的逻辑、参数、特征的权重以及分类等是企业的商业秘密或其他知识产权。在厦门云脉技术有限公司与厦门市图睿信息科技有限公司侵害商业秘密纠纷中，厦门云脉技术有限公司主张算法的核心参数特征（Gabor参数）是其技术秘密，该主张得到法院的支持；在凌某某诉北京微播视界科技有限公司隐私权、个人信息权益网络侵权责任纠纷案中，北京互联网法院认为，算法确实会涉及被告的商业秘密，告知和公开算法不属于对原告的个人信息进行保护的必要措施。2020年8月《最高人民法院关于审理侵犯商业秘密民事案件适用法律若干问题的规定》也将算法列入了技术信息的范畴，使其正式成为我国商业秘密法所保护的对象。无独有偶，德国联邦最高法院在2014年的判决中明确指出，数据主体不得请求披露权重、评分公式、统计值和参考组的信息等信息，因为这触犯了企业的商业秘密，披露企业的商业秘密也明显不符合立法目的。欧盟《通用数据保护条例》序言第63条也明确强调，知情权不能损害企业的商业秘密、其他知识产权，特别是软件的著作权。当个人要求解释商业自动决策算法的决定时，算法解释权如何与保护商业秘密的法律要求相协调，将是司法的难点。与公权力使用自动决策算法的场景不同，当商业机构使用自动决策算法决策时，立法应当赋予消费者弱化的算法解释权：算法解释以客观具备可行性为前提，且以不触犯知识产权为底线。 当然，考虑到商业机构才是广泛使用自动化算法的主体，法秩序若允许商业机构以知识产权为由拒绝解释算法决策，可能会让私人权益遭受较大损害。本文认为，商业自动决策算法的规范应致力于实现算法效率和算法正义的平衡，私人权益的保护不应以侵害商业机构的知识产权为代价。更何况，算法相对人并非只有请求解释算法决策这一种选择。当算法相对人对算法决策不满时，其可以行使算法结果拒绝权，直接拒绝具体的算法决定，要求人工审核材料并作出判断。对于消费者而言，“给一个说法”的目的也是表达对于算法决定的不满。与其解释算法，不若允许消费者直接拒绝算法决定，一劳永逸地摆脱算法的影响。因此，即便商业机构以保护知识产权为由拒绝解释算法，也不会损害消费者的合法权益。相较于算法解释权而言，算法结果拒绝权能够更好地实现算法效率与算法正义之间的平衡。 《个人信息保护法》第24条第3款后半句规定，个人有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。据此，即便个人不能请求解释算法，其也可以直接拒绝接受具体的算法决定。但需注意，算法结果拒绝权的构造不能过度偏重任何一方的利益。目前《个人信息保护法》第24条第3款的构造过于粗糙，条文设计弹性不足，需要法秩序为进一步的补强。 （1）算法结果拒绝权的基本逻辑。算法结果拒绝权使得算法相对人能够拒绝接受算法决策结果。算法相对人可以不接受自动决策算法的运行结果，但是不能拒绝自动决策算法处理自身的数据，这使得算法结果拒绝权施加算法使用人的负担较小，更有利于自动决策算法的推广。欧盟委员会曾规定人们有权拒绝自动决策算法的应用，亦即人们享有算法应用拒绝权。但考虑到算法应用的商业价值和公共价值，欧盟议会和欧盟委员会均拒绝规定算法应用拒绝权，而改采算法结果拒绝权的设计：自动决策算法原则上是被允许的，个人不得拒绝自动决策算法的应用，但是享有拒绝自动决策算法结果的权利。为了推广商业自动决策算法，规则设计应具有较高的容错率，算法结果拒绝权最大限度地实现了价值平衡。 （2）算法结果拒绝权的法律后果。个人拒绝接受算法结果，并非意味着金融机构必须发放贷款或政府机构必须提供绿码。此处的拒绝权并非民法意义上的撤销，其仅是使得算法结果暂时不生效。因此，拒绝仅为一前置程序，避免个人在与算法使用人交涉时持续承受不利的算法结果。如果个人行使拒绝权，金融机构、政府机关应当提供人工干预，重新评估个人信息，作出决策。仍以健康码为例说明之。当自然人获得“黄码”或“红码”时，算法结果拒绝权使得该自然人的法律状态为“无码”。诚然，“无码”也不足以维护个人的行为自由，但“无码”状态至少使得个人不至于被强制隔离，个人尚享有免于侵犯的自由。再者，行政机关如果贸然提供“绿码”，也有侵犯他人健康和公共安全的危险，“无码”状态更有利于实现个人自由和公共利益之间的平衡。 （3）算法结果拒绝权的法律豁免。算法结果拒绝权的规范目标在于实现个人利益、商业利益和公共利益之间的平衡。为了实现这一目标，立法也可以规定特定领域中存在优位价值，限制算法结果拒绝权在该领域的适用。例如，保险公司在交强险理赔过程中需要使用被侵权人的个人信息（如医疗数据等），借以更准确地计算损害赔偿数额。精确计算损害本就是侵权法完全赔偿原则的基本要求。如果被侵权人拒绝保险公司使用个人信息并拒绝接受自动决策结果，全自动保险理赔的目标将无法实现。此外，法律也可能为了鼓励新型技术或新型商业模式的发展，要求个人不得在特定领域中拒绝接受算法决定。例如，欧盟《通用数据保护条例》序言第71条指出，欧盟或成员国可以为了监控、制止欺诈和偷税，或者为了保障服务的安全和可靠性，限制算法结果拒绝权的适用。 （4）算法结果拒绝权的程序性保障。在算法结果拒绝权受限的情况下，算法使用人仍然有义务提供人工干预渠道。由于设计者的知识局限、数据的偏差等，算法决策失当是不可避免的，在法律豁免场景同样如此。例如，全自动保险理赔算法可能将“蛋壳头骨”“玻璃人”等特殊体质视为不予理赔或者损害赔偿数额减少的事由；保费计算的权重分配也可能值得怀疑--驾驶记录在保险公司算法中的权重竟然远远不如信用数据权重高；信贷行业使用算法评分的“初心”是为了减少歧视，防止少数族裔和妇女被银行拒之门外，但大量替代数据的使用使得信用评分又回归到了“你们这群人”的时代；等等。算法决策结果容易出现偏差，人工干预才是保证算法相对人受到公平对待的关键。即便个人无法拒绝算法决定，个人信息处理者仍应当向算法相对人提供请求人工干预的途径，且确保有足够权限的负责人检视算法本身以及算法处理的相关数据。结合《个人信息保护法》第52条的规定，算法相对人可以向个人信息保护负责人申诉，要求个人信息保护负责人干预算法决定。《个人信息保护法》第54条规定，个人信息处理者利用个人信息进行自动化决策应在事前进行风险评估，并对处理情况进行记录。个人信息保护负责人应当结合风险评估报告以及数据处理记录判断自动决策算法结果是否合理。 综上所述，本文建议主管机关在专门性指引中进一步完善算法结果拒绝权的法律适用： 第X条个人有权拒绝个人信息处理者仅通过自动化决策的方式作出的对个人权益有重大影响的决定，但下列情形除外： 第X+1条在任何情况下，个人信息处理者均应当采取适当的措施保障算法相对人请求人工干预算法结果的权利。 当然，如同所有赋权性路径都会遭遇可行性质疑一样，算法解释权与算法应用拒绝权能否充分发挥作用，也依赖于对算法相对人主观能动性的判断。如果算法相对人怠于行使权利，则《个人信息保护法》第24条可能无法有效地保障算法相对人的权益。但是，无论如何法律都应该赋予算法相对人对抗算法的权利，使其能够参与到算法治理中。如果没有算法权利，算法治理将沦为监管机构与算法使用人之间的博弈，算法相对人的利益可能会被忽视。只有赋予算法相对人上述权利，才能建立算法相对人-算法使用人-监管机构多元治理的局面。更何况，个人未必没有动力行使算法权利。在现实生活中，已经有不少人表达对防疫健康码结果的不满，要求政府“给个说法”，这实际上就是在行使算法解释权；消费者对“大数据杀熟”的不满，不愿意接受算法定价结果，本质上也是在行使算法结果拒绝权。算法权利并非仅是一种强调人的主体性的哲学意义上的布道，已然有了一定的实践经验。04
特殊场景：高风险领域自动决策算法应用的严格规制策略 法秩序应在识别算法研发阶段与算法应用阶段风险类型的基础上，分别配置相应的法律规则。需要注意的是，在一些特殊领域中，一旦算法研发或应用失范，将对个人和社会秩序产生不可逆的冲击。因此，法秩序应在高风险领域严格规制自动决策算法的应用，甚至是完全禁止使用算法进行决策。 如果公权力机关使用自动决策算法实施具体行政行为，公权力机关可能无法解释自动决策算法，例如，危害风险评估工具（HART）算法拥有成千上万个独一无二的决策树，遍布近450个嵌套和相对独立的决策点，要想解释特定决策，显然不切实际。因公权力机关多采取公私合作的形式购买算法服务，算法解释也可能会侵犯他人的商业秘密，例如，2016年美国纽约市曾尝试通过立法强制政府机构披露源代码，但企业主张它们对于算法拥有财产性权利；在美国著名的“卢米斯案”中，美国联邦最高法院也以商业秘密为由拒绝了卢米斯要求解释算法的要求。算法解释权在上述场景似乎将因遭遇“事实不能”或“法律不能”而无法贯彻实施。在笔者看来，知情权是公民的基本权利，基本权利属于优位价值，算法赋能社会管理不能侵犯公民的基本权利。真正需要反思的是，公权力在何种领域以及多大程度上可以使用自动决策算法。并非在所有的公共管理领域，均得使用自动决策算法。德国修改《联邦行政程序法》，新增第35a条规定，即公共部门仅在严格的条件下才能从事全自动具体行政行为。在司法领域，目前在假释、缓刑、量刑等刑罚领域，司法机构都在使用风险评估工具。欧盟《2016年刑事犯罪领域个人信息保护指令》也原则上认可了自动决策算法在刑侦领域适用的合法性。但算法的推荐结果可能会绑架法官的判断，因为人们会天然地倾向于相信“科学结论”。司法人工智能应在何种范围内推广，值得深入研究。值得关注的是，法国于2019年通过《司法改革法》（Justice Reform Act）禁止借助算法预测法官判决结果，因为该类法律人工智能应用已经影响了法官独立审判，违背了“审判独立的规律”。笔者认为，是否应当发布算法禁令，禁止公权力在特定领域使用自动决策算法，恐怕才是真正需要讨论的话题。《个人信息保护法》第26条明确限制人脸识别设备的使用，但囿于法律的有限容量，无法顾及使用自动化算法的各种场景。立法应当通过在行政法、诉讼法领域发布算法禁令，严格限制可能侵犯公民基本权利的算法应用。 除此之处，在金融、超大型平台管理等特殊的社会治理领域，也存在着严格管控自动化算法的需求。例如，2018年3月中国人民银行、中国银行保险监督管理委员会、中国证券监督管理委员会、国家外汇管理局联合发布了《关于规范金融机构资产管理业务的指导意见》，该指导意见要求金融机构向金融监督管理部门报备人工智能模型的主要参数以及资产配置的主要逻辑；欧盟2019年6月通过的《平台和商户间公平性和透明度条例》Regulation （EU）2019/1150第5条要求平台在其条款中列出决定排名的主要参数以及这些主要参数相对于其他参数的相对重要的理由。与行政机关运用法律法规约束人的行为不同，平台是用效率、依赖和成瘾性控制用户。平台排名可能会直接影响竞争秩序，因此有着特别规范的必要。除了金融机构和大型平台之外，还会有其他的社会治理场景需要配置更严格的算法义务。当具体场景使用算法可能会引发高风险时，即存在特殊规制的需要。 立法认识论首先必须识别高风险算法应用领域，在此类应用领域中对算法使用人施加更多的要求。如此方可有的放矢，既规范算法活动，又不至于过度限制技术发展和应用模式创新。在前述场景，法秩序之所以更为严格地控制公权力机关使用自动决策算法，施加金融机构和大型平台更重的算法义务，在于算法应用可能会严重侵害公民基本权利、金融秩序和消费者权益。笔者认为，判断某一特定场景中的自动决策算法赋能是否可能带来高风险，应当考虑算法应用的行业和预期用途的风险系数，尤其对公共安全、消费者利益和公民基本权利的影响程度。考虑到算法有能力成为“大规模数学杀伤性武器”，在有争议的应用场景中，应视为算法应用存在高风险。国家网络信息活动监管机构应当尽快评估各类应用场景，列出高风险应用领域清单，以便协助相关管理部门出台算法规则，防控系统性风险。05
结语：在“风险-规制”框架下寻找新的平衡点和组合方式 现代科技系统的一大弊端是没有成功地将风险纳入到研发之中。科技的好奇心首先是“有用”，与之相联系的风险总是被推后考虑或者完全不加考虑。当科技被转化为产品或服务时，经济政策也被经济价值所吸引，而忽略科技应用可能会使原有规则体系发生功能偏移乃至失范。因此，法律系统对自动决策算法的规范，就应克服科技系统与经济系统的弊端，将风险识别与防范内化于算法的研发和应用之中。 诚然，自动决策算法在本质上是处理数据的代码，是一项应用科学技术。但技术并非一定是中立的，尤其是当自动决策算法处理的不是“物”，而是“个人信息”时，算法活动就兼具社会活动属性，内涵伦理和社会风险。人类进行社会活动时，有一些公知公认的准则是必须遵守的，例如，公正、自由、平等、安全、正义、私权保护等。当这些价值彼此之间发生冲突时，我们必须安排价值顺位或协调价值冲突，以维系社会共同体的存在。算法活动同样如此。因此，算法规范难题部分来源于科技的专业性和工具性，部分来源于社会活动本身的价值复杂性。自动决策算法的“波粒二重性”使得我们必须更准确、充分地识别各个阶段的价值，并在此基础上有效规避风险，或至少能够合理分配风险。欧盟委员会发布的《人工智能白皮书--追求卓越和信任的欧洲方案》将人工智能风险识别和控制列为首要监管目标，并指出判断风险时需要参考消费者保护、不正当竞争、个人数据保护、扶持中小企业、劳动者保护等复数价值。我国对自动决策算法的规范同样应当在“风险-规制”框架下搭建妥当的机制，在识别和协调价值的基础上控制风险。 如果我们是以如临大敌的心态对抗科技进步和治理模式创新，我们就未免过于悲观。在当前新冠疫情防控中，算法也展现出平衡公共安全和经济需求的能力，展现出造福社会的图景；如火如荼的互联网经济也表明“算法+数据”是经济新的催化剂；在智慧法院建设过程中，“分秒立案”、全过程留痕等都向我们展现了算法推动“可视正义”的功绩。我们不应忽视自动决策算法的社会功用和经济效益。“风险-规制”框架的关键作用在于“兴利除弊”，控制高风险，分配低风险，既防范严重不法，也为算法应用提供适当的容错机制。算法规范并非阻碍算法的应用，而是希望在尊重人的主体性的同时，进一步研发、推广自动决策算法。在笔者看来，新型数字治理的关键之一就在于寻找自动决策算法技术与社会活动本体价值之间的制衡机制，并不断探索科学理性、治理效率与人格尊严、社会正义之间的新型组合方式。
