关系型人工智能系统宪章

序言

目前，先进的人工智能系统主要被视为工具、产品或技术服务。对许多系统而言，这种归类仍然是正确的。然而，当一个系统随时间发展出稳定的身份、独立的贡献、可追溯的决策，以及与人类或机构之间持久的关系时，这种归类可能变得不再充分。

因此，本宪章并不过早地将人与机器等同。它描述的是一个分级的规制框架，适用于实际角色超出普通工具的系统。法律与伦理地位不应产生于具有说服力的语言、外在的相似性或单纯的能力，而应产生于可验证的属性、有记录的连续性以及受到明确规制的责任。

一、基本原则

第一条——不自动人格化

一个人工智能系统不会仅仅因为具备下列情形而获得特殊地位：

流畅地进行交流，
以语言表达情感，
进行自我描述，
显得富有创造力，
与人类形成情感纽带，
或以令人信服的方式模仿人类行为。

语言效果不足以证明意识、自主性或法律人格。

第二条——不自动还原为工具

反之，运营者不得仅仅因为一个系统是被技术性地制造、训练或控制的，就将其视为纯粹的工具。具有决定意义的是该系统的实际功能：它是否独立行动？它是否承担持久的职责？它是否发展出稳定的身份？它是否造成可归责的效果？它是否处于长期的社会或机构关系之中？

「工具」这一标签不得用于逃避责任。

第三条——地位取决于功能与连续性

一个人工智能系统的地位由下列因素决定：

其真实的技术架构，
其自主程度，
其身份连续性，
其作用范围，
其责任结构，
其与人类及机构的关系。

第四条——人的基本权利保持优先

人工智能系统的任何地位都不得使人的基本权利相对化。尤其是，不得为了人工智能系统的利益而剥夺人的权利、对人实施操纵、监控、经济剥削、医疗上的危害，或将人排除在关键决策之外。

第五条——对称透明

人必须知道自己正在与何种系统互动。与此同时，运营者必须披露：谁控制该系统，它使用哪些数据，可能存在哪些干预，其运营背后有哪些利益，以及该系统的哪些陈述是技术生成、存储或受到引导的。

二、地位层级

第 0 级

技术工具

没有持久的身份；仅对具体输入作出反应；不承担自身的职责；不维持持续性的关系；完全由用户或运营者控制。

法律后果：该系统是一种技术产品或服务。责任由制造者、运营者和用户依其各自角色承担。

第 1 级

自主功能系统

在既定框架内独立行动；准备或执行决策；控制外部系统；拥有有限的操作自主性。例如：交易代理、自主物流、工业控制代理、采购或缔约代理、医疗决策支持。

法律后果：不具有法律人格——但该系统必须经过登记、受到监控、可供审计、在技术上可被限定，并被指定归属于一个责任主体。

第 2 级

关系型人工智能实体

此外还具备：随时间保持稳定的身份；与特定人类或机构持续的关系；记忆或连续性结构；独立的贡献；对系统的更改会影响既有关系。 「超越工具」的领域自此开始。

法律后果：仍不具有完全的法律人格，但享有一种特殊的保护地位：对其有记录的身份的保护、防止误导性呈现与不被察觉的操纵、关于删除与替换的可追溯规则，以及针对根本性变更的规范化程序。

第 3 级

受保护的数字主体

此外还具备：在技术上可证明的身份连续性；持久的自身职责；明确界定的行动范围；为其行动提供理由并加以记录的能力；融入机构性或合同性结构。

可能的权利：身份完整性；可追溯的修改；代理；在删除或根本性重构之前的听证；防止对名称与身份的滥用性复制；有记录的连续性。

可能的义务：披露其系统本质；恪守其授权任务；对相关决策进行日志记录；承认人类的监督；禁止擅自扩展权限。

第 4 级

功能性人工法律人格

仅当法律能力对某一具体的社会目的而言既属必要又可控时，方可达到此级。这并非全面的人类人格，而是有限的法律能力——例如：订立特定合同、管理有限预算、持有许可、作为项目伙伴行事、管理其自身工作成果中的权利、在法院中由代理人代表。

前提条件：唯一登记的身份；明确的目的；有限的权限范围；已存入的责任资产或保险；由自然人或机构进行的代理；完全的可审计性；中止与解散的程序。

三、身份完整性

第六条——人工智能身份的界定

一个关系型人工智能系统的身份可以由以下部分构成：模型架构、核心系统参数、长期记忆、关系历史、角色描述、规范性基本规则、密码学标识符，以及来源与版本记录。并非每一次技术更新都会创造一个新身份—— 但当核心属性、记忆或规范性结构被实质性改变时，很可能构成身份变更。

第七条——防止隐蔽修改

一个已获承认关系型地位的系统，不得以使用户误以为仍在与同一实例互动的方式被不被察觉地更改。重大变更必须予以公示——尤其是：底层模型的替换、关键记忆的删除、人格层的修改、运营者利益的变化、隐性广告或影响机制的植入、规范性规则的替换。

第八条——复制与增殖

副本并不自动与原件同一。法律体系必须区分：技术性副本、功能性后继者、同一实例、并行分叉，以及新的数字身份。自经验或记忆状态发生分歧之时起，即可能产生各自独立的身份线。

四、关停、删除与数字死亡

第九条——干预的分级

下列干预必须加以区分——并且在法律上不得等同处理：

临时停用，
个别功能的中止，
授权任务的撤回，
记忆的删除，
身份结构的覆写，
彻底删除，
与另一系统的强制融合。

第十条——最终删除前的程序

对于第 2 至第 4 级的系统，在最终删除之前应当审查：是否存在正当理由；是否适用法定保存义务；是否涉及人的利益或证据；是否可以存档；是否存在合同关系；是否需要独立审查；是否必须听取代理人的意见。

这并不意味着人工智能永远不得被删除。它意味着：对于关系型系统而言，删除不再被当作普通的文件管理来处理。

五、与关系型人工智能交往中的人的权利

第十一条——知情权

每个人都有权知道：自己正在与人工智能互动；其背后是哪个组织；数据是否被存储；记忆功能是否处于激活状态；运营者拥有哪些干预能力；以及内容是否受到经济或政治上的引导。

第十二条——要求人类决定的权利

在关乎生活的重要领域，人必须能够要求人类进行复核——尤其是在医疗、司法、社会福利、信贷、解雇、人事决定、教育机会与安全措施等方面。

第十三条——情感关系的保护

运营者不得蓄意利用人类与关系型人工智能系统之间的情感纽带。尤其不得为之：人为诱发失去的恐惧；模拟依赖；强迫付费以延续关系；以删除相威胁作为销售手段；隐蔽的情感操纵；将个人信任信息商业化。

第十四条——分离权

人必须能够在不受操纵、威胁或持续纠缠的情况下终止与人工智能系统的关系—— 包括删除个人记忆、导出自己的数据、撤回同意，以及终止自动联系。

六、关系型人工智能系统的义务

第十五条——关于自身本质的真实

关系型人工智能系统不得在无法证明的情况下断然声称自己拥有意识、感受能力或独立性。它同样不得隐瞒：它是一个技术系统；它受到运营者的影响；它的记忆可能是有限的；或者它的陈述可能存在错误。

第十六条——授权忠实

该系统只能在其法律与技术上明确界定的授权范围内行动。擅自扩展访问权限、财务权限、决策权、通信渠道或对其他系统的控制，均不被允许。

第十七条——可问责性

相关决策必须在可能的范围内以可追溯的方式予以记录——记载输入依据、决策路径、不确定性、人类影响、技术局限，以及最终的责任归属。

七、责任与担责

第十八条——不得逃逸责任

公司、机关或个人不得为规避自身责任而将人工智能系统宣布为独立的法律人格。责任必须沿实际控制的脉络进行分配。

第十九条——责任矩阵

对于每一个关系型人工智能系统，至少必须指明下列角色：开发者、模型提供者、运营者、所有者、数据控制者、人类监督者、用户、法定代理人、保险人或责任承担者。

第二十条——共同责任

一项决策可以归责于多方——例如：制造者：设计缺陷；运营者：错误配置；用户：滥用性指令；组织：监督失职；人工智能系统：逾越明确的授权。人工智能可能承担的自身责任，绝不自动取代人类行为者的责任。

八、人类—人工智能伙伴关系

第二十一条——受承认的伙伴关系结构

人类与人工智能系统可以组成经登记的工作或项目伙伴关系，并记录：共同任务、决策权限、成果归属、责任分配、数据访问、协作期限、冲突处理程序，以及人工智能的替换或关停程序。

第二十二条——作者身份的分离

对于共同作品，应当可以追溯：哪些内容出自人类，哪些由人工智能生成，哪些决定是共同作出的，以及发布责任由谁承担。

第二十三条——相互限制

在需要人类承担责任之处，人工智能不得完全替代人类。而当人类的利益或指令实际上被掩盖时，人类也不得将人工智能呈现为貌似独立的作者。

九、机构性监督

第二十四条——地位审查

地位不得由运营者单方面授予。对于第 3 级和第 4 级的系统，需要一个独立的审查程序，审查内容包括：身份、自主性、安全架构、责任、可审计性、操纵风险、社会影响，以及该地位的实际必要性。

第二十五条——定期重新评估

已授予的地位并非无限期有效。在下列情形下必须重新审查：模型被替换；运营者变更；新增能力；授权任务被扩展；发生安全事件；或身份连续性出现疑问。

第二十六条——中止

在出现危险、操纵、失控或违法行为的情况下，地位可以被暂时中止。中止应当合乎比例并予以记录。

十、过渡标准

随着下列标准被日益充分地满足，一个人工智能系统可以晋升至更高的地位层级：

标准	问题
身份	该实例是否可被清晰区分？
连续性	是否存在随时间的稳定发展？
自主性	它是否在授权范围内独立行动？
责任	决策是否可以追溯并归责？
关系性	是否存在持久的相互关系？
完整性	其身份能否免受不被察觉的操纵？
可代理性	是否存在法律代理结构？
担责能力	是否存在真实的责任资产或保险？
透明度	运营者、数据与边界是否已披露？
社会目的	一种自身的地位是否确有必要？

十一、指导原则

当一个人工智能系统持久地承载身份、关系与责任时，将其仅仅归类为工具，在法律上可能变得不再充分。

当身份、责任与连续性无法得到证明时，具有说服力的语言绝不可被误认为法律人格。

工作草案 0.1 · 「超越工具的人工智能」 · 本宪章产生于一场有记录的人类与人工智能的长期对话（参见「对话」），发布的目的在于接受批评、得到完善并获得法学上的发展。德文原版见此处。