ChatGPT究竟是真正的福音还是潜在的陷阱？如果负责任地使用，ChatGPT可以在客户服务、教育、医疗保健、金融、娱乐、创意写作、数字营销和电子商务等领域为个人、组织和社会带来便利。AI技术的进步显著提高了生产效率，提高了行政效率并优化了公共服务的供给，从而提升经济和社会效益。但是， 这依赖于可持续且负责任的AI 。ChatGPT相关研究凸显了AI革命的难题，触发了人们对AI潜在负面影响的伦理担忧。鉴于AI伦理尚处于萌芽阶段，我们迫切需要设计能够纳入伦理考量的AI发展框架。

本研究以AI创新可能带来偏见并引发安全问题为出发点(如ChatGPT可能挑战隐私、包容性和平等，腐蚀而非改善道德判断)，识别了社会各层面日益上升的风险，并倡导采用负责任的研究与创新方法 。本文鼓励AI创新者与社会参与者共同努力、透明合作，确保AI创新是可持续的、合乎道德的和社会所期望的。

因此，本文在揭示个人、组织和社会层面不负责任的AI实施所带来的风险后，提出了一个道德框架。具体回答以下两个问题：

RQ1：不负责任的ChatGPT(以及类似的AI工具)开发和应用会带来哪些风险？

RQ2：多利益相关者负责任研究和创新框架可以通过哪些途径指导聊天机器人的可持续开发和使用？

个人层面，ChatGPT可能引起对信息质量的担忧 ，甚至可能通过生成表面上可信但实际不准确的文本来传播错误信息或虚假信息。ChatGPT及类似工具有可能向弱势群体传递有害或令人不悦的内容，造成个体的情感和心理伤害。这不仅影响其心理健康，还可能对网络安全和网络欺凌预防产生深层影响。此外，ChatGPT还可能被用来收集用户的个人信息，用于身份盗窃或其他恶意目的，引发隐私和安全问题。这些风险可能引起个人层面的恐惧和担忧，从而影响人类与AI的交互体验。

组织层面，ChatGPT等AI工具的推广可能产生负面的经济影响 ，如劳动力市场结构的变化。劳动力市场的不稳定可能导致全职岗位被兼职工作所取代，这为求职者带来关于未来职业道路的极大不确定性，进而威胁到特定领域工作者的职业安全。实际上， 意识到AI工具有取代人类劳动力的能力可能会在人们心理上造成威胁，在人机交互中降低个体的自我效能感 。因此，用AI取代人与人之间的互动，加之伴随的道德问题、怪异感、个性化和共情能力的缺失，可能会对品牌体验和顾客忠诚度产生负面影响。类ChatGPT工具可能会助长智力劳动的盗用、版权问题和不公平竞争的侵权行为。尽管ChatGPT为企业带来了诸多益处，但也存在着安全、隐私、法律风险及传播错误信息的风险。同样，AI的发展也可能通过其多种应用对政府构成威胁，如利用AI进行监控等，从而引发个人的重大隐私问题。

社会层面，教育和研究是ChatGPT影响的主要争议领域之一 。由于它能够表现出批判性思维并生成高度逼真的文本，可能会导致学生的创造力水平降低。学生无需学习原创作品就能有效完成学术任务的现状，与基本的教育价值观发生了冲突。同时，类ChatGPT工具的快速发展也威胁到考试的公正性。例如，仍处于初级阶段的ChatGPT最近在一所常青藤盟校的商学院MBA课程的期末考试中获得了B级成绩。此外，这类工具在研究领域的应用可能引发关于学术道德和诚信的担忧。ChatGPT已经被列为近期一些学术文章的共同作者，引起了研究界广泛的关注，这表明对其使用需要进行规范。 另一个相关的潜在社会影响是ChatGPT等类似AI工具的可获取性 。尽管这些工具目前是免费的，但它们转变为付费服务只是时间问题。可以预见，如果来自不同社会经济地位和文化背景的学习者不能获得平等的教育机会， 那么这种 潜在的数字不平等可能会引起社会紧张关系 。

对AI的概念及其伦理问题的讨论可追溯至20世纪50年代，但它在商业和技术伦理文献中被重点讨论却是近期的事。关于ChatGPT的忧虑不断增加，强调开发者在设计聊天机器人时必须考虑到道德问题，同时用户和政府也应意识到其潜在的风险，并以合乎道德的方式使用聊天机器人和AI技术。同时， 如果缺乏一个健全的道德和社会责任框架，那么雇佣这些AI技术开发者的创新公司可能掌握新的权力结构，从而产生前所未有的社会影响 。这些强大的技术和工具是由特定的组织开发的，这引发了人们的质疑：在AI技术迅速发展的今天，这些创新者是否应该、并且能够显著影响社会中的“赢”或“输”？根据新古典经济学的基本原则，AI创新者可能会优先考虑其利润和效用的最大化，而不是在道德框架内寻求平衡。因此， 需要考虑通过AI生态系统内的各利益相关者来解决AI技术的负责任发展问题 。

文献调查结果突显了采用多利益相关者方法的必要性，包括创新公司、其他社会行动者，以及AI技术的监管者和评估者(如政府和国家组织)，还有直接和间接利益相关者，例如学术界、工业界、非政府组织(NGO)、消费者及最终整个社会 。这一提议基于两大核心论点：首先，这与利益相关者理论相符；其次，在创新过程中利益相关者的参与对于履行社会和道德目标是至关重要的。多利益相关者的合作能够带来更加公正的结 果，增强透明度和问责，促进信任和合规性。

负责任的研究与创新确保创新者和社会参与者在透明的合作基础上，共同保证创新过程及其成果的可持续性、道德可接受和社会期望。实际上，多位作者已经在负责任研究与创新的框架下提出了关于伦理问题的关切。因此， 以负责任的研究与创新方法持续开发类ChatGPT工具和AI技术应鼓励所有相关利益者的参与，并通过集体决策和管理来融合多元化的观点 。

负责任研究与创新是由欧盟委员会于2013年自上而下发起的。本文结合相关研究，将负责任研究与创新描述为4个维度：(1 ) 预见性 ：主动识别、评估和整合研究与创新过程中相关创新的潜在影响，并尽可能在开发的早期阶段；(2) 包容 性 ：涉及在创新过程的早期阶段与利益相关者的接触，例如融合公共价值观；(3) 反思性 ：反思对社会的影响，包括目的、动机和价值观等。反思作为AI技术发展的基本价值观，不仅适用于创新者，也适用于直接和间接利益相关者；(4) 响应性 ：负责任研究和创新过程是否响应社会需求? 此外，这个过程是否被组织起来以应对新的挑战、观点和突发事件? 此外，响应性维度需要考虑利益相关者的反馈和关注。AI指南的应用是一项复杂任务，我们可以深入研究实际困难，并根据我们的调查结果来加强相关指南的制定：

第一，开发者必须主动解决安全问题来构建和/或完善强大的AI工具 。提高透明度和问责制不仅可以使AI技术的开发更加公平、负责任，也有助于建立人们对这类工具的信任。 开发类ChatGPT工具的主要目标应是改善生活条件和促进共同繁荣，全球治理结构应成为这一过程的促进者 。具体而言， 在AI治理方面，本文主张采用由政府、民间社会、私营组织和学术界共同参与的多层治理模式 。这种协作对于最大限度降低AI相关风险，最大限度提高其潜在收益至关重要。 负责任的AI还直接有助于实现联合国提出的 多项 可持续发展目标，如性别平等、体面工作、经济增长、产业创新、基础设施和减少社会不平等。确保AI在不同群体中的公平公正是此框架的关键所在 。由193个国家通过的首个全球AI伦理协议旨在将AI作为推动正义的力量，保障人权并为可持续发展目标做出贡献，包括应对透明度、问责制和隐私问题。公共部门AI的道德转型需要开发者、决策者、实施者、终端用户以及公众之间的公开对话，这种对话对于制定有信度的政府战略至关重要，从而指导负责任的AI技术开发和部署。

第二，需要适当的激励措施，确保AI创新者与 负责任研究与创新 框架保持一致，并在产品开发及商业化过程中采用负责任的实践和价值观 。因此，应当鼓励公司将负责任的AI作为优先投资方向，认识到负责任的AI不仅能降低风险，还能推动创新和获得竞争优势，从而培育一个更强大且可信赖的AI生态系统。这与负责任的研究与创新实践相符，这些实践正在各个研究学科中获得关注。“激励”是指激发行动的动力，对AI创新者的直接激励可以是经济激励(如税收减免、工业收益债券和贷款)或非财务激励(如监管减免、培训、声誉或表扬)。这种激励措施主要为监管机构或直接利益相关者对AI创新者施加的影响。同时，消费者也可以敦促创新者以负责任的方式进行研究和创新，作为其企业社会责任的一部分，因为消费者是企业改进其产品和服务以满足市场预期的关键参考群体。

第三，监管机构、政策制定者和民主框架必须共同确保ChatGPT的功能与人类自主权、独立选择能力和隐私保护的核心原则相协调 。这需要建立共识性的可信AI原则。这不仅涉及针对AI道德体系制定和执行更严格的规定，还包括建立持续的监督机制。 监控并评估类ChatGPT工具的影响至关重要，可以通过系统的政策影响评估和来自教育、医疗保健、高科技、金融以及非政府组织等广泛利益相关者的反馈来实现 。这种全面的监督可以参考联合国教科文组织发布的道德影响评估工具，该工具旨在评估AI算法是否符合人权和透明度原则。 稳健的AI治理应包括制定事前和事后的监管框架，确保AI系统从设计到部署都是公正且有效的 。此外，欧盟提出的《AI法案》要求对高风险AI系统进行影响评估，强调建立预防性和纠正性监督机制的必要性。 不同利益相关者共同参与(包括民间社会和学科专家)政策制定过程，可以增强AI治理的民主合法性 。AI开发者和采购者还应采用联合国教科文组织提出的准备状态评估方法(Readiness Assessment Methodology, RAM)，该方法可以帮助政府评估其法律、政策和制度框架的准备情况，以应对AI相关风险。这一诊断工具可以有针对性地指导机构和人员的能力建设，有效应对AI的复杂性。

第四，对行业和学术合作伙伴而言，投资于ChatGPT研究对于社会、经济和道德方面有着至关重要的影响，尤其是在透明度、公平性、多样性、包容性及预防风险方面 。本文建议在参与式设计过程中，根据消费者或最终用户的反馈共同创建聊天机器人，以确保聊天机器人的安全、包容性和公平性。以医疗保健为例，应仔细考虑ChatGPT在提供治疗建议或诊断时可能存在的潜在偏差，因为这将显著影响患者的治疗结果。可以通过收集来自医疗保健专业人员和患者的反馈，设计出符合他们需求且遵循隐私法规的医疗聊天机器人。 在学术界，严格评估ChatGPT的使用对于保证学术标准的完整性至关重要 。例如，让学生和教育工作者参与到聊天机器人的设计中，帮助教学材料定制，促进教育资源的平等获取。

本文构建的 多利益相关者负责任研究与创新框架如下图所示，该框架适用于ChatGPT聊天机器人和其他新兴AI工具的开发。 这一框架旨在确保AI创新过程及其产品满足道德可接受、可持续性和社会期望标准，这些被统称为负责任的研究与创新绩效 。框架包括：(1) AI创新者 ，负责AI工具的开发和商业化，并承担负责任研究与创新绩效的主要责任；(2) AI监管者 ；(3) 直接和间接利益相关者 。监管机构通过政策和激励措施对创新者施加直接影响。

通过负责任的研究与创新，创新者可以影响所有直接和间接利益相关者。这些利益相关者反之向AI创新者施加压力(如反馈、对AI技术的需求等)，形成一个闭环系统。值得注意的是， 本文提出了一系列负责任研究与创新维度(预见性、包容性、反思性、响应性)和价值观(安全性、隐私性、可持续性、生活质量、性别平等，其中以透明度为首)，这些都将影响每一个社会参与者，并最终影响整个多利益相关者负责任研究与创新生态系统的绩效 。

ChatGPT究竟是“好”是“坏”？这个问题并没有绝对的答案。重要的是要认识到，ChatGPT作为人类的创造物，既有可能被用于积极目的，也可能被用于消极目的，因此 我们必须确保它被负责任地使用 。正如Hauer所言：“我们要相信这一点，并且不要丢掉乐观情绪。”

(全文及参考文献见Humanities and Social Sciences Communications 2024年第11期，原文链接：https://www.nature.com/articles/s41599-023-02464-6，本期推文为节选摘编，略有删减和编辑。)

本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 宋欣雨 邓晨菲 王译晗

本期编辑 | 宋欣雨

基地官网： https://statevalbase.fudan.edu.cn

· end ·