教育人工智能伦理风险如何消解

　　作者：赵磊磊（江南大学教育学院副教授）；代蕊华（华东师范大学教育学部教授、教育部中学校长培训中心主任）

　　人工智能正在成为国际竞争的新焦点，同时也为人类社会带来了新的发展机遇。机器学习、自然语言处理、情感计算、虚拟现实等技术的迅猛发展，不仅为学生获取更高质量的教育体验提供了有力支撑，也有助于进一步扩展教师自由发展的空间。但与此同时，智能导师系统、智能数据挖掘等人工智能技术在教育应用中面临众多伦理问题，例如数据泄露、公共安全、恶意竞争等。

　　人工智能（Artificial Intelligence，简称AI）是计算机科学的一部分，包括研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统等方面。教育人工智能伦理则是用以规范教育人工智能开发及应用过程中关系、行为的道理及准则。

　　教育人工智能虽具备强大的数据整合与分析能力，但同时也会引发一系列新的伦理风险，系统来看，其主要体现在以下四个方面。

　　其一，信息安全。人工智能助力教育教学的同时，不仅为师生发展创造机遇，也产生了海量教育数据如个人身份信息、行为轨迹、学习偏好等。若此类数据并未得以有效保护或者被非法使用，则会引发一系列信息安全问题，例如个人隐私资料被恶意泄露及不正当使用、电子邮件的恶意推送、非法电子监控、网络诈骗、数据侵权等，师生的隐私权利在人工智能透视镜下将变得十分脆弱。

　　其二，目标冲突。教育人工智能的目标冲突风险主要由人工智能开发商、用户的基本目标不一致所产生的。对私营部门来说，由于商业利益至上的理念根深蒂固，可能会依托人工智能技术工具过度追逐私利。而且，不少教育人工智能设计者与开发者缺乏致力于“教育公共服务”的责任意识，欠缺对教育成长的价值关怀。若人工智能开发商、学校管理团队未在人工智能的教育应用方面达成目标共识，则师生自身利益难以得到长期的有效保障。

　　其三，缺乏制度约束。当前，用于约束教育人工智能开发与应用的制度体系尚未健全，教育用户的合法权益难以得到有效保障。而且，专业制度约束体系的缺位、失位及错位成为导致教育人工智能不道德行为出现的重要因素。若缺乏有效的技术标准与“强制性”法律手段加以规约，教育人工智能的设计开发与实践应用可能会逐渐偏离教育价值与人文立场。应对违反教育人工智能伦理规范的行为与举措实施问责与制裁，以便合理规约人工智能开发人员、教育用户等人的行为。

　　其四，过度资源依赖。当前，机器学习和算法推荐虽然可实现教学资源的个性化推送，但这种看似公平合理的人工智能应用，隐含着不为人知的算法歧视与技术偏向，可能导致学生所获取的教学资源高度同质化，学生逐渐形成资源依赖，不愿跳脱僵化思维，进而影响了学生视野的开阔及创新发展。而且，教师也可能为节省自身时间及工作成本，过度依赖人工智能推送的教学资源，丧失自身对于教育教学的独特理解及思考。

　　理清相关伦理风险的消解路径，有利于促使教育能够合乎道德地利用人工智能机遇，并实现公平和道德的教育决策。

　　第一，注重智能时代师生信息素养培育。首先，需注重师生信息分辨力培育。学校应引导师生对于信息资源获取及筛选、信息伦理风险等问题的理解与思考，增强师生信息分辨能力。其次，关注师生信息反馈力培育。学校应引导师生合理反馈人工智能的信息安全、伦理、舒适感问题，并构建畅通的信息反馈渠道，以便持续改善人工智能的教育应用成效。

　　第二，完善教育人工智能算法审查及决议机制。首先，应注重构建人工智能算法的审查机制。人工智能算法的运行偏差有可能持续存在，甚至会被放大。应制定有关人工智能算法培训和测试的基本规范与安全协议，对人工智能算法模型的前提假设进行教育本质层面的剖析，尤其应审查教育人工智能算法系统是否包含算法歧视与滥用问题，以便能最大限度保障用户数据及信息的精确性、隐私安全以及伦理规范。其次，需明确人工智能教育应用方案的决议机制。政府、学校、企业等均需秉承集思广益的决策原则，鼓励不同意见的提出与开放讨论，思考通过某种形式的投票与评价来决定教育人工智能应用的最优决定，致力于实现教育公共利益诉求的合理满足。

　　第三，加强人工智能及数据的法规监管。当前教育人工智能发展暴露出众多技术及数据失范问题，因此，要完善智能技术及教育数据风险问责机制，实现智能技术及数据的规范监管。首先，可尝试制定及颁布具有法律约束力的教育人工智能法规，规范技术开发及应用的伦理责任，非法开发、使用及销售人工智能的行为将面临法律后果及责任。其次，注重教育人工智能应用过程中的数据监管，构建专业的数据隐私监管组织或机构。隐私监管组织或机构应在某项人工智能技术推广应用之前，评估该技术的数据安全情况，避免非法分享和使用数据。

　　第四，加强教育人工智能伦理风险排查与评估。实现有道德的教育人工智能，不可仅仅依靠技术改进，还应采用“系统化思想”审视与排查教育人工智能的伦理风险，这对于最大化保障教育公共利益是至关重要的。教育人工智能伦理风险的存在不仅涉及开发阶段，也涉及生产和分销阶段。除了确保教育人工智能设计的安全性外，还应仔细评估智能算法伦理风险、教育数据伦理风险等的危害等级，以便及时制定教育人工智能伦理风险化解方案。

　　第五，构建校本化教育人工智能伦理规范体系。校本化的教育人工智能伦理规范体系必须高度公正且具有可解释性，明确规定人工智能在学校应用的基本要求、审查程序及伦理规范，并对技术开发商、学校管理人员等人在教育人工智能伦理监管的职责、权利和义务予以合理划分与限定。学校管理人员可基于学校层面教育人工智能伦理规范体系，为人工智能在学校教育中的应用设置许可权限。若某项人工智能技术在应用中产生了重大伦理风险，则应根据伦理风险的评估等级对人工智能的应用许可权限进行适当限制。

　　（本文系中国高等教育学会2020年专项重点课题“高校信息化安全风险防范与化解研究”[2020XXHD04]成果）