今年4月，传出亚马逊公司使用人工智能（以下简称AI）系统追踪员工效率，提醒动作变慢的员工，并自动开除未达目标者。同样在4月，一位布朗大学的学生被误认为是斯里兰卡爆炸案的嫌犯，起因也是斯里兰卡当局的脸部识别AI出错。
这些事件显示，当人们越来越依赖AI进行决策，将AI系统引入司法、金融、雇用等重大议题时，可能会造成隐忧。“我最担心的是，我们想用来解决问题的系统，最终可能会加剧这些问题。”纽约大学的AI Now研究所共同创办人凯特．克劳福德如是说。
AI为什么会出错？
过去，人们相信AI的一个理由是，AI不像人类受情绪、疲倦所影响，可直接分析事件进行准确判断。但许多证据表明AI也会有“偏见”，并不总是像我们想像的那么客观真实。一项调查显示，部分美国法院采用的累犯风险评估软件COMPAS，在评估非裔美国人时准确性较低，可能高估他们成为累犯的概率。执法单位的面部识别系统在妇女、青少年和少数族裔上，错误率也比较高。这种情况，被称作“AI偏误”或“算法偏误”，怎么形成的呢？
1、偏误来自于AI的学习过程
AI的准确度需要经过训练，训练时提供的资料如果不足，无法反映复杂的真实世界，就会造成AI有偏误。Edge Case Research共同创办人暨执行长华格纳指出，在训练自动驾驶车AI时，尽管传感器已分析了数千或数百万个人类影像，AI还是会忽略坐轮椅的使用者或穿着萤光背心的建筑工人，因为这些例子在数据库中是少数。
华格纳认为，安全可靠的产品不仅需测试已知的偏误，还应该仔细寻找新的以及意想不到的新偏误，而这些偏误可能不会被发现，直到产品被广泛运用。“机器学习与人类学习相当不同”，华格纳说，“例如电脑可能会漏掉一个站在垂直物体（如电线杆）附近的人。你想过这个吗？”
2、面对偏见，AI没有思考能力
AI程序也可能“学会”人类的偏见。训练AI时，它们依靠从大量数据中找寻不可见的模式来分析信息。当这些资讯中隐藏了人类的偏见时，AI会复制这样的偏见。但AI和真人不同，在面对偏见时，它们没有思考能力。Google决策智能主管凯西．科兹科夫表示，AI只是收集数据、呈现模式的工具，永远不会自己思考，
3、抽象价值无法被合适定义
出错的另一个原因是，当人类试图让AI进行涉及公平、正义、信赖等抽象价值的决策时，因为无法将抽象意义用数学术语呈现出来，导致AI的判断违背人们的期待。
例如，一家银行希望预测贷款申请人的信誉度，“信誉”是一个模糊的概念。为了将其转换为可以计算的内容，就会将“信誉”转变为可量化的因素。如果贷款模型发现，老年人有较高的违约可能性，并根据年龄减少了放款金额，就可能造成非法歧视。AI金融平台AppZen的联合创始人维尔玛也表示，如果申请人居住在很多人拖欠贷款的地区，系统也可能将其判断为不可靠。
