编辑导语：我们生活在算法时代，一方面，技术的发展使得算法进入到更深层次的决策领域，对我们的生活也产生着重要影响；另一方面，还存在着一个我们不容忽视的问题——算法偏见。

Joy Buolamwini是一位加纳裔科学家。一次，在做一项涉及面部识别软件的作业时，她发现，算法无法识别她的脸——除非她戴上白色面具。

这是Netflix最近上线的纪录片《编码偏见》中的一幕。此外，这部关于算法偏见的纪录片还呈现了广告、招聘、金融服务、警务和其他许多领域中，算法对社会现有种族、阶级和性别偏见不同程度的延续。

受此启发，Joy Buolamwini测试了许多面部识别商用软件发现，白人男性性别被正确识别的概率高达99%。随着肤色变暗，错误率也呈指数增长，近35％黑人女性无法被正确识别。

2020年，在国内，《外卖骑手，困在系统里》一文引发广泛讨论，焦点指向外卖平台的算法系统。技术的进步改善了生活的方方面面，但问题也逐渐浮现，人们不再相信算法决策是完全公平的。在逐渐被AI等智能技术包围的时代，算法偏见（algorithm bias）逐渐成为重要的信息伦理问题，乃至社会议题。

本期全媒派将从典型的算法偏见表现说起，分析偏见如何通过算法呈现到现实生活，再从现实出发，介绍科技公司在技术和操纵者层面，对纠正算法偏见可以做的努力。

一、随处可见的算法偏见

去年，杜克大学科学家发表能够将模糊照片清晰化的算法PULSE。不过，美国前总统奥巴马的模糊照片经处理后，生成的却是一张清晰的白人面孔。

图片来源：Twitter/ @Chicken3gg

这被视为算法偏见的典型案例。算法偏见，是在信息的生产、分发及核查的过程中对用户造成的非中立立场影响，从而导致片面、失实等信息观念的传播。现实生活中，算法偏见可能发生在每个人身上。

清华大学新闻与传播学院智媒研究中心在《算法治理与发展：以人为本，科技向善》报告中，从领域和对象出发，将算法偏见的表现分为有损群体包容性的偏见、有损群体公平性的偏见及有损个体利益的偏见。[1]

1. 有损包容性

针对算法偏见的讨论，多数与种族、性别等指向不同群体的因素相关。这类偏见展现的，是算法对不同群体的包容度不足——不同肤色、特定环境下的弱势群体或女性，容易成为被算法忽视的对象。

开头Joy Buolamwini的例子，就是这类偏见的一种表现。有感于此，Joy发起了一项研究，收集来自非洲和欧洲共6个国家的1270张人脸照片，测试了IBM、微软、旷视3家公司的人脸识别产品，结果显示都存在不同程度的女性和深色人种“歧视”。

类似的事情时有发生。2015年，Google Photos曾经把两个深肤色的人标记为“大猩猩”。

到了2018年，《连线》杂志对相册中4万多张动物图片测试后发现，谷歌没有完全修复这个漏洞，只是不再将任何图片标记为大猩猩。疫情期间，谷歌旗下服务Google Vision Cloud曾经将手持测温计的深肤色人员图像标记为“枪”，而相同条件下的浅肤色人员图像，则被标记为“电子设备”。

去年，有用户指出，Twitter的图像裁剪算法存在种族和性别偏见。当用户在查看预览推文呈现的缩略图区域时，如果一张照片上有不同肤色人种，算法会更突出浅肤色的人像区域。

图像识别之外，频繁、深度使用语音识别、文字识别技术的科技公司，也常在这上面“失误”。2015年的一个调查发现，谷歌助手、苹果Siri和亚马逊的Alexa对美国口音、印度口音和中国口音的英语识别准确率并不一致。

2. 预测、决策不公

除了种族、性别和年龄等人类属性方面的偏见，算法也在消费、就业和犯罪风险检测等应用场景方面表现出偏见。[2]这种偏见最直接的影响，就是可能导致预测、决策的不公，造成对群体公平性的损害。

最常见的一类是招聘偏见。路透社曾在2018年报道，亚马逊设计的AI招聘算法中暗含对女性求职者的偏见。

当读取到带有“women”的相关词，算法会降低简历的权重。比如，当简历中出现“女子象棋俱乐部队长”或“女子学院”这样的词，算法会直接对求职者作降级处理。亚马逊最终关闭了这个招聘算法。

而当算法被用于招聘面试，分析应聘者肢体语言、眼神活动等更细致的维度时，面试过程中的一举一动，都不得不谨小慎微。这些工具可以帮助企业提高效率、节省开支，但也偶有偏见。

被高盛、联合利华等企业普遍采用的AI面试工具HireVue，可能会分不清皱眉是因为在思考问题，还是情绪不佳（暗示性格易怒）。[3]

犯罪领域中人脸识别算法的偏见也常导致不公。2016年，新闻机构ProPublica调查了美国各州政府用来评估被告人再犯罪风险的COMPAS算法，发现黑人假释候选人更容易被评为高风险。在美国，不止一次出现黑人或少数族裔因为算法原因被错误逮捕的事情。

除了司法、就业，当下生活中，算法参与决策的领域还包括金融、医疗、消费等，算法偏见的范围或许也比想象中广。

3. 威胁个体利益

包容性的降低和公平性的损耗，必然影响个体利益。

例如，谷歌的PageRank的算法能评价网络链接的重要性，对网页进行排序。在Google Shopping里，谷歌曾暗暗将自己的商品置于网页排序中的显眼位置。[4]这影响了用户的消费选择。

在日常生活中，可能不少人都有过这样的体验：在一些网络平台消费的时候，同时同地同样的消费，其他人的费用可能比自己低。通过记录分析消费者的消费痕迹，来对不同消费者差别定价，这种“算法杀熟”也可以被视作一种算法偏见。

二、纠正算法偏见，科技公司怎么做？

当算法偏见越来越成为无法回避的技术、伦理和社会问题时，纠正偏见也就成为解决问题的重点。作为规则设计者、制定者和参与者的科技公司，也不得不主动做出回应。

纠正偏见，先要知道偏见为何发生。

人工智能专家、AI公司Another Brain首席执行官Bruno指出：“人工智能算法存在三种主要的偏差来源：训练数据集，让算法学习我们想要的东西，以及AI算法本身的原理。”也就是说，算法的偏见来源于数据的纰漏、设计者的偏见，以及人机交互或算法本身的不足。

目前来看，科技公司纠正算法偏见，主要也是从算法的数据技术层面以及算法操纵者的偏见等方向来行动。

1. 算法技术层面

近几年，不少公司都发布了用来检查算法偏差的工具。

2018年5月，Facebook推出Fairness Flow，当算法根据一个人的种族、性别或年龄做出了不公的判断，它会自动发出警告来提醒。之后，谷歌在其开源网页中推出了工具What-If，帮助开发者检测算法公平性。[5]

也在同年，IBM推出AI Fairness 360开源工具包，提供超30个公平性指标、9个偏差缓解算法，用于检查在信用评分、预测医疗支出和面部图像性别分类等不同场景中的算法偏见，还会推荐改进的方法，比如算法调整或数据平衡。

去年8月，微软旗下的领英推出公平工具包（LiFT)，可以对数据集的属性（如种族和性别构成）做分析，并将结果与算法结果来比较，进而检测公平性。

如果数据集本身有偏见，那显然，用数据集训练出的算法也很难客观。因此，不少举措也关注数据的修订和扩展。2018年，微软与专家合作修订、扩展了用于训练其面部识别算法Face API的数据集。在调整肤色、性别和年龄等在数据集中的占比并改进了分类器之后，算法在肤色较深的男性、女性间的识别错误率降低了20倍，女性识别误差率降低了9倍。

同样旨在提供检测、帮助改善数据，Facebook在今年4月也有新动向——公开名为Casual Conversations的数据集帮助研究人员评估潜在算法偏差。这个数据集的特别之处在于，让人们自己提供年龄和性别来标注，而不是由第三方或计算机系统估计。

Facebook还为数据集招募了训练有素的注释员，来确定参与者的皮肤类型。数据集还标记了视频的环境光照条件，帮助系统测量低光照条件下的肤色。

前不久，Twitter也宣布了一项“负责任的机器学习”新计划，研究平台采用算法的公平性。内容之一，就是由来自公司内部的数据科学家和工程师，研究Twitter对机器学习的使用如何导致算法偏差，并评估其算法可能造成的“无意伤害”，再将研究结果公开。

Twitter首席执行官Jack Dorsey曾表示，希望创建一个算法市场，类似应用商店形式，让用户能够控制自己使用的算法。

2. 算法操纵者层面

对于算法偏见，常见的一种看法是，AI决策依赖于对人类决策的学习，因此，机器偏见其实是对社会传统偏见的投射。所以，除了技术层面改善数据集、打标等机器学习的环节外，更需要针对算法背后的人，以及公司的偏见做出限制。在这方面，除了外部的限制和规范，科技公司自己也有行动。

目前，不少大型科技公司都发布了人工智能的应用原则，其中都有涉及偏见治理的部分。

2016年，微软、谷歌和Facebook等联合成立非营利人工智能合作组织Partnership on AI。2017年，微软设立人工智能与道德标准委员（AETHER）来落实AI伦理问题，称未来推出的每个人工智能产品都要经过道德伦理审查。

也有委员会、联合组织之外的措施。比如，谷歌推出Model Cards功能，对采用的算法进行解释，告知具体的优点和局限性。

对Face Detection算法的部分解释。图片来源：Model Cards主页公开信息

2020年，乔治·弗洛伊德之死在美掀起以“BLM（Black Lives Matter）”为口号的反种族歧视运动的同时，针对科技公司算法偏见中种族歧视的声讨也愈发激烈。根据《华尔街日报》报道，Facebook与Instagram都为此组建了相应的公平与包容团队，负责调查美国黑人、西班牙裔和其他少数族裔用户受公司算法的影响，并将其与对白人用户的影响进行对比。

同样在6月，IBM宣布不再向警方提供人脸识别技术，原因是“反对将技术用于种族歧视和大规模监视”，亚马逊和微软相继发表类似声明。长远来看，这是科技公司在技术和偏见之间需要做出衡量、承担社会责任的缩影。

还有一种意见是，为了克服可能的偏见，企业需要更多样化的AI人才。如若程序员、工程师的构成本身就不多样，甚至有性别、种族偏见，这些偏见也很容易被传递到其开发的算法中。

不过，科技公司的算法纠偏路也不是一帆风顺。大多时候，科技公司主动做出行动，是出于改善业务、维护企业形象、承担社会责任的考量，也是一种在公众、政府和其他组织监督下的“权衡选择”。若纠偏会严重损害企业利益，企业是否要做、怎么做，就未可知了。

归根结底，当我们在说算法偏见的时候，依然要考虑那个核心问题——算法背后是人，算法偏见背后是人的偏见。正如开头案例中的MIT研究员Joy所说，“人工智能是基于数据的，而数据是我们历史的反映。”在批评算法的过程中，科技公司或许不该被安放在绝对的对立面，至少，它们的举措也是纠正算法偏见、抵达公正的一部分。

回到真实社会，许多偏见仍然根深蒂固，但这并不意味着袖手旁观。在能力之内让数字世界朝向更公平、更能依靠的方向发展，对于社会、个体，以及有重要影响力的公司来说，都是责任。

参考链接：

1. 清华大学新闻与传播学院智媒研究中心：《算法治理与发展：以人为本，科技向善》
2. 张梦,陈昌凤.智媒研究综述：人工智能在新闻业中的应用及其伦理反思[J].全球传媒学刊,2021,8(01):63-92.
3. 腾讯研究院：算法偏见：看不见的“裁决者”
4. 清华大学新闻与传播学院智媒研究中心：《算法治理与发展：以人为本，科技向善》
5. 腾讯研究院：从性别歧视到招聘不公，如何让AI公平待人？| 算法偏见（下）
6. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G
7. https://engineering.linkedin.com/blog/2020/lift-addressing-bias-in-large-scale-ai-applications
8. https://www.theverge.com/2021/4/15/22385563/twitter-algorithms-machine-learning-bias
9. https://www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind/
10. https://www.wsj.com/articles/facebook-creates-teams-to-study-racial-bias-on-its-platforms-11595362939?mod=hp_lista_pos1
11. https://www.washingtonpost.com/opinions/2018/12/17/why-your-ai-might-be-racist/
12. https://venturebeat.com/2018/12/17/geoffrey-hinton-and-demis-hassabis-agi-is-nowhere-close-to-being-a-reality/
13. https://www.nytimes.com/2021/03/15/technology/artificial-intelligence-google-bias.html

作者：yuri ，公众号：全媒派（ID：quanmeipai）

本文由 @全媒派 原创发布于人人都是产品经理。未经许可，禁止转载

题图来自Unsplash，基于CC0协议