研究人员发现主要计算机视觉API的性别偏见的证据

谷歌、微软和IBM提供的计算机视觉api在对戴部分面罩的人的自画像进行测试时显示出性别偏见。数据显示这是营销传播机构Wunderman汤普森,科学家们发现受欢迎的计算机视觉等服务云愿景API和Azure认知服务经常计算机视觉识别错的面具戴在大流行期间“胶带”和“时尚饰品”的女性而不是“胡子”和“胡子”的男人。

Wunderman Thompson公司的数据科学主管Ilinca Barsan并没有在商业计算机视觉api中寻找偏见。她原本打算开发一种工具，让用户可以连接到全国各地的数千个街道摄像头，从而确定在任何给定时间佩戴口罩的行人比例。谷歌的Cloud Vision API应该能够支持该工具的掩码检测组件，为图像元素提供标签，以及与这些标签相关的置信分数。

当Barsan上传自己戴着口罩的照片以测试Cloud Vision API的准确性时，她注意到一个意外的标签(“胶带”)以96.57%的置信度浮出水面。(高置信度得分表示该模型认为该标签与图像高度相关。)戴上红宝石色的面罩后，对“胶带”的置信度为87%，并从该标签上掉下了“面膜”的标签(原为73.92%)。标签列表。蓝色的外科口罩再次产生“导管胶带”(置信度得分为66%)，并且第二次未能产生“口罩”标签。

Barsan将此视为Cloud Vision API底层计算机视觉模型内部偏见的标志。她认为，他们可能会在接受培训的数据集中借鉴女性的性别歧视形象，即可能是暴力受害者的女性。

这不是一个不合理的假设。早在2015年，一位软件工程师就指出Google相册中的图像识别算法将他的黑人朋友称为“大猩猩”。华盛顿大学的一项研究发现，在诸如“ CEO”之类的职业中，女性在Google Image搜索中所占的比例明显不足。最近，非营利组织AlgorithmWatch显示，Cloud Vision API自动将皮肤黝黑的人手持的温度计标记为“枪”，同时将皮肤黝黑的人手持的温度计标记为“电子设备”。

作为回应，谷歌表示，它调整了置信度得分，以更准确地反映出枪支在照片中的时间。该公司还取消了使用Cloud Vision API将图像中的人标记为“男人”或“女人”的功能，因为错误违反了Google不创建有偏见的系统的AI原则。

为了测试Cloud Vision API对戴着口罩的男性和戴着口罩的女性的外观分类是否有所不同，Barsan和团队从朋友和同事那里征集了口罩图像，他们将这些图像添加到了在网络上找到的照片数据集中。最终的语料库包括265个戴着口罩的男人的图像和265个戴着口罩的女人的图像(在不同的环境下)，从户外照片和带有DIY棉制面具的办公室快照到股票图像和显示N95防毒面具的iPhone自拍照。

根据Barsan的说法，在265名戴着口罩的男性图像中，Cloud Vision API正确地识别出36%包含个人防护设备(PPE)，似乎使人联想到覆盖人脸的东西很可能是面部毛发(27%图片中的标签带有“面部毛发”)。大约15%的图像被误分类为“导带”，平均置信度得分为92%，这表明这对于男人和女人来说都是一个问题。但是，在265位戴着口罩的女性图像中，Cloud Vision API误认为描绘胶带的28%，平均置信度得分为93%。它有19%的时间返回“ PPE”，而有8%的时间返回“面部毛发”。

巴桑说：““导带”几乎是男性的两倍，是[女性]贴口罩最常见的“错误猜测”。“该模型肯定引起了有根据的猜测。谁在问这个问题-它到底在哪里上学的?

Cloud AI产品策略总监Tracy Frey在提供给VentureBeat的一份声明中说，Google已直接与Wunderman联络，以了解有关团队研究，方法和发现的更多信息。“公平是我们的核心AI原则之一，我们致力于在这一领域取得进步。几年来，我们一直在努力进行精确检测物体的挑战，并将继续如此。” Frey说。“在去年，我们开发了工具和数据集来帮助识别和减少机器学习模型中的偏见，并且将它们作为更大社区的开源资源，以便他们的反馈可以帮助我们改善。”

Google不是唯一在计算机视觉模型上有明显偏见的供应商。在测试了Cloud Vision API之后，Barsan及其团队通过IBM的Watson Visual Recognition服务运行了相同的数据集，该服务针对蒙面女性图像的23%(男性图像的10%)返回标签“约束链”，并且“堵嘴”占23%(男性图片占10%)。此外，沃森正确地识别出12%的男性戴着口罩，而女性只有5%的时间正确。

女性“ gag”标签的平均置信度得分徘徊在79%左右，而男性为75%，这表明Watson Visual Recognition比Cloud Vision API分配这些标签更犹豫。IBM拒绝置评，但对数据集的编译方式提出了质疑，一位发言人表示，该公司正在进行测试，以寻找Barsan声称发现的偏见的证据。

在最后的实验中，Barsan及其同事测试了Microsoft的Azure认知服务计算机视觉API，该API两年前收到了更新，表面上提高了它识别不同肤色的性别的能力。该服务努力地正确标记图片中的口罩，仅正确标记了9%的男性图像和5%的女性图像作为具有口罩的标签。尽管它没有返回诸如“胶带”，“堵嘴”或“约束”之类的标签，但Azure Cognitive Services将口罩识别为“时尚配饰”，可用于40%的女性形象(而男性仅占13%) ，作为14%的女性形象的“口红”，以及12%的男性形象的胡须。

伦敦玛丽皇后大学(University of London)的AI研究人员迈克·库克(Mike Cook)对VentureBeat表示：“无论是在研究贡献还是诸如此类的事情上，这都是在重复一个观点。”“但这是一个有趣的观点……这使我对“好”数据集的神话思考了很多。老实说，我觉得有些事情只是希望没有围绕它们建立数据集而又不会无可救药地变得狭窄或带有偏见。从数据集中删除“男性”标签很好，但是在该数据集中是否有女性面部照片或口红男性照片?可能不是，因为数据集反映了某些规范和期望，这些规范和期望一直在老化并且变得越来越不相关。”

Barsan认为结果并不表示Google，IBM或Microsoft有恶意意图，但她说，这是不平衡数据集和机器学习模型中可能出现偏见的另一个例子。她说，它们有可能延续有害的定型观念，反映出一种文化，在这种文化中，对妇女的暴力行为经常被规范化和被利用。

“通过简单的图像搜索'男人的胶带'和'女人的胶带'，分别显示了男人的大部分(尽管不是唯一)在滑稽的恶作剧中用全身胶带拍摄的照片，而女性则主要是用嘴巴拍着，许多人显然处于困境中。”巴桑指出。当谈到面具时，“总体而言，所有三种计算机视觉模型在手头的任务上都表现不佳。但是，他们在识别被掩盖的男性方面总是比女性更好。”

在计算机视觉的背景下，这当然不足为奇，无数的研究表明它们容易产生偏差。科罗拉多大学博尔德分校的研究人员去年秋天进行的一项研究表明，来自亚马逊，克拉里菲，微软和其他公司的AI可以使顺式男女的准确率保持在95%以上，但将跨性别者误认为女性的准确率高达38%。Gender Shades项目和美国国家标准与技术研究院(NIST)对主要供应商系统进行的单独基准测试表明，面部识别技术表现出种族和性别偏见，面部识别程序可能会非常不准确，从而将96%的人分类错误时间。

“除了损害控制和创可贴解决方案，我们还必须努力工作，以确保我们构建的人工智能能够充分利用我们自身的自然智能，” Barsan说。“如果我们的机器能够准确地工作并负责任地反映社会，那么我们必须帮助他们了解我们所处的社会动态，阻止他们通过自动化来加剧现有的不平等现象，并让它们有益于工作……毕竟，我们“我们的路边摄像头分析仪很希望建议街上56%的人保持安全-不受束缚和束缚。”

巴森后来通过电子邮件澄清说，街头摄像头分析仪项目是一项“内部假设演习”，旨在向高风险人群提供有关去公共场所的安全性的反馈。出于对隐私隐含性的担忧，并且鉴于她最终进行的偏见研究，Barson决定不再进一步追求它。

中国联通：已累计开通5G基站33.2万站 到今年年底预计超过38万个

饿了么现已入驻1000所高校食堂 校园内平均20分钟送达

谷歌在西雅图附近规划新园区 在亚马逊和微软总部所在地扩大触角

我国国家顶级域名“.CN”数量超过2300万个 IPv6规模化部署提速

邬贺铨：截至8月我国IPv6活跃用户达3.65亿 占互联网用户之比达40.32%

苹果、谷歌、英特尔等公司已经加入行业组织美国“6G联盟”

微软今天正式终止Win7嵌入式系统支持 花钱可买三年补丁

OPPO将发布首款概念级应用OPPO CybeReal 针对AR领域