与IBM、微软的同类技术相比,亚马逊的人脸分析软件分辨某些人种性别的正确率较低。这是麻省理工学院(MIT)研究人员在近日发表的一项新研究中得出的结论,该研究发现,在特定情况下,Rekognition(亚马逊图像识别技术)无法可靠地辨别女性和深肤色人群。
该项研究的合著者称,在2018年进行的实验中,Rekognition错误地将19%的女性图像识别为男性,将31%的深肤色女性图像识别为男性。相比之下,微软在识别深色皮肤人群性别时,将女性错认为男性的比例只有1.5%。
亚马逊对这项研究提出质疑。它表示,Rekognition升级版的内测结果显示,该技术对于识别性别的正确率不存在人种差异。此外,亚马逊认为这篇论文没有清楚地说明在实验中使用的置信度阈值,即Rekognition的判断被认为是正确而必须达到的最低精确度。
在给外媒的一份声明中,亚马逊云服务平台深度学习和人工智能总经理马特·伍德博士(Matt Wood)对面部分析和面部识别这两个概念进行了区分:面部分析指的是在视频或图像中辨认出脸部,并确定其一般属性;而面部识别是将单个人脸与其它视像中的人脸相匹配。他说,根据“面部分析”的结果来判断“面部识别”的准确性是“不可行的”,而且他认为这篇论文所谈论的和“客户如何使用Rekognition”是两回事。
伍德博士说:“使用最新版本的Rekognition,从议会网站和Megaface人脸数据库下载百万张图像数据,我们发现,置信度阈值设置为0.99时,误报数为零。我们通过录入和反馈来不断改进这项技术,且支持创建第三方评估、数据集、衡量基准。”
这是亚马逊第二次被质疑Rekognition存在偏见。
上一次在今年夏天,美国公民自由联盟(American Civil Liberties Union)对Rekognition进行了一项测试(亚马逊质疑该测试的准确性):把25000张罪犯面部照片和国会议员的官方照片进行比较。结果Rekognition将28名议员误判成罪犯,其中有色人种的错判率占到38%。
无独有偶。
2012年的一项研究显示,Coigntec(德国从事生物特征识别技术的公司)的人脸识别程序在识别非裔美国人和白种人时存在差距,前者比后者的错判率高出5%到10%。2011年的一项研究显示,中日韩开发的人脸识别模型难以区分白种人和东亚人。今年2月,麻省理工媒体实验室进行的研究表明,微软、IBM和北京旷视科技(Megvii)通过人脸识别性别的错误率如下:7%的浅色皮肤女性和12%的深色皮肤男性被认错,而深色皮肤女性的错判率甚至高达35%。
弗吉尼亚大学(University of Virginia)进行的另一项研究显示,ImSitu和COCO(两个知名的图像数据集)在描述体育、烹饪和其它活动时表现出性别偏见(其中COCO由Facebook、微软和初创公司MightyAI共同赞助)。例如,购物图片倾向于与女性相关联,而教练图片则与男性相关联。
也许最糟糕的一个例子是:2015年一位软件工程师报告称,谷歌照片的图像分类算法将非裔美国人识别成“大猩猩”。
但是人脸识别技术的某些进展也是令人鼓舞的。
今年6月,微软与人工智能公平方面的专家合作,修订并扩展了用于培训Face API的数据集,Face API是微软的一套算法程序,用于检测、识别和分析图像中的人脸。随着新数据包含肤色、性别和年龄等信息,算法程序对深肤色的男性和女性的错判率分别降低了20倍和9倍。
亚马逊表示它一直在努力提高Rekognition识别的准确性,最近一次重要技术升级在去年11月进行。
伍德博士补充说:“我们为这一领域的学术研究提供了资金,也对自己的团队进行了大量投资,而且努力还将继续。我们致力于改善面部识别、面部分析,强调解释结果时有很高的可信度,也会重点关注人工审查的作用、标准化测试等方面。我们感谢为改善这些技术做出贡献的客户和学者。"
下周在夏威夷檀香山(Honolulu)将举行“人工智能、伦理和社会促进会议”,而麻省理工学院的研究结果将在会上公布。
相关阅读