欢迎光临
我们一直在努力
您的位置:首页>人工智能 >

信任人工智能解读警察身体凸轮视频的麻烦

2014年7月17日,一群纽约市警察在史坦顿岛人行道上与43岁的埃里克加纳接触,企图逮捕他 - 因为他涉嫌非法卖香烟。当加纳拉开自由时,一名军官用手臂环住加纳的脖子,将他逼到地上,并将脸压入人行道。患有哮喘和心脏病的加纳在昏倒前反复恳求“我无法呼吸”。他昏迷不醒,被送往医院,一小时后他被宣布死亡。后来,体检医师将加纳的死定为凶杀案。

这部悲剧引起了国家的注意,这要归功于一部手机视频,该视频以令人震惊的细节揭示了加纳在警察手中遭受的过度使用武力。加纳的杀戮以及警方杀害其他手无寸铁的黑人公民,引发了整个美国的抗议活动。

从那时起,美国和其他地方具有改革意识的政治家们一直支持使用警用摄像机,将它们视为让警察对其行为负责的工具。警察自己经常热衷于佩戴身体摄像头,当有虚假指控时,他们有时可以用来清除他们的怀疑。

警察身体凸轮的领先制造商是Axon Enterprise,大多数人仍然知道它的旧名称Taser International及其标志性产品Taser电击枪。在2015年,感知不断增长的市场,泰瑟创建了一个部门,将其Axon车身摄像机出售给警方,去年,它在Axon旗下重新命名整个公司,以表明其新的重点是收集和管理警察记录和证据,尤其是身体摄像机视频。

Axon现在为任何感兴趣的警察部门提供免费的人体摄像头,并免费为其一年的Evidence.com数据存储服务订阅。当然,该公司的希望是,这种激励措施将使其成为一条健康的收入来源。

虽然公司从眩晕枪转向身体凸轮视频无疑会引起投资者兴趣,但引起我们注意的并不是新的商业模式。我们两个是技术专家 - 格林研究了马里兰大学信息研究学院教授的技术对社会的影响,帕特森是纽约市创业公司Trash的计算机视觉专家和首席科学家。我们一直在遵循Axon所说的构建人工智能(AI)系统的愿望,以处理,标记和解释预期的身体凸轮视频,我们对该策略的合理性和智慧有着严重的疑虑。

Axon 声称它将使用其现有的大量摄像机数据来训练其人工智能系统 - 目前这些数据目前有30万名视频,由200,000名警官收集。然后,系统将能够编辑视频以保护人们的隐私,以书面形式解释和描述记录的事件,并最终帮助从这些描述生成警察报告。这种自动化工具将使警察能够执行更有价值的任务,并且他们将创建一个可搜索的警察与公众互动的数据库。Axon还提交了实时人脸识别专利,其中一些竞争对手也在积极开发警用摄像头。

大约两年前,Axon创始人兼首席执行官Rick Smith在投资者财报电话会议上预测该公司将在2018年推出其AI辅助视频系统,但到目前为止,Axon的Evidence.com产品的功能更为平凡。它可以自动模糊或遮挡面部或以其他方式编辑个人身份信息(在有人标记谁或什么将被掩盖之后)并用警察调度系统中记录的信息标记视频和其他证据,例如案件编号,位置,和遭遇的类型。这远远不及Axon的销售宣传中所描述的内容。例如,在6月举行的2018年Axon Accelerate会议上,史密斯说:“有一天,我们将能够让人工智能在[车身摄像机]视频和车载视频上工作,创建一个官员可以报告的初稿。进入并编辑。“

通过自动分类谁在做什么,在哪里,以及谁与身体摄像机镜头一起消除繁琐的文书工作当然是一个有吸引力的想法。但我们和其他外部观察家一样,警告潜伏着危险。Axon建议部署的许多AI功能还不够成熟。即使它们存在,也无法判断该技术是否没有偏见和其他令人担忧的问题,因为该公司的软件是专有的,无法进行独立审核。

由于这些原因,机器学习在警察身体摄像机视频分类中的应用已成为关于是否应将专有软件纳入刑事司法系统的更广泛辩论中的一个主要突发点。在这里,我们将阐述我们的关注点,并提供有关如何管理技术的建议,无论喜欢与否,这些技术即将出现。

Axon视频管理系统的至少一项功能既可行又可能非常有用 - 模糊了人体摄像机中人物的面部,因此如果该视频是公开的,则无法识别它们。Axon人工智能和机器学习总监Mojtaba Solgi表示,他和他的同事们正在研究这些视频中录制的声音的自动转录。我们对自动执行这种平凡且通常简单的任务的一般愿望没有任何问题。

但是,通过机器审查并对这些镜头中描述的内容进行分类是一项更加困难的任务。当然,简单的图像很容易分类。如今,计算机没有问题将狗与飞机或树木区分开来。但即便是最好的人工智能也无法分析复杂的图像或场景,而是人们为工作带来的复杂性和细微差别。虽然近年来研究人员取得了巨大进步,但最先进的人工智能系统在解释复杂图像或视频片段中发生的事情时仍然相对原始。

加州大学伯克利分校的Jitendra Malik和另外11位机器学习专家最近公布了一项研究结果,该研究使用一种新的,精心注释的视频数据集来测试尖端深度学习系统的性能。深度学习涉及人工神经网络的应用 - 计算机程序的构建方式与人类大脑中的神经元网络粗略相似。

Malik和他的同事想要训练一个网络,以确定哪些动作最有可能发生在视频录像中,并且这样做他们结合了两个流行的神经网络的特征:I3D [PDF],广泛使用的初始网络的后代,和更快 - RCNN。他们的网络必须分类的行动很简单:站立,坐着,走路,跳跃,吃饭,睡觉,阅读,说话,吸烟,骑自行车或携带物品,仅举几例它所考虑的80项活动。没有尝试解释更复杂的行为(例如,入店行窃或应用扼流圈)。视频片段来自电影和电视节目,所以他们可能会清楚地显示动作,具有良好的照明和适当的摄像机角度。

即便如此,在新数据集上测试的深度学习系统经常步履蹒跚 - 例如,人们在吸烟时,实际上只是将手机放在耳边。“模型经常难以区分细粒度的细节,”作者如何描述这种基本的失败。通过这一措施,一个人是否正在寻找钱包或枪支也将被视为“细粒度的细节”,这是当今最先进的视频分析AI很容易被误解的。

根据我们的估计,即使是Axon对其系统的更为温和的建议也难以实现从实验室到实际警务的跨越。例如,Axon表示,一旦视频中的某个人被标记,其系统就可以在主体移动通过视频的多个帧时保持该标签。

最先进的计算机视觉系统能够以这种方式跟踪数字,但研究文献中描述的成功跟踪的例子依赖于人们在相对无菌环境中移动的高质量视频镜头。目前还没有人使用通过移动具有不稳定视野的相机而在光线不足的情况下拍摄的视频来演示此类跟踪。

自动视频解释在任何领域都是一个棘手的问题。但在警务方面,需求是巨大的,人工智能系统往往会产生各种各样的错误,可能产生可怕的后果。更重要的是,这些错误可能经常发生并且难以检测。

例如,当自动图像分类系统从混乱,不完整或有偏见的数据中学习其功能时,可能会出现问题。2015年,黑人程序员JackyAlciné揭露了这种危险的一个着名例子。Alciné发现谷歌的照片应用程序使用机器学习对内容进行分类,将他和黑人朋友的照片标记为“大猩猩”。

AI专家可以通过警惕地寻找它们并迭代地改进它们的系统来解决这些问题。这就是加州理工学院和加州大学圣地亚哥分校的AI研究人员在构建Merlin Bird ID应用程序时所做的事情。他们收集了大量的鸟类图像,然后将物种的标签进行了众包。利用这些结果,他们训练了他们的第一个物种分类AI。但是分类器的表现实在太糟糕了。

然后计算机科学家联系了一些真正的鸟类专家 - 来自康奈尔鸟类学实验室 - 来弄清楚发生了什么。鸟类学家直截了当地意识到,由于众包工人有限的鸟类学知识,训练数据集中的许多鸟类被错误分类。

经过艰苦的努力来解决训练集中的许多错误,为人群工作者编写新的和改进的指令,并多次重复整个过程,Merlin的设计人员终于能够发布一个运行良好的应用程序。他们继续通过利用用户数据和跟踪鸟类学专家的更正来改进他们的人工智能系统。

去年被Axon收购的纽约市计算机视觉创业公司Dextro描述了一种与其视频识别系统一样的方法。该公司通过不断识别误报和漏报,重新调整其神经网络模型以及评估系统如何响应变化来调试其AI创建。我们希望这些研究人员继续这种做法,作为Axon的一部分。但自从Dextro的收购以来,Axon的AI小组几乎没有公布它应用于警察身体摄像头视频的技术。

今年9月,在慕尼黑举行的欧洲计算机视觉会议上,来自Axon的人工智能专家确实描述了他们的技术在一个开放的视频理解竞赛中的表现,该竞赛排名很高。不过,该比赛对YouTube视频进行了分析,因此这些结果与警察身体视频的相关性仍不清楚。与中国计算机视觉创业公司Megvii相比,Axon在人工智能方面的分享要少得多,后者经常将其图像分析系统提交给公共竞赛,并且经常获胜。

人工智能开发人员通过使用某些完善的标准评估其性能,经常确定他们的系统在何处以及如何分解。这就是人工智能研究,尤其是计算机视觉领域的研究,在很大程度上依赖于领域专家(正如Merlin应用程序所发生的那样)。一组共同的基准和一系列公开竞赛和研讨会,任何有兴趣的人都可以参与,这也营造了一个人工智能系统问题很容易出现的环境。

但正如加利福尼亚大学戴维斯分校的法律学者伊丽莎白•乔(Elizabeth Joh)所说,当私人监控技术公司对其软件主张商业秘密特权时,这一过程就会被短路。显然,警察部门必须从私营部门采购设备和服务。但是,Axon正在开发的那种AI与复印纸或清洁服务甚至是普通的计算机软件根本不同。该技术本身有可能改变警察的判断和行动。

想象一下,发明一个假设的例子,一个视频解释AI将戴着罩袍的女性分类为戴口罩的人。在这种分类的推动下,警察可能会在不知不觉中开始更加怀疑地对待这些女性 - 甚至可能会激怒那些女性不那么合作。而这种由身体凸轮记录下来的变化可能会影响到Axon用于开发未来AI工具的训练集,巩固了最初只是从虚假的软件产生的偏见。

如果没有循环中的独立专家来仔细检查这些自动解释,这个循环系统会迅速退化为产生偏差或不可靠结果的AI。

现在判断这是否会发生在Axon的视频管理系统上还??为时尚早。但ProPublica 在2016年发现了这样的问题,在刑事司法系统中部署了另一种分类工具 - 惩教罪犯管理人员对替代制裁的分析,或COMPAS。法官使用这种审前风险评估算法来决定被捕者是否有资格获得缓刑或其他替代监禁。

ProPublica记录了COMPAS为佛罗里达州布劳沃德县的被捕者制作的7,000多个风险评分,并将这些预测与随后两年的逮捕记录进行了比较。它发现了一种种族偏见的错误预测模式,即使在控制了犯罪历史和所犯罪行的类型之后,它仍然存在。销售COMPAS的公司NorthPointe 对ProPublica的分析提出异议,但尚未发布有关其软件的技术细节供所有人检查和审查。一名名叫Eric Loomis的威斯康星州人在法庭上对COMPAS的黑匣子计算提出质疑,声称其在判处他六年监禁时的使用侵犯了他的正当程序权利。但是州立最高法院支持他和NorthPointe,基于其精确操作是商业秘密,阻止对COMPAS的审查。

统计学家Kristen Lum和政治学家William Isaac发现了一个名为PredPol的预测 - 警务系统的类似问题。他们表明,由于偏见的训练数据,该系统产生的结果通常会对黑人产生偏见。

鉴于我们对机器学习对偏差训练数据的脆弱性以及实验室中尖端工具的性能的了解,我们怀疑Axon在未来几年内开发的任何自动视频分类服务都将存在严重缺陷。但外部分析师可能无法确定,因为该软件是专有的。

不过,警方报告是公共记录,因此您可能会想到Axon的自动记录管理系统中的任何明显错误都会很快曝光。但这可能不会发生。数据保护法的拼凑意味着谁没有明确的国家标准,谁可以访问人体摄像机镜头,何时或如何 - 记者的新闻自由委员会称身体摄像机镜头“ 野外西开放记录请求。“在这些情况下,一个技术问题,即使影响多个警察部门的问题,也很难被发现。

在正常的工作过程中,警察自己不会注意到Axon AI的任何问题吗?也许。然后,他们可能遭受“ 自动化偏见 ”,这是人们因为机器的客观性而接受计算机对自己的判断的倾向。

因此,即使Axon的人工智能可以自动描述身体凸轮视频中记录的活动并从中生成警察报告 - 我们认为目前还不可能 - 公平,问责和透明度问题仍然存在。

这并不是第一次新技术以有效性和安全性的名义出现,需要在整个开发过程中,甚至在它们进入市场后进行独立测试和监控。存在处理这些情况的先例。

美国食品和药物管理局可能是一种模式。FDA成立于20世纪初,以应对有毒或错误标记的食品和药品。该机构的部分任务是通过出售相当于蛇油的方法来阻止制药公司获利。同样,销售影响人们健康,安全和自由的产品和服务的AI供应商可能需要与新的监管机构共享其代码。然后,该机构的专家可以根据已建立的基准测试新的人工智能系统,如律师Matthew Scherer 关于人工智能开发法案的提议[PDF]。这一要求可能会在短期内降低公司的盈利能力,但这有助于确保公众受到保护并帮助这些新技术合法化。它可能会通过制度化协作测试和改进来提高这些系统的性能,这种协作测试和改进为最近的AI复兴提供了动力。

不过,州和地方政府不必等待一些新的联邦监管制度,这种制度不太可能很快出现。西雅图已经提供了其最近的监控技术采购立法的蓝图,该立法要求市政部门在采购新的监控软件之前进行社区外展并寻求市议会的批准。一些地方政府可能会采纳黑人生活运动的立场,该运动旨在完全将警察监视技术的使用作为广泛政策平台的一部分。其他社区,人们看到了人体摄像头的好处,可能会颁布法律,要求对警务中使用的任何AI系统进行独立的质量保证测试。

值得赞扬的是, Axon已经组建了AI和警务技术道德委员会,以解决其中一些棘手的问题。董事会成员包括OpenAI计划的 Miles Brundage,人工智能社会影响专家,以及佛罗里达州莱昂县治安官沃尔特麦克尼尔,他是社区警务专家。华盛顿大学的计算机视觉研究员Ali Farhadi和电子前线基金会机器人专家Jeremy Gillula也在董事会上。

四位董事会成员与我们分享了他们的见解,布伦戴奇恰当地注意到“鉴于执法机构的IT专业知识往往有限,Axon所做或不可用会对所发生的事情产生影响,因此我们需要思考可以从Axon的立场强加什么保障措施。“我们同意。然而,根据回应我们的董事会成员的说法,Axon的道德委员会只召开过一次讨论基本规则,对公司的研发工作没有特别的了解。

今年4月,42个民权和技术组织 - 如NAACP和AI Now Institute--签署了一封公开信,敦促Axon的AI道德委员会让公司对其所有产品进行严格的道德审查,并避免部署什么这些组织被认为是危险和未经检验的技术。其中最主要的是实时面部识别。该公司声称目前尚未开发其人体摄像头的面部识别技术,但“华尔街日报”报道称,事实上,Axon一直在寻求这种技术。

像Megvii这样的其他公司正在构建这种能力,并使中国和其他亚洲国家的警察部门能够为警察身体凸轮增加实时面部识别能力。而摩托罗拉解决方案公司希望尽快把这种能力到美国。

西方是否拥有警察身体相机的实时面部识别功能还有待观察。我们认为,该决定应成为公开辩论的主题。但是,如果技术的能力和陷阱不为外人所熟知,那么就没有合理的讨论。

无论该领域是面孔还是鸟类,人工智能目前都受益于开放文化,这促进了领域专家,计算机科学家和用户之间的交流。我们提出的监管要求将有助于确保刑事司法系统使用的人工智能同样可以接受审查,从而可以证明它是可靠的,没有偏见。这些规则可能会给商业化过程带来一些摩擦。但这是正当程序和固体工程的本质。

免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。
在线看片网站