阅读：0
听报道
作者：曹培信
2019年8月3日北美中部时区上午约10点40分，在美国德克萨斯州埃尔帕索的一家沃尔玛商店里，一个携带WASR-10和半自动民用版AK-47的歹徒向人群扫射，导致22人死亡，至少24人受伤。
这是今年美国发生的最严重的枪击案。
枪支问题一直是美国乃至全球暴力袭击关注的重要问题。最近，YouTube上一位博主上传了一个可以配合监控摄像头使用的基于机器学习的枪支检测器视频，当有人手持枪支时，该检测器会迅速识别持枪这一动作。目前该视频在YouTube上播放量已经达到100w+。
视频链接：
https://www.youtube.com/watch?v=Lh0x54GC1sw&t=674s
由于手持手机的动作与持枪姿势非常相似，研究人员甚至成功训练该探测器区别手机与枪支，避免错误判断。
视频中博主也解释道，用视频检测枪支对于一些场景，比如校园枪击案非常有效。尽管“我们并不期望通过这一个办法就能解决校园枪击案，那需要更大的策略，但是枪支检测是一个开始。”
Youtube上扒下来一万张图喂给模型
这种特定类型的机器学习称为对象检测，使用深度学习边缘计算，视频流在本地进行处理，因此不需要互联网就能够实时找到对象。
因此这项技术可以加载到任何摄像头上。
模型通过从YouTube上扒下来的上万张含有人持枪的视频，通过检测像枪管，扳机，保险等枪的零部件以及你的手指靠近这些东西的姿势，来定位枪支，并标出置信度。
其实枪支检测有的公司也已经做过，一家名为Athena Security的公司采用Nvidia 2080 RTX和计算机视觉来检测Falzone所谓的“危险物体”——特别是枪支。人工智能系统从现成的安全摄像头，以每秒30帧的速度寻找“危险动作”，当检测到威胁时，通过应用程序向学校管理员或警察发送警告。
背后是视频内容的对象检测
无论是视频中识别枪支还是识别手机，或者其他任何有某种特征的事物，其背后的原理都是基于视频流的对象检测。
相对于静止图像的对象检测，视频中多了时序上下文关系（Temporal Context），时序上下文关系可以解决视频中连续帧之间的大量冗余的情况，提高检测速度；还可以提高检测质量，解决视频相对于图像存在的运动模糊、失焦、遮挡以及姿态改变等问题。
目前视频目标检测的发展有这么几个方向。
与光流结合的方法
SenseTime Research的执行研究总监戴继峰（音译）采用的就是这种方式。
DFF（Deep Feature Flow）首先将检测任务分为特征提取任务（ResNet101）和检测任务（R-FCN）两部分，通过区分关键帧、非关键帧的方式，在关键帧上使用提取特征得到特征图，在非关键帧上使用FlowNet网络估计光流，通过关键帧提取的特征做双线性warp的形式得到非关键帧的特征图。在两种方式得到的特征图后使用检测网络实现任务。
论文链接：
https://arxiv.org/pdf/1611.07715.pdf
与目标跟踪结合的方法
Christoph Feichtenhofer等人建立了一个ConvNet架构，用于同时检测和跟踪，使用多任务目标进行基于帧的对象检测和跨帧轨道回归，同时引入了关联特征来表示跨时间的对象共现，在跟踪过程中提高ConvNet的性能，而后基于跨帧轨迹进行帧级别的检测，以实现视频的高精度检测。
同时也实现了通过增加时间跨度，大大提高跟踪器速度。
与RNN结合的方法
肖凡义（音译）等人介绍了用于视频对象检测的时空记忆网络（Spatial-Temporal Memory Networks）。其核心是一种新型的STMM模块，它作为周期性的计算单元来模拟长期的时间外观和运动动态。
STMM的设计能够充分整合预先训练好的CNN主干权值，此外，为了解决视频中物体运动的问题，他们还提出了一种新颖的MatchTrans模块来实现逐帧对齐。
非端到端方法
这包括启康（音译）等人提出的T-CNN网络，他们提出了一个深度学习框架，该框架结合了从视频中获得的时间和上下文信息，大大提高了现有静止图像检测框架应用于视频时的基线性能。
检测到枪又有什么意义？
这位博主在视频中表示，当他向一家公司介绍这个这个产品时，这家公司问他能否透过衣服看到携带的枪，博主表示：No。
其实这也是枪支检测的痛点所在，当检测到歹徒手中的武器时，往往案件当场就会发生，于是这种检测在某种程度上来说没有太大意义，所以目前研制的安检设备一起更多是识别X光图像来检测不法分子偷偷携带的“危险物体”。
但是博主也提供了一个应用场景，就是在抓捕携枪疑犯时，可以迅速根据摄像头的影像实时确定疑犯的位置。
看完这位博主的视频后，文摘菌抱着好奇的心态打开了这位博主的主页，发现博主简直是一个宝藏男孩！这位名为Destin的博主在YouTube上拥有731万订阅者，在主页介绍中，Destin说：“我用科学探索世界。”
他通过各种各样的科学实验来尝试解决一些现实问题，比如：利用机器学习做一个安全电锯，都是非常接地气的机器学习尝试。
链接如下：
https://www.youtube.com/user/destinws2/videos
话题：
0
推荐
财新博客版权声明：财新博客所发布文章及图片之版权属博主本人及/或相关权利人所有，未经博主及/或相关权利人单独授权，任何网站、平面媒体不得予以转载。财新网对相关媒体的网站信息内容转载授权并不包括财新博客的文章及图片。博客文章均为作者个人观点，不代表财新网的立场和观点。
京公网安备 11010502034662号 