位置: IT常识 - 正文

视频实时行为检测——基于yolov5+deepsort+slowfast算法(实时视频功能)

编辑:rootadmin
视频实时行为检测——基于yolov5+deepsort+slowfast算法 文章目录前言一、核心功能设计二、核心实现步骤1.yolov5实现目标检测2.deepsort实现目标跟踪3.slowfast动作识别三、核心代码解析1.参数2.主函数3.将结果保存成视频总结前言

推荐整理分享视频实时行为检测——基于yolov5+deepsort+slowfast算法(实时视频功能),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:视频异常行为检测,视频异常行为检测,视频行为检测,视频事件监测,视频事件监测,视频实时检测,视频实时检测,视频实时检测,内容如对您有帮助,希望把文章链接给更多的朋友!

前段时间打算做一个目标行为检测的项目,翻阅了大量资料,也借鉴了不少项目,于是打算通过yolov5实现目标检测,deepsort实现目标跟踪以及slowfast实现动作识别,最终实现端到端的目标行为检测模型。

一、核心功能设计

总的来说,我们需要能够实现实时检测视频中的人物,并且能够识别目标的动作,所以我们拆解需求后,整理核心功能如下所示:

yolov5实现目标检测,确定目标坐标deepsort实现目标跟踪,持续标注目标坐标slowfast实现动作识别,并给出置信率用框持续框住目标,并将动作类别以及置信度显示在框上

最终效果如下所示:

视频AI行为检测

二、核心实现步骤1.yolov5实现目标检测

“YOLO”是一种运行速度很快的目标检测AI模型,YOLO将对象检测重新定义为一个回归问题。它将单个卷积神经网络(CNN)应用于整个图像,将图像分成网格,并预测每个网格的类概率和边界框。YOLO非常快,它比“R-CNN”快1000倍,比“Fast R-CNN”快100倍。YOLOv5是YOLO比较新的一个版本。 所以我们把视频分解成多幅图像,并利用yolov5算法进行目标检测并逐帧执行时,可以看到目标跟踪框随目标移动。

效果如下所示:

2.deepsort实现目标跟踪

但是,如果视频帧中有多个目标,如何知道一帧中的目标和上一帧是同一个对象?这就是目标跟踪的工作,应用多个检测来识别特定目标随时间的变化,实现目标跟踪。 Deepsort是实现目标跟踪的算法,从sort(simple online and realtime tracking)演变而来,其使用卡尔曼滤波器预测所检测对象的运动轨迹,匈牙利算法将它们与新的检测目标相匹配。Deepsort易于使用且运行速度快,成为AI目标检测跟踪之热门算法。

视频实时行为检测——基于yolov5+deepsort+slowfast算法(实时视频功能)

首先来看一下DeepSORT的核心流程: 预测(track)——>观测(detection+数据关联)——>更新

预测:预测下一帧的目标的bbox,即后文中的tracks观测:对当前帧进行目标检测,仅仅检测出目标并不能与上一帧的目标对应起来,所以还要进行数据关联更新:预测Bbox和检测Bbox都会有误差,所以进行更新,更新后的跟踪结果通常比单纯预测或者单纯检测的误差小很多。 3.slowfast动作识别

我们将视频序列和检测框信息输入行为分类模型,输出每个检测框的行为类别,达到行为检测的目的。 而行为分类模型我们采用的是slowfast算法,其包括一个Slow路径,以低帧速率操作,以捕捉空间语义,以及一个Fast路径,以高帧速率操作,以精细的时间分辨率捕捉运动。快速路径可以通过减少信道容量而变得非常轻量级,同时还可以学习有用的时间信息用于视频识别。

三、核心代码解析1.参数if __name__=="__main__": parser = argparse.ArgumentParser() parser.add_argument('--input', type=str, default="test/test1.mp4", help='test imgs folder or video or camera') parser.add_argument('--output', type=str, default="output/out1.mp4", help='folder to save result imgs, can not use input folder') # object detect config parser.add_argument('--imsize', type=int, default=640, help='inference size (pixels)') parser.add_argument('--conf', type=float, default=0.4, help='object confidence threshold') parser.add_argument('--iou', type=float, default=0.4, help='IOU threshold for NMS') parser.add_argument('--device', default=0, help='cuda device, i.e. 0 or 0,1,2,3 or cpu') parser.add_argument('--classes', default=0,nargs='+', type=int, help='filter by class: --class 0, or --class 0 2 3') config = parser.parse_args() print(config) main(config)

从__main__开始分析,设置了输入输出参数以及目标检测的一些参数,包括输入路径、输出路径、尺寸大小、置信度、iou值、以及目标检测的类别,其中0是人。

2.主函数

对输入的config参数解析并使用,模型使用yolov5l6,权重下载到本地

model = torch.hub.load('ultralytics/yolov5', 'yolov5l6') #加载yolov5模型 model.conf = config.conf model.iou = config.iou model.max_det = 200 model.classes = config.classes device = config.device imsize = config.imsize video_model = slowfast_r50_detection(True).eval().to(device) #加载slowfast_r50_detection模型 # video_model = slowfast_r50_detection(False).eval().to(device) # video_model.load_state_dict(torch.load("SLOWFAST_8x8_R50_DETECTION.pyth")['model_state'])

加载Slowfast、Deepsort模型,使用的Slowfast是在AVA2.2上训练的,通过AvaLabeledVideoFramePaths函数获得id到动作的mapping

deepsort_tracker = DeepSort("deep_sort/deep_sort/deep/checkpoint/ckpt.t7") #加载DeepSort模型 ava_labelnames,_ = AvaLabeledVideoFramePaths.read_label_map("selfutils/temp.pbtxt") #加载类别标签 ava_labelnames_abnormal,_ = AvaLabeledVideoFramePaths.read_label_map("selfutils/ava_action_abnormal.pbtxt") #加载类别标签 coco_color_map = [[random.randint(0, 255) for _ in range(3)] for _ in range(80)]

读取视频和载入视频

vide_save_path = config.output video=cv2.VideoCapture(config.input) #读取视频 width,height = int(video.get(3)),int(video.get(4)) video.release() #释放资源 outputvideo = cv2.VideoWriter(vide_save_path,cv2.VideoWriter_fourcc(*'mp4v'), 25, (width,height)) print("processing...") video = pytorchvideo.data.encoded_video.EncodedVideo.from_path(config.input) # 载入视频

首先对视频进行抽帧处理,通过get_clip()对一秒内的视频进行抽帧,只保留视频图片,将tensor转numpy数组,BGR格式

a=time.time() for i in range(0,math.ceil(video.duration),1): #截视频 video_clips=video.get_clip(i, i+1-0.04) video_clips=video_clips['video'] if video_clips is None: continue img_num=video_clips.shape[1] imgs=[] for j in range(img_num): imgs.append(tensor_to_numpy(video_clips[:,j,:,:])) # "video": A tensor of the clip's RGB frames with shape: (channel, time, height, width). # 将tensor转为numpy数组,BGR格式

通过yolov5网络进行目标检测

yolo_preds=model(imgs, size=imsize) # 每25帧后插入1帧作为预测图像 yolo_preds.files=[f"img_{i*25+k}.jpg" for k in range(img_num)] print(i,video_clips.shape,img_num)

使用预训练的Deepsort权重,以yolo预测结果作为输入,用Deepsort的结果代替yolo预测的结果,这里Deepsort是用来给相同id的目标分配动作label的。

deepsort_outputs=[] for j in range(len(yolo_preds.pred)): temp=deepsort_update(deepsort_tracker,yolo_preds.pred[j].cpu(),yolo_preds.xywh[j][:,0:4].cpu(),yolo_preds.imgs[j]) if len(temp)==0: temp=np.ones((0,8)) deepsort_outputs.append(temp.astype(np.float32)) yolo_preds.pred=deepsort_outputs

通过ava_inference_transform()函数对预测输入进行预处理,然后通过调用Slowfast模型进行预测,最后为每个id分配动作类别

id_to_ava_labels={} if yolo_preds.pred[img_num//2].shape[0]: inputs,inp_boxes,_=ava_inference_transform(video_clips,yolo_preds.pred[img_num//2][:,0:4],crop_size=imsize) inp_boxes = torch.cat([torch.zeros(inp_boxes.shape[0],1), inp_boxes], dim=1) if isinstance(inputs, list): #判断类型 inputs = [inp.unsqueeze(0).to(device) for inp in inputs] else: inputs = inputs.unsqueeze(0).to(device) with torch.no_grad(): slowfaster_preds = video_model(inputs, inp_boxes.to(device)) #预测动作 slowfaster_preds = slowfaster_preds.cpu() for tid,avalabel,avapred in zip(yolo_preds.pred[img_num//2][:,5].tolist(),np.argmax(slowfaster_preds,axis=1).tolist(),torch.max(slowfaster_preds,axis=1).values.tolist()): # if(avalabel in ava_labelnames_abnormal): # id_to_ava_labels[tid]=ava_labelnames[avalabel+1]+'_abnormal' id_to_ava_labels[tid]=[ava_labelnames[avalabel+1],avapred] # print(avalabel) # print(avalabel) # print(ava_labelnames[avalabel+1]) if((avalabel+1) in ava_labelnames_abnormal): isnormal=False else: isnormal=True save_yolopreds_tovideo(yolo_preds,id_to_ava_labels,coco_color_map,outputvideo,isnormal) print("total cost: {:.3f}s, video clips length: {}s".format(time.time()-a,video.duration)) outputvideo.release() print('saved video to:', vide_save_path)3.将结果保存成视频def save_yolopreds_tovideo(yolo_preds,id_to_ava_labels,color_map,output_video,isnormal): for i, (im, pred) in enumerate(zip(yolo_preds.imgs, yolo_preds.pred)): im=cv2.cvtColor(im,cv2.COLOR_BGR2RGB) if pred.shape[0]: for j, (*box, cls, trackid, vx, vy) in enumerate(pred): if int(cls) != 0: ava_label = '' ava_pred=0.0 elif trackid in id_to_ava_labels.keys(): ava_label = id_to_ava_labels[trackid][0].split(' ')[0] ava_pred=id_to_ava_labels[trackid][1] else: ava_label = 'Unknow' ava_pred=0.0 if(isnormal): text = '{:.4f} {} {}'.format(ava_pred,yolo_preds.names[int(cls)],ava_label) color = [40,113,62] else: text = '{:.4f} {} {} {}'.format(ava_pred,yolo_preds.names[int(cls)],ava_label,'abnormal') color = [43,44,124] # print(cls) im = plot_one_box(box,im,color,text) output_video.write(im.astype(np.uint8))总结

基于yolov5+deepsort+slowfast算法的视频实时行为检测就介绍到这里了!!! 如果该文章对您有所帮助,麻烦点赞,关注,收藏三连支持下! 创作不易,白嫖不好,各位的支持和认可,是我创作的最大动力! 如果本篇博客有任何错误,请批评指教,不胜感激 !!!

参考 Yolov5+SlowFast: 基于PytorchVideo的实时行为检测算法 YOLOv5算法详解 pytorch yolo5+Deepsort实现目标检测和跟踪 Yolov5+Deepsort+Slowfast实现实时动作检测

本文链接地址:https://www.jiuchutong.com/zhishi/297573.html 转载请保留说明!

上一篇:airpods怎么注销 airpods解除绑定教程(airpods怎么注销主人)

下一篇:网站都变成灰色了,它是怎么实现的?(网站变成灰色什么时候恢复)

  • 企业所得税年报补报
  • 利润表中的所得税
  • 以前年度损益调整在借方是什么意思
  • 抵扣旅客运输增值税报表怎么填
  • 附加税减半征收政策从什么时候开始
  • 事务所和公司的专利工程师
  • 利润表中的其他业务利润包括哪些
  • 核定征收的小规模企业所得税B表收入总额含税吗
  • 异地劳务分包要外经证吗
  • 小规模纳税人能开9个点的发票吗
  • 查补以前年度所得税如何填写申报表
  • 总公司给分公司开发票
  • 应缴纳的所得税税额
  • 报关单出口退税联模板
  • 发票校验码后六位图解
  • 预付款税率是多少
  • 销售类小规模没有成本票怎么办
  • 收取施工队管理费
  • 一般纳税人何种情况不需要交附加税
  • 没有收入能结转损益吗
  • 收上级补助款专用如何做账?
  • 公司对外租赁
  • 发生股权转让时怎么处理
  • win10没有音效设置
  • 合同资产的减值的计量
  • 咨询服务费怎么报印花税
  • 单位中秋节福利发放物品
  • 多台电脑共享打印机怎么设置
  • php模拟get请求
  • php字符
  • 一次摊销法计算公式
  • 交易性金融资产公允价值变动计入
  • 发行股票溢价计入
  • 润滑脂开票属于成品油吗
  • 工伤死亡 赔偿
  • 国内旅客运输服务发票
  • 职工福利费的范围有哪些
  • 以前年度的成本忘了结转然后怎么办
  • 固定资产转为投资性房地产公允价值
  • 税务新法规
  • 金蝶暂存凭证怎样转正常凭证
  • 小规模纳税人差额征收税率是多少
  • 预计资产负债表和预计利润表构成了整个财务预算
  • sql server 2008使用教程
  • SQL Server 2005 模板参数使用说明
  • mysql忘了密码
  • 个体工商户怎么年报
  • 固定资产盘盈为何要交所得税
  • 安全生产费实际发生
  • 哪些合同不需要缴纳印花税的通知
  • 公司没有销售收入
  • 采用分期付款方式的会计分录
  • 有进项税额转出,怎么计提附加税
  • 上个月进项发票在哪查询
  • 承兑汇票兑现账户是什么
  • 非贸付汇如何缴税
  • 低值易耗品与固废的区别
  • 业务提成怎么做账内账
  • select * from sp_who的解决方案
  • win7重装系统之后怎么还原系统
  • win8系统切换桌面
  • 怎么修改win10登录名
  • .exe是什么软件
  • 微软补丁发布时间
  • cocos2d
  • sublime text配置node.js调试(图文教程)
  • Theme.AppCompat.Light的问题
  • 批处理常用命令总结
  • 编程python怎么学
  • pygame如何加载图片
  • node.js中express-session配置项详解
  • jquery fadein不起作用
  • 安卓仿平板
  • 原生js常用的方法
  • jquery22插件网
  • 装修时候需要交什么费
  • 车辆购置税查询不到
  • 骗取国家出口退税罪
  • 甘肃是什么时候属于中国的
  • 中国税务总局贵州省税务局
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设