位置: IT常识 - 正文

KITTI数据集可视化(一):点云多种视图的可视化实现

编辑:rootadmin
KITTI数据集可视化(一):点云多种视图的可视化实现

推荐整理分享KITTI数据集可视化(一):点云多种视图的可视化实现,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

如有错误,恳请指出。

在本地上,可以安装一些软件,比如:Meshlab,CloudCompare等3D查看工具来对点云进行可视化。而这篇博客是将介绍一些代码工具将KITTI数据集进行可视化操作,包括点云鸟瞰图,FOV图,以及标注信息在图像+点云上的显示。

文章目录1. 数据集准备2. 环境准备3. KITTI数据集可视化4. 点云可视化5. 鸟瞰图可视化1. 数据集准备

KITTI数据集作为自动驾驶领域的经典数据集之一,比较适合我这样的新手入门。以下资料是为了实现对KITTI数据集的可视化操作。首先在官网下载对应的数据:http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=3d,下载后数据的目录文件结构如下所示:

├── dataset│ ├── KITTI│ │ ├── object│ │ │ ├──KITTI│ │ │ ├──ImageSets│ │ │ ├──training│ │ │ ├──calib & velodyne & label_2 & image_22. 环境准备

这里使用了一个kitti数据集可视化的开源代码:https://github.com/kuixu/kitti_object_vis,按照以下操作新建一个虚拟环境,并安装所需的工具包。其中千万不要安装python3.7以上的版本,因为vtk不支持。

# 新建python=3.7的虚拟环境conda create -n kitti_vis python=3.7 # vtk does not support python 3.8conda activate kitti_vis# 安装opencv, pillow, scipy, matplotlib工具包pip install opencv-python pillow scipy matplotlib# 安装3D可视化工具包(以下指令会自动安转所需的vtk与pyqt5)conda install mayavi -c conda-forge# 测试python kitti_object.py --show_lidar_with_depth --img_fov --const_box --vis3. KITTI数据集可视化

下面依次展示 KITTI 数据集可视化结果,这里通过设置 data_idx=10 来展示编号为000010的数据,代码中dataset需要修改为数据集实际路径。(最后会贴上完整代码)

def visualization(): import mayavi.mlab as mlab dataset = kitti_object(os.path.join(ROOT_DIR, '../dataset/KITTI/object')) # determine data_idx data_idx = 100 # Load data from dataset objects = dataset.get_label_objects(data_idx) print("There are %d objects.", len(objects)) img = dataset.get_image(data_idx) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img_height, img_width, img_channel = img.shape pc_velo = dataset.get_lidar(data_idx)[:,0:3] calib = dataset.get_calibration(data_idx)

代码来源于参考资料,在后面会贴上我自己修改的测试代码。以下包含9种可视化的操作:

1. 图像显示def show_image(self): Image.fromarray(self.img).show() cv2.waitKey(0)

结果展示:

2. 图片上绘制2D bbox def show_image_with_2d_boxes(self): show_image_with_boxes(self.img, self.objects, self.calib, show3d=False) cv2.waitKey(0)

结果展示:

3. 图片上绘制3D bbox def show_image_with_3d_boxes(self): show_image_with_boxes(self.img, self.objects, self.calib, show3d=True) cv2.waitKey(0)

结果展示:

4. 图片上绘制Lidar投影 def show_image_with_lidar(self): show_lidar_on_image(self.pc_velo, self.img, self.calib, self.img_width, self.img_height) mlab.show()

结果展示:

5. Lidar绘制3D bbox def show_lidar_with_3d_boxes(self): show_lidar_with_boxes(self.pc_velo, self.objects, self.calib, True, self.img_width, self.img_height) mlab.show()

结果展示:

6. Lidar绘制FOV图 def show_lidar_with_fov(self): imgfov_pc_velo, pts_2d, fov_inds = get_lidar_in_image_fov(self.pc_velo, self.calib, 0, 0, self.img_width, self.img_height, True) draw_lidar(imgfov_pc_velo) mlab.show()

结果展示:

KITTI数据集可视化(一):点云多种视图的可视化实现

7. Lidar绘制3D图 def show_lidar_with_3dview(self): draw_lidar(self.pc_velo) mlab.show()

结果展示:

8. Lidar绘制BEV图

BEV图的显示与其他视图不一样,这里的代码需要有点改动,因为这里需要lidar点云的其他维度信息,所以输入不仅仅是xyz三个维度。改动代码:

# 初始pc_velo = dataset.get_lidar(data_idx)[:, 0:3]# 改为(要增加其他维度才可以查看BEV视图)pc_velo = dataset.get_lidar(data_idx)[:, 0:4]

测试代码:

def show_lidar_with_bev(self): from kitti_util import draw_top_image, lidar_to_top top_view = lidar_to_top(self.pc_velo) top_image = draw_top_image(top_view) cv2.imshow("top_image", top_image) cv2.waitKey(0)

结果展示:

9. Lidar绘制BEV图+2D bbox

同样,这里的代码改动与3.8节一样,需要点云的其他维度信息

def show_lidar_with_bev_2d_bbox(self): show_lidar_topview_with_boxes(self.pc_velo, self.objects, self.calib) mlab.show()

结果展示:

完整测试代码

参考代码:

import mayavi.mlab as mlabfrom kitti_object import kitti_object, show_image_with_boxes, show_lidar_on_image, \ show_lidar_with_boxes, show_lidar_topview_with_boxes, get_lidar_in_image_fov, \ show_lidar_with_depthfrom viz_util import draw_lidarimport cv2from PIL import Imageimport timeclass visualization: # data_idx: determine data_idx def __init__(self, root_dir=r'E:\Study\Machine Learning\Dataset3d\kitti', data_idx=100): dataset = kitti_object(root_dir=root_dir) # Load data from dataset objects = dataset.get_label_objects(data_idx) print("There are {} objects.".format(len(objects))) img = dataset.get_image(data_idx) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img_height, img_width, img_channel = img.shape pc_velo = dataset.get_lidar(data_idx)[:, 0:3] # 显示bev视图需要改动为[:, 0:4] calib = dataset.get_calibration(data_idx) # init the params self.objects = objects self.img = img self.img_height = img_height self.img_width = img_width self.img_channel = img_channel self.pc_velo = pc_velo self.calib = calib # 1. 图像显示 def show_image(self): Image.fromarray(self.img).show() cv2.waitKey(0) # 2. 图片上绘制2D bbox def show_image_with_2d_boxes(self): show_image_with_boxes(self.img, self.objects, self.calib, show3d=False) cv2.waitKey(0) # 3. 图片上绘制3D bbox def show_image_with_3d_boxes(self): show_image_with_boxes(self.img, self.objects, self.calib, show3d=True) cv2.waitKey(0) # 4. 图片上绘制Lidar投影 def show_image_with_lidar(self): show_lidar_on_image(self.pc_velo, self.img, self.calib, self.img_width, self.img_height) mlab.show() # 5. Lidar绘制3D bbox def show_lidar_with_3d_boxes(self): show_lidar_with_boxes(self.pc_velo, self.objects, self.calib, True, self.img_width, self.img_height) mlab.show() # 6. Lidar绘制FOV图 def show_lidar_with_fov(self): imgfov_pc_velo, pts_2d, fov_inds = get_lidar_in_image_fov(self.pc_velo, self.calib, 0, 0, self.img_width, self.img_height, True) draw_lidar(imgfov_pc_velo) mlab.show() # 7. Lidar绘制3D图 def show_lidar_with_3dview(self): draw_lidar(self.pc_velo) mlab.show() # 8. Lidar绘制BEV图 def show_lidar_with_bev(self): from kitti_util import draw_top_image, lidar_to_top top_view = lidar_to_top(self.pc_velo) top_image = draw_top_image(top_view) cv2.imshow("top_image", top_image) cv2.waitKey(0) # 9. Lidar绘制BEV图+2D bbox def show_lidar_with_bev_2d_bbox(self): show_lidar_topview_with_boxes(self.pc_velo, self.objects, self.calib) mlab.show()if __name__ == '__main__': kitti_vis = visualization() # kitti_vis.show_image() # kitti_vis.show_image_with_2d_boxes() # kitti_vis.show_image_with_3d_boxes() # kitti_vis.show_image_with_lidar() # kitti_vis.show_lidar_with_3d_boxes() # kitti_vis.show_lidar_with_fov() # kitti_vis.show_lidar_with_3dview() # kitti_vis.show_lidar_with_bev() kitti_vis.show_lidar_with_bev_2d_bbox() # print('...') # cv2.waitKey(0)

此外,下面再提供两份可视化代码。

4. 点云可视化

这里的同样使用的是上述的图例,且直接输入的KITTI数据集的.bin文件,即可显示点云图像。

参考代码:import numpy as npimport mayavi.mlabimport os# 000010.bin这里需要填写文件的位置# bin_file = '../data/object/training/velodyne/000000.bin'# assert os.path.exists(bin_file), "{} is not exists".format(bin_file)kitti_file = r'E:\Study\Machine Learning\Dataset3d\kitti\training\velodyne\000100.bin'pointcloud = np.fromfile(file=kitti_file, dtype=np.float32, count=-1).reshape([-1, 4])# pointcloud = np.fromfile(str("000010.bin"), dtype=np.float32, count=-1).reshape([-1, 4])print(pointcloud.shape)x = pointcloud[:, 0] # x position of pointy = pointcloud[:, 1] # y position of pointz = pointcloud[:, 2] # z position of pointr = pointcloud[:, 3] # reflectance value of pointd = np.sqrt(x ** 2 + y ** 2) # Map Distance from sensorvals = 'height'if vals == "height": col = zelse: col = dfig = mayavi.mlab.figure(bgcolor=(0, 0, 0), size=(640, 500))mayavi.mlab.points3d(x, y, z, col, # Values used for Color mode="point", colormap='spectral', # 'bone', 'copper', 'gnuplot' # color=(0, 1, 0), # Used a fixed (r,g,b) instead figure=fig, )x = np.linspace(5, 5, 50)y = np.linspace(0, 0, 50)z = np.linspace(0, 5, 50)mayavi.mlab.plot3d(x, y, z)mayavi.mlab.show()输出结果:

ps:这里的输出点云结果相比上面的点云输出结果更加的完善,而且参考的中心坐标点也不一样。

5. 鸟瞰图可视化

代码中的鸟瞰图范围可以自行设置。同样,输入的也只需要是.bin文件即可展示其鸟瞰图。

参考代码:import numpy as npfrom PIL import Imageimport matplotlib.pyplot as plt# 点云读取:000010.bin这里需要填写文件的位置kitti_file = r'E:\Study\Machine Learning\Dataset3d\kitti\training\velodyne\000100.bin'pointcloud = np.fromfile(file=kitti_file, dtype=np.float32, count=-1).reshape([-1, 4])# 设置鸟瞰图范围side_range = (-40, 40) # 左右距离# fwd_range = (0, 70.4) # 后前距离fwd_range = (-70.4, 70.4)x_points = pointcloud[:, 0]y_points = pointcloud[:, 1]z_points = pointcloud[:, 2]# 获得区域内的点f_filt = np.logical_and(x_points > fwd_range[0], x_points < fwd_range[1])s_filt = np.logical_and(y_points > side_range[0], y_points < side_range[1])filter = np.logical_and(f_filt, s_filt)indices = np.argwhere(filter).flatten()x_points = x_points[indices]y_points = y_points[indices]z_points = z_points[indices]res = 0.1 # 分辨率0.05mx_img = (-y_points / res).astype(np.int32)y_img = (-x_points / res).astype(np.int32)# 调整坐标原点x_img -= int(np.floor(side_range[0]) / res)y_img += int(np.floor(fwd_range[1]) / res)print(x_img.min(), x_img.max(), y_img.min(), x_img.max())# 填充像素值height_range = (-2, 0.5)pixel_value = np.clip(a=z_points, a_max=height_range[1], a_min=height_range[0])def scale_to_255(a, min, max, dtype=np.uint8): return ((a - min) / float(max - min) * 255).astype(dtype)pixel_value = scale_to_255(pixel_value, height_range[0], height_range[1])# 创建图像数组x_max = 1 + int((side_range[1] - side_range[0]) / res)y_max = 1 + int((fwd_range[1] - fwd_range[0]) / res)im = np.zeros([y_max, x_max], dtype=np.uint8)im[y_img, x_img] = pixel_value# imshow (灰度)im2 = Image.fromarray(im)im2.show()# imshow (彩色)# plt.imshow(im, cmap="nipy_spectral", vmin=0, vmax=255)# plt.show()结果展示:

后续的工作会加深对点云数据的理解,整个可视化项目的工程见:KITTI数据集的可视化项目,有需要的朋友可以自行下载。

参考资料:

1. KITTI自动驾驶数据集可视化教程

2. kitti数据集在3D目标检测中的入门

3. kitti数据集在3D目标检测中的入门(二)可视化详解

4. kitti_object_vis项目

本文链接地址:https://www.jiuchutong.com/zhishi/300214.html 转载请保留说明!

上一篇:js算法 字母大小写转换(如何在js中给字母排序)

下一篇:【vue2】使用elementUI进行表单验证实操(附源码)(vue el-)

  • 未知错误3(未知错误3194)(未知错误是什么)

    未知错误3(未知错误3194)(未知错误是什么)

  • 拼多多口令复制后怎么助力(拼多多口令复制后打不开)

    拼多多口令复制后怎么助力(拼多多口令复制后打不开)

  • 抖音语音直播怎么开(抖音语音直播怎么关播)

    抖音语音直播怎么开(抖音语音直播怎么关播)

  • 小红书自动续费能退吗(小红书自动续费199)

    小红书自动续费能退吗(小红书自动续费199)

  • 华为matepadpro什么时候上市(华为matepadPro什么芯片)

    华为matepadpro什么时候上市(华为matepadPro什么芯片)

  • 抖音互关互赞有什么用(抖音互关互赞有什么标志)

    抖音互关互赞有什么用(抖音互关互赞有什么标志)

  • 手机听筒灰尘怎么清理(手机听筒灰尘怎么清理音波)

    手机听筒灰尘怎么清理(手机听筒灰尘怎么清理音波)

  • masterpdf可以删除吗(masterpdf文件夹可以删除吗)

    masterpdf可以删除吗(masterpdf文件夹可以删除吗)

  • 小米8门卡模拟没反应(小米门卡模拟成功但是刷不了)

    小米8门卡模拟没反应(小米门卡模拟成功但是刷不了)

  • 苹果x是几代(苹果X是几代机)

    苹果x是几代(苹果X是几代机)

  • 打印机需要连接网线吗(打印机需要连接电脑主机吗)

    打印机需要连接网线吗(打印机需要连接电脑主机吗)

  • 华为手机怎么关闭深色模式(华为手机怎么关闭纯净模式)

    华为手机怎么关闭深色模式(华为手机怎么关闭纯净模式)

  • 华为电脑pin是几位(华为电脑pin码是多少)

    华为电脑pin是几位(华为电脑pin码是多少)

  • iphonex开不了机怎么办(iphonex开不了机修要多少钱)

    iphonex开不了机怎么办(iphonex开不了机修要多少钱)

  • 连接小米助手有什么用(miui11小米助手连接不上手机)

    连接小米助手有什么用(miui11小米助手连接不上手机)

  • 苹果8p用的什么基带(苹果8p用的什么处理器)

    苹果8p用的什么基带(苹果8p用的什么处理器)

  • 看了别人的快手会不会有访问记录(看了别人的快手作品怎么样就不会留下访问)

    看了别人的快手会不会有访问记录(看了别人的快手作品怎么样就不会留下访问)

  • 苹果样机和新机的区别(苹果样机和新机哪个好)

    苹果样机和新机的区别(苹果样机和新机哪个好)

  • 被别人拉黑了发信息别人能收到吗(被别人拉黑了发朋友圈他那还显示吗)

    被别人拉黑了发信息别人能收到吗(被别人拉黑了发朋友圈他那还显示吗)

  • 红米note8pro怎么显示被拦截的短信(红米note8pro怎么插双卡)

    红米note8pro怎么显示被拦截的短信(红米note8pro怎么插双卡)

  • 手机位置信息如何设置(手机位置信息如何修改)

    手机位置信息如何设置(手机位置信息如何修改)

  • 查找小米手机位置(查找小米手机位置怎么找)

    查找小米手机位置(查找小米手机位置怎么找)

  • 拼多多怎么取消自动付款(拼多多怎么取消0元下单)

    拼多多怎么取消自动付款(拼多多怎么取消0元下单)

  • 抖音小程序怎么添加(抖音小程序怎么退出登录)

    抖音小程序怎么添加(抖音小程序怎么退出登录)

  • 三星s10有红外功能吗(三星s10支不支持红外)

    三星s10有红外功能吗(三星s10支不支持红外)

  • 手机steam怎么激活key(手机steam怎么激活充值卡)

    手机steam怎么激活key(手机steam怎么激活充值卡)

  • win10显示我的电脑1001无标题怎么办解决方法(在win10中显示我的电脑)

    win10显示我的电脑1001无标题怎么办解决方法(在win10中显示我的电脑)

  • WordPress 5.0使用默认经典编辑器方法(wordpress怎么用)

    WordPress 5.0使用默认经典编辑器方法(wordpress怎么用)

  • dede富文本内容中屏蔽标签(富文本word)

    dede富文本内容中屏蔽标签(富文本word)

  • 外省人员收入怎么查
  • 工会筹备金的计税依据是应发工资还是实发工资
  • 国税税务登记号查询
  • 政府减免税款如何账务处理
  • 赔偿款能否税前抵扣
  • 专利捐献
  • 个体工商户怎么注销
  • 公司收到转账支票怎么盖章
  • 增值税发票增量流程网上怎么申请
  • 免税销售额和免税额区别
  • 承包给对方了,受伤了要赔偿吗
  • 怎么用手撕胶带图解
  • 个人如何开具增值税普票
  • 学校方面的增值税的问题
  • 小规模纳税人出售不动产征收率
  • 免征增值税还要做销项税吗
  • 出口发票认证相符要多久
  • 实收资本何时交税
  • 餐费发票怎么开
  • 小规模纳税人需要做账吗
  • 纳税申报需要去税务局吗
  • 额外收入如何避税
  • 进项留抵退税会计科目
  • 维修开票单位写什么
  • 医疗服务免税发票怎么开
  • 用友软件怎么反记账凭证
  • win10怎么删除搜索
  • 主板故障开机断电
  • 代销商品受托方记账
  • 招待费报账怎么查
  • 一般纳税人差额征税申报表怎么填
  • php中execute
  • 科研项目财政拨款多少
  • 废旧物资经营单位增值税税率
  • 年中建账年初余额怎么录入
  • 购车的进项税怎么抵扣
  • waffe
  • 机器学习:基于朴素贝叶斯对花瓣花萼的宽度和长度分类预测
  • 如何在idea中创建xml
  • 接口二次封装
  • 增值税 附加税
  • 将织梦dedecms转换到wordpress
  • 企业分红所得税
  • 有限合伙企业属于企业法人还是非法人企业
  • 个税申报错误已经扣税款怎么处理
  • 水电费 会计
  • 加盖发票专用章有效什么意思
  • 砂石资源税怎么算
  • 分包工程 税务 账务处理
  • 本期应征增值税销售额是什么意思
  • 等额本金还款计算公式
  • 小企业成本核算方法怎么填
  • 公司支付质保金怎么做账
  • 赡养老人扣除标准个税
  • 房地产开发企业增值税怎么算
  • centos rpm命令
  • windowsxp文件
  • linux的apache
  • freebsd怎么样
  • win8系统无法连接到网络
  • 重装系统的简写
  • u盘安装win7系统教程图解
  • ubuntu命令行浏览网页
  • Win7 64位操作系统怎么使用DVD刻录光驱复制软件
  • linux安全性从何而来
  • jquery操作html代码
  • 基于专业性的家校双向互动,需要家长的学校教育参与
  • opencv for python
  • unityprefab
  • 简单的jquery插件实例
  • 请问在javascript程序中
  • JavaScript中的变量名不区分大小写
  • 全面解析少女时代关系
  • 职称申报密码找回
  • 水电费加1
  • 异地户口如何办理护照
  • 电子发票冲红期限
  • 2020年民主生活会主题是什么?
  • 公共基础设施项目所得税优惠目录
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设