位置: IT常识 - 正文

Pytorch1.7复现PointNet++点云分割(含Open3D可视化)(文末有一个自己做的书缝识别项目代码)(pytorch复制模型)

编辑:rootadmin
Pytorch1.7复现PointNet++点云分割(含Open3D可视化)(文末有一个自己做的书缝识别项目代码)

推荐整理分享Pytorch1.7复现PointNet++点云分割(含Open3D可视化)(文末有一个自己做的书缝识别项目代码)(pytorch复制模型),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pytorch checkpoint,pytorch支持复数吗,pytorch checkpoint,pytorch论文复现,pytorch中的f,pytorch复制模型,pytorch复制模型,pytorch论文复现,内容如对您有帮助,希望把文章链接给更多的朋友!

  毕设需要,复现一下PointNet++的对象分类、零件分割和场景分割,找点灵感和思路,做个踩坑记录。

下载代码

https://github.com/yanx27/Pointnet_Pointnet2_pytorch   我的运行环境是pytorch1.7+cuda11.0。

训练

  PointNet++代码能实现3D对象分类、对象零件分割和语义场景分割。

对象分类

  下载数据集ModelNet40,并存储在文件夹data/modelnet40_normal_resampled/。

## e.g., pointnet2_ssg without normal featurespython train_classification.py --model pointnet2_cls_ssg --log_dir pointnet2_cls_ssgpython test_classification.py --log_dir pointnet2_cls_ssg## e.g., pointnet2_ssg with normal featurespython train_classification.py --model pointnet2_cls_ssg --use_normals --log_dir pointnet2_cls_ssg_normalpython test_classification.py --use_normals --log_dir pointnet2_cls_ssg_normal## e.g., pointnet2_ssg with uniform samplingpython train_classification.py --model pointnet2_cls_ssg --use_uniform_sample --log_dir pointnet2_cls_ssg_fpspython test_classification.py --use_uniform_sample --log_dir pointnet2_cls_ssg_fps主文件夹下运行代码python train_classification.py --model pointnet2_cls_ssg --log_dir pointnet2_cls_ssg时可能会报错: ImportError: cannot import name 'PointNetSetAbstraction' 原因是pointnet2_cls_ssg.py文件import时的工作目录时models文件夹,但是实际运行的工作目录时models的上级目录,因此需要在pointnet2_cls_ssg.py里把from pointnet2_utils import PointNetSetAbstraction改成from models.pointnet2_utils import PointNetSetAbstraction。

  参考README.md文件,分类不是我的主攻点,这里就略过了。

零件分割

  零件分割是将一个物体的各个零件分割出来,比如把椅子的椅子腿分出来。   下载数据集ShapeNet,并存储在文件夹data/shapenetcore_partanno_segmentation_benchmark_v0_normal/。   运行也很简单:

## e.g., pointnet2_msgpython train_partseg.py --model pointnet2_part_seg_msg --normal --log_dir pointnet2_part_seg_msgpython test_partseg.py --normal --log_dir pointnet2_part_seg_msg

  shapenet数据集txt文件格式:前三个点是xyz,点云的位置坐标,后三个点是点云的法向信息,最后一个点是这个点所属的小类别,即1表示所属50个小类别中的第一个。

  写个代码用open3d可视化shapenet数据集的txt文件(随机配色):

import open3d as o3dimport numpy as np'''BASE_DIR = os.path.dirname(os.path.abspath(__file__))ROOT_DIR = os.path.dirname(BASE_DIR)sys.path.append(BASE_DIR)sys.path.append(os.path.join(ROOT_DIR, 'data_utils'))'''txt_path = '/home/lin/CV_AI_learning/Pointnet_Pointnet2_pytorch-master/data/shapenetcore_partanno_segmentation_benchmark_v0_normal/02691156/1b3c6b2fbcf834cf62b600da24e0965.txt'# 通过numpy读取txt点云pcd = np.genfromtxt(txt_path, delimiter=" ")pcd_vector = o3d.geometry.PointCloud()# 加载点坐标# txt点云前三个数值一般对应x、y、z坐标,可以通过open3d.geometry.PointCloud().points加载# 如果有法线或颜色,那么可以分别通过open3d.geometry.PointCloud().normals或open3d.geometry.PointCloud().colors加载pcd_vector.points = o3d.utility.Vector3dVector(pcd[:, :3])pcd_vector.colors = o3d.utility.Vector3dVector(pcd[:, 3:6])o3d.visualization.draw_geometries([pcd_vector])

  GPU内存不够减小一下batch_size。   我这里训练了一下,接着代码的best_model.pth继续训练150轮,RTX3080单显卡训练一轮得六七分钟,150轮花了半天多的时间。   网上的代码基本test一下分割的一些参数就结束了,没有做可视化,参考这篇blog做了一下结果的可视化:PointNet++分割预测结果可视化。这篇blog首先用网络将输入图像的预测结果存为txt文件,然后用Matplotlib做可视化,过程有点复杂了,用open3d做可视化比较简洁一点,代码如下:

import tqdmimport matplotlibimport torchimport osimport warningsimport numpy as npimport open3d as o3dfrom torch.utils.data import Datasetimport pybullet as pfrom models.pointnet2_part_seg_msg import get_model as pointnet2import timewarnings.filterwarnings('ignore')matplotlib.use("Agg")def pc_normalize(pc): centroid = np.mean(pc, axis=0) pc = pc - centroid m = np.max(np.sqrt(np.sum(pc ** 2, axis=1))) pc = pc / m return pc,centroid,mdef generate_pointcloud(color_image, depth_image,width=1280,height=720,fov=50,near=0.01,far=5): rgbd_image = o3d.geometry.RGBDImage.create_from_color_and_depth(color_image, depth_image,convert_rgb_to_intensity=False) intrinsic = o3d.camera.PinholeCameraIntrinsic(o3d.camera.PinholeCameraIntrinsicParameters.Kinect2DepthCameraDefault ) aspect = width / height projection_matrix = p.computeProjectionMatrixFOV(fov, aspect, near, far) intrinsic.set_intrinsics(width=width, height=height, fx=projection_matrix[0]*width/2, fy=projection_matrix[5]*height/2, cx=width/2, cy=height/2) point_cloud = o3d.geometry.PointCloud.create_from_rgbd_image(rgbd_image, intrinsic) point_cloud.estimate_normals( search_param=o3d.geometry.KDTreeSearchParamHybrid(radius=0.01, max_nn=30)) return point_cloudclass PartNormalDataset(Dataset): def __init__(self, point_cloud, npoints=2500, normal_channel=False): self.npoints = npoints # 采样点数 self.cat = {} self.normal_channel = normal_channel # 是否使用法向信息 position_data = np.asarray(point_cloud.points) normal_data = np.asarray(point_cloud.normals) self.raw_pcd = np.hstack([position_data,normal_data]).astype(np.float32) self.cat = {'board':'12345678'} # 输出的是元组,('Airplane',123.txt) self.classes = {'board': 0} data = self.raw_pcd if not self.normal_channel: # 判断是否使用法向信息 self.point_set = data[:, 0:3] else: self.point_set = data[:, 0:6] self.point_set[:, 0:3],self.centroid,self.m = pc_normalize(self.point_set[:, 0:3]) # 做一个归一化 choice = np.random.choice(self.point_set.shape[0], self.npoints, replace=True) # 对一个类别中的数据进行随机采样 返回索引,允许重复采样 # resample self.point_set = self.point_set[choice, :] # 根据索引采样 def __getitem__(self, index): cat = list(self.cat.keys())[0] cls = self.classes[cat] # 将类名转换为索引 cls = np.array([cls]).astype(np.int32) return self.point_set, cls, self.centroid, self.m # pointset是点云数据,cls十六个大类别,seg是一个数据中,不同点对应的小类别 def __len__(self): return 1class Generate_txt_and_3d_img: def __init__(self,num_classes,testDataLoader,model,visualize = False): self.testDataLoader = testDataLoader self.num_classes = num_classes self.heat_map = False # 控制是否输出heatmap self.visualize = visualize # 是否open3d可视化 self.model = model self.generate_predict() self.o3d_draw_3d_img() def __getitem__(self, index): return self.predict_pcd_colored def generate_predict(self): for _, (points, label,centroid,m) in tqdm.tqdm(enumerate(self.testDataLoader), total=len(self.testDataLoader),smoothing=0.9): #点云数据、整个图像的标签、每个点的标签、 没有归一化的点云数据(带标签)torch.Size([1, 7, 2048]) points = points.transpose(2, 1) #print('1',target.shape) # 1 torch.Size([1, 2048]) xyz_feature_point = points[:, :6, :] model = self.model seg_pred, _ = model(points, self.to_categorical(label, 1)) seg_pred = seg_pred.cpu().data.numpy() if self.heat_map: out = np.asarray(np.sum(seg_pred,axis=2)) seg_pred = ((out - np.min(out) / (np.max(out) - np.min(out)))) else: seg_pred = np.argmax(seg_pred, axis=-1) # 获得网络的预测结果 b n c seg_pred = np.concatenate([np.asarray(xyz_feature_point), seg_pred[:, None, :]], axis=1).transpose((0, 2, 1)).squeeze(0) self.predict_pcd = seg_pred self.centroid = centroid self.m = m def o3d_draw_3d_img(self): pcd = self.predict_pcd pcd_vector = o3d.geometry.PointCloud() # 加载点坐标 pcd_vector.points = o3d.utility.Vector3dVector(self.m * pcd[:, :3] + self.centroid) # colors = np.random.randint(255, size=(2,3))/255 colors = np.array([[0.8, 0.8, 0.8],[1,0,0]]) pcd_vector.colors = o3d.utility.Vector3dVector(colors[list(map(int,pcd[:, 6])),:]) if self.visualize: coord_mesh = o3d.geometry.TriangleMesh.create_coordinate_frame(size = 0.1, origin = [0,0,0]) o3d.visualization.draw_geometries([pcd_vector,coord_mesh]) self.predict_pcd_colored = pcd_vector def to_categorical(self,y, num_classes): """ 1-hot encodes a tensor """ new_y = torch.eye(num_classes)[y.cpu().data.numpy(),] if (y.is_cuda): return new_y.cuda() return new_ydef load_models(model_dict={'PonintNet': [pointnet2(num_classes=2,normal_channel=True).eval(),r'./log/part_seg/pointnet2_part_seg_msg/checkpoints']}): model = list(model_dict.values())[0][0] checkpoints_dir = list(model_dict.values())[0][1] weight_dict = torch.load(os.path.join(checkpoints_dir,'best_model.pth')) model.load_state_dict(weight_dict['model_state_dict']) return modelclass Open3dVisualizer():def __init__(self):self.point_cloud = o3d.geometry.PointCloud()self.o3d_started = Falseself.vis = o3d.visualization.VisualizerWithKeyCallback()self.vis.create_window()def __call__(self, points, colors):self.update(points, colors)return Falsedef update(self, points, colors):coord_mesh = o3d.geometry.TriangleMesh.create_coordinate_frame(size = 0.15, origin = [0,0,0])self.point_cloud.points = pointsself.point_cloud.colors = colors# self.point_cloud.transform([[1,0,0,0],[0,-1,0,0],[0,0,-1,0],[0,0,0,1]])# self.vis.clear_geometries()# Add geometries if it is the first timeif not self.o3d_started:self.vis.add_geometry(self.point_cloud)self.vis.add_geometry(coord_mesh)self.o3d_started = Trueelse:self.vis.update_geometry(self.point_cloud)self.vis.update_geometry(coord_mesh)self.vis.poll_events()self.vis.update_renderer()if __name__ =='__main__': num_classes = 2 # 填写数据集的类别数 如果是s3dis这里就填13 shapenet这里就填50 color_image = o3d.io.read_image('image/rgb1.jpg') depth_image = o3d.io.read_image('image/depth1.png') point_cloud = generate_pointcloud(color_image=color_image, depth_image=depth_image) TEST_DATASET = PartNormalDataset(point_cloud,npoints=30000, normal_channel=True) testDataLoader = torch.utils.data.DataLoader(TEST_DATASET, batch_size=1, shuffle=False, num_workers=0,drop_last=True) predict_pcd = Generate_txt_and_3d_img(num_classes,testDataLoader,load_models(),visualize = True)Pytorch1.7复现PointNet++点云分割(含Open3D可视化)(文末有一个自己做的书缝识别项目代码)(pytorch复制模型)

  把之前的代码改成了针对单个点云预测的可视化,点云由GRB图像和深度图像生成,如果想直接输入点云自己稍微改下代码就可以了,目前仅针对shapenet数据集格式的数据。这里要注意如果训练的时候选择了--normal,那么normal_channel要改成True。   看下训练效果,用modelnet40里的一个chair文件进行预测。

   

  可以看到这个椅子大致是分成了四块,但是椅子靠背、腿分割地挺好的,就是扶手有一部分分割到了坐垫那里了,毕竟训练时间不长。modelnet40数据集只是用来分类,并没有分割的标注,所以这里可视化了一下shapenet里标注好的椅子点云,看看椅子各个部位的分割(并非上面的椅子)。

  这里就比较显而易见地看出椅子分为靠背、扶手、坐垫、腿四个部分。   初步观察到效果以后可以开始尝试自己制作数据集进行训练了,可以参考我写的这篇文章:《CloudCompare制作ShapeNet格式点云数据集》。

场景分割

  零件分割网络可以很容易地扩展到语义场景分割,点标记成为语义对象类而不是目标零件标记。   在 Stanford 3D语义分析数据集上进行实验。该数据集包含来自Matterport扫描仪的6个区域的3D扫描,包括271个房间。扫描中的每个点都用13个类别(椅子、桌子、地板、墙壁等加上杂物)中的一个语义标签进行注释。   先把文件下载过来: S3DIS ,存到文件夹data/s3dis/Stanford3dDataset_v1.2_Aligned_Version/.   处理数据,数据会存到data/stanford_indoor3d/。

cd data_utilspython collect_indoor3d_data.py

  运行:

## Check model in ./models## e.g., pointnet2_ssgpython train_semseg.py --model pointnet2_sem_seg --test_area 5 --log_dir pointnet2_sem_segpython test_semseg.py --log_dir pointnet2_sem_seg --test_area 5 --visual

  上面的操作走完以后会在log/sem_seg/pointnet2_sem_seg/visual/生成预测结果的obj文件,可以用open3d进行可视化,就是不能用o3d.io.read_triangle_mesh函数来可视化obj文件,因为这里生成的obj文件还带了颜色信息用来表示语义信息,所以得读取成列表数据然后定义成o3d.geometry.PointCloud()变量显示,代码如下:

import copyimport numpy as npimport open3d as o3dimport osobjFilePath = 'log/sem_seg/pointnet2_sem_seg/visual/Area_5_office_8_gt.obj'with open(objFilePath) as file: points = [] while 1: line = file.readline() if not line: break strs = line.split(" ") if strs[0] == "v": points.append(np.array(strs[1:7],dtype=float)) if strs[0] == "vt": break# points原本为列表,需要转变为矩阵,方便处理 pcd = np.array(points)pcd_vector = o3d.geometry.PointCloud()pcd_vector.points = o3d.utility.Vector3dVector(pcd[:, :3])pcd_vector.colors = o3d.utility.Vector3dVector(pcd[:,3:6])o3d.visualization.draw_geometries([pcd_vector])

  康康Area_5里office_8的效果:   原图:

   

  ground truth:   predict:

  OK,大致算是把这个PointNet++复现完了,着重做了下点云分割,给毕设做准备。总的来讲,训练和预测的过程并不难,为了康康效果,可视化的部分倒是花了挺长时间。零件分割和场景分割本质上讲其实是一回事,就是在代码里面这两个分割用了不同的模型来训练。之后打算自己制作数据集来训练一下,先拿零件分割的模型来做,毕竟场景分割做成S3DIS形式的数据集有点麻烦。总之跟着这篇blog走肯定是能跑通PointNet++的。

  添加一个自己做的用pointnet++做的书缝识别项目,GitHub里面有数据集和代码:https://github.com/struggler176393/Pointnet_book_seam。

本文链接地址:https://www.jiuchutong.com/zhishi/288813.html 转载请保留说明!

上一篇:yoloV5模型中,x,s,n,m,l分别有什么不同(yolov5模型中git的作用)

下一篇:超强功能WebSSH安装,解决Web远程SSH终端(webssh github)

  • qq怎么加回删除的人(qq怎么加回删除的好友手机)

    qq怎么加回删除的人(qq怎么加回删除的好友手机)

  • 微信文章如何转载合法(微信文章如何转到美篇)

    微信文章如何转载合法(微信文章如何转到美篇)

  • 微信按住说话怎么设置(微信按住说话怎么是英文不是中文)

    微信按住说话怎么设置(微信按住说话怎么是英文不是中文)

  • 华为p30怎样取消闹钟设置(华为P30怎样取消红包来了语音提醒)

    华为p30怎样取消闹钟设置(华为P30怎样取消红包来了语音提醒)

  • 鼠标脚贴多久换一次(鼠标脚贴寿命)

    鼠标脚贴多久换一次(鼠标脚贴寿命)

  • 华为nova7se防水等级(华为nova7se防水性)

    华为nova7se防水等级(华为nova7se防水性)

  • xsmax跑分多少才正常

    xsmax跑分多少才正常

  • 西瓜视频原创审核一般多久(西瓜视频原创审核 知乎)

    西瓜视频原创审核一般多久(西瓜视频原创审核 知乎)

  • 微信限额吗(两个微信号一个身份证微信限额吗)

    微信限额吗(两个微信号一个身份证微信限额吗)

  • 一个钉钉两个学生怎么登(一个钉钉两个学生怎么分开登)

    一个钉钉两个学生怎么登(一个钉钉两个学生怎么分开登)

  • 华为系统恢复erecovery一直重复(华为系统恢复eRecovery怎么退出)

    华为系统恢复erecovery一直重复(华为系统恢复eRecovery怎么退出)

  • qq2d厘米秀怎么开启(qq2d厘米秀怎么使用道具)

    qq2d厘米秀怎么开启(qq2d厘米秀怎么使用道具)

  • 网线直接连接路由器能用吗(网线直接连接路由器速度会降吗)

    网线直接连接路由器能用吗(网线直接连接路由器速度会降吗)

  • 华为自拍录像是反的(华为自拍录像是反的怎么调)

    华为自拍录像是反的(华为自拍录像是反的怎么调)

  • 重启路由器ip会变吗(重启路由器ip会变吗,光猫不重启)

    重启路由器ip会变吗(重启路由器ip会变吗,光猫不重启)

  • pclm10什么型号(pclm50是什么型号)

    pclm10什么型号(pclm50是什么型号)

  • 外星人主机值得买吗(外星人主机性价比高吗)

    外星人主机值得买吗(外星人主机性价比高吗)

  • 微信注销以后好友会知道吗(微信注销以后好友发信息是什么提示)

    微信注销以后好友会知道吗(微信注销以后好友发信息是什么提示)

  • 微信支付二维码怎么弄(微信支付二维码图片)

    微信支付二维码怎么弄(微信支付二维码图片)

  • 苹果7背光排线断了(苹果7背光排线能换吗)

    苹果7背光排线断了(苹果7背光排线能换吗)

  • iphone11 pro max什么时候开售(iphone11promax什么时候发售的)

    iphone11 pro max什么时候开售(iphone11promax什么时候发售的)

  • 11pro多大(11pro多大屏幕)

    11pro多大(11pro多大屏幕)

  • 返回上一步快捷键(返回上一步快捷键ps)

    返回上一步快捷键(返回上一步快捷键ps)

  • http 400是什么错误

    http 400是什么错误

  • wd文档怎么下载(电脑上的wd文档怎样下载)

    wd文档怎么下载(电脑上的wd文档怎样下载)

  • photo-sphere-viewer中文文档

    photo-sphere-viewer中文文档

  • 新企业所得税季初资产总额
  • 金蝶软件中怎么增加固定资产
  • 去年滞纳金没入营业外今天怎么账务处理
  • 公司两年账没做
  • 长期股权投资是金融资产还是非金融资产
  • 银行结息计入什么费用
  • 公司哪些支出不影响报表净利润总额
  • 在建工程转固定资产凭证附件
  • 现金账记错了该如何改正
  • 进项税有余额但没有余额
  • 生产过程中产品的质量保证体系
  • 出售旧固定资产的税率是多少
  • 社会保险的登记和申报程序
  • 按折现率计算现值
  • 公司替员工承担个税分录不再收回
  • 投资税收抵免
  • 新公司值得入职吗
  • 税务机关代码不能为空怎么解决
  • 残保金征收单位
  • 出口发票上的汇率按哪个开?
  • 没有收入能结转损益吗
  • 投资股权转让需要注意什么?
  • win10 kb5005611
  • 自产原材料
  • win10怎么推送win11
  • 存货质量是什么意思
  • win11可以触屏吗
  • 非营利性组织收到政府拨款转出给其他部门怎么做账
  • 公司其他费用包括哪些费用
  • 应交税金 应交税费
  • 转让居民企业的股权所得交企业所得税吗
  • php 替换函数
  • yii框架运行原理
  • 城建税教育费附加什么时候交
  • 外经证逾期未核销
  • 农村扶贫入股分红会计分录
  • 企业合并兼并收购的区别和联系
  • 织梦发布文章栏目怎么不显示
  • mysql 5.7.22安装教程
  • page_sql
  • mongodb常见问题
  • vuex数据持久化
  • 税法中对差旅费的处理
  • 可供出售交易性金融资产申报表怎么填
  • 增值税纳税申报实训报告
  • 应纳税所得额是利润总额还是净利润
  • 保险理赔进项税额转出
  • 计提生产经营所得
  • 独资合伙公司
  • 承兑汇票收据开什么发票
  • 办公室购买电脑属于什么费用
  • 开票加的税点走什么费用
  • 多收钱退回去咋说
  • 建安发票是增值税发票吗
  • 会计报表的作用概括起来就是为报表使用者提供会计信息
  • 什么叫归集和分配
  • ef使用sql语句
  • XP系统升级WIN7系统
  • win8的运行在哪里打开
  • mac开机后蓝屏没反应
  • freebsd更新命令
  • windows精简版精简了哪些
  • 苹果MAC电脑怎么砸壳应用app
  • 电脑无法使用qq
  • linux mds
  • win8开机界面
  • windows10窗口设置在哪
  • android 游戏平台
  • 怎样从零开始
  • js对象foreach
  • 基于android的app
  • 国际安卓应用市场
  • javascript中获取字符串长度
  • shell脚本判断两个数大小
  • android零基础
  • android 动态化方案
  • python的读取和写入
  • jquery深拷贝
  • 全国初中应用物理知识竞赛获奖名单
  • 个人所得税税率表及速算扣除数
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设