3D 目標檢測 SASSD (1).

發布時間:2024-05-08 閱讀:4326

SASD是一種用於點雲3D目標檢測模型的演算法,發表在CVPR2020“StructureAwareSingle-Stage3DObjectDetectionFromPointCloud”上,其位址“與基於錨點的目標檢測模型的結構基本一致,其核心特點是利用語義分割網路輔助候選框的特徵提取,使生成的候選框的質量更高”。 這與 pointrcnn 和 votenet 的一些想法很接近。 不同之處在於,SASD在提取體素中心點特徵時,融合了不同尺度的相鄰體素特徵,使網路能夠有效地獲得區域性結構感知。 另一方面,這個輔助網路僅用於訓練,完全拆解用於推理,因此模型在實際部署過程中不會增加額外的開銷。 因此,SASSD輔助網路的作用是提高模型訓練的準確性。

1.原始碼和輸入資料。

原始碼基於 MMDontion3D 框架中的 SASSD 模型。 MMSedention3D安裝除錯驗證可以參考本部落格上一欄【MMSetion3D】MMSedention3D安裝詳細步驟編碼的部落格-CSDN部落格MMSedention3D安裝,其中有詳細的介紹。

為了快速除錯、訓練、評估和驗證演算法,以及快速,我做了乙個 minikitti 資料集,資料集的檔案目錄結構與完整的 kitti 資料集一致。 其中,小型 Kitti 資料集,即 MiniKitti,包含 20 個訓練樣本和 5 個測試樣本。 位址為:minikitti dataset - deep learning document resources - csdn。

*資料由4部分組成,分別是LiDAR資料Velodyne、影象資料影象2、校準資料校準和標註資料標籤2。 如果需要相應的影象集,請將資料夾重新命名為影象集。

有關Kitti各部分的更多資訊,請參閱以下內容:

Kitti 資料集簡介 (1)—LiDAR Data Coding Leaves Blog - CSDN Blog Radar dataset.

Kitti 資料集簡介 (2) - 標籤資料標籤 2 編碼離開部落格-CSDN 部落格 Kitti 資料集標籤。

Kitti 資料集簡介 (3) - 影象資料 影象 2 編碼葉部落格 - CSDN 部落格。

Kitti 資料集簡介 (4) - Image Data Calib Coding Leaf 部落格 - CSDN 部落格。

資料預處理部分可以參考Voxelnet的資料處理方法來理解:【3D物體檢測】Voxelnet(2):資料處理 coding-csdn部落格的葉子部落格。

*,將資料直接儲存在 MMService3 專案所在目錄的 data 資料夾中,目錄結構如下圖所示,然後執行下面第 2 節中的 Kitti 資料預處理命令。

2mmdetection3dkitti資料處理和模型訓練。

mmdetection3dkitti (持續更新) Coding Leaf 的部落格 - CSDN 部落格。

pythontools/create_data.pykitti--root-path./data/kitti--out-dir./data/kitti--extra-tagkitti

3. 執行並除錯原始碼。

MMSedention3D 的 sassd 原始碼執行以下命令:

pythontools/train.pyconfigs/sassd/sassd_6x8_80e_kitti-3d-3class.py

3.1 個稀疏卷積版本。

sassd 使用稀疏卷積,需要安裝 spconv20 圖書館。 安裝方法如下,其中 102 表示 CUDA 版本為 102.最低支援是CUDA102。

pipinstallcumm-cu102

pipinstallspconv-cu102

如果未安裝 spconv20 可能會報告以下錯誤:

1)runtimeerror:/tmp/mmcv/mmcv/ops/csrc/pytorch/cuda/sparse_indice.cu123。

2)runtimeerror:indicesmustbecontiguous。

3.2.標籤處理。

由於程式使用上述 minikitti 資料集執行,並且模型會檢測三類目標:行人、汽車和騎手,但訓練樣本物種幾乎不包含騎手的目標,因此直接執行程式時可能會報出以下錯誤:

1)keyerror:'kittidataset:\'objectsample:"databasesampler:\\'cyclist\\\'"\''

2)valueerror:needatleastonearraytostack

為了在示例中包括騎手,可以在 Data Kitti Label 2 資料夾中將多個注釋檔案中的某些行人或汽車標籤更改為騎自行車者。 更改後,程式將正常執行。

4SASSD簡介。

SASSD模型的整體結構如下圖所示。 SASD的結構與基於錨點的目標檢測模型基本一致,其核心特點是利用類似於語義分割的輔助網路學習區分前景點和背景點,從而輔助候選框的特徵提取,使候選框的質量更高。 這與 pointrcnn 和 votenet 的一些想法很接近。 不同之處在於,SASD在提取體素中心點特徵時,融合了不同尺度的相鄰體素特徵,使網路能夠有效地獲得區域性結構感知。 另一方面,這個輔助網路僅用於訓練,完全拆解用於推理,因此模型在實際部署過程中不會增加額外的開銷。 因此,SASSD輔助網路的作用是提高模型訓練的準確性。

5.模型結構及詳細說明。

有關模型的詳細結構和推理過程,請參考下一篇部落格:預計本週更新。

Python 3D 深度學習]Python 3D 點雲:從基礎到深度學習編碼 Leaves Blog-csdn blog Python 點雲拼接。

從3D點雲基礎到深度學習,將按照以下目錄不斷更新。 可以在 3D 點雲列中檢視更新的零件。 包括資料和 Python 原始碼。

版權宣告:本文是 CSDN 博主 Coding's Leaves 的原創文章,繼 CC4 之後0BY-SA 版權協議,**請附上原始來源鏈結和本宣告。

原文鏈結:

新課程標準教師拼圖1 立體目標“不落時”,現在是“正當之時”! (一)。

如果說年出台 雙減 政策是中國首個實施個性化教育的第一槍 那麼,年 義務教育課程計畫 的出台,就是教育部實施個性化教育的集體責任。最近,網際網絡上有很多人,包括個別專家,都在談論 三維目標 已經 過時 了。基於我多年的個性化教育實踐和經驗,我不同意這種說法,但我相信,面對 義務教育課程計畫 年版 提...

從“雙基”到“立體目標”,素養更具有內在和終極意義

年啟動的新課程改革的乙個基本標誌是,它已經從 雙基 轉向 立體目標 已經繼承和超越。它的進步既有量變,也有質變,量變是從 一維 到 三維 質變是強調學生的發展是三維整合的結果,從教學的角度來看,所謂三維目標,應該是三個方面乙個目標,而不是三個孤立的目標,對它的理解,可以準確地表述為在過程中掌握方法,...

三維運動混合器

混合器是一種用於將兩種或多種材料均勻混合的裝置。根據物料的運動方式,攪拌機可分為靜態攪拌機和動態攪拌機兩大類。.三維運動混合器 單軸連續靜態攪拌裝置 雙軸攪拌槳用於攪拌,由電機驅動,帶動攪拌臂通過減速機旋轉 在操作過程中,葉片與物料的接觸面始終保持垂直 無傾斜 以保證物料在葉片之間充分均勻地分散。 ...

旅遊景區三維全景拍攝

我們知道,景區的立體全景拍攝是針對整個景區是要展現所有真實的景區和自然風光,景區的全景拍攝還是有一定難度的,我們要找到合適的拍攝點和合適的角度進行拍攝,乙個好的拍攝點和角度,可以錦上添花。在景區拍攝立體全景時,我們需要使用三腳架和雲台,調整三腳架和雲台的高度,然後找到最佳拍攝角度 三腳架一般都有水平...

3D視覺測量技術應用於哪些行業?

D視覺測量技術是將計算機視覺與精密測量相結合的先進高階技術。D視覺測量通過模仿人眼來觀察世界,並利用計算機分析和處理來感知周圍環境,並應用計算機視覺技術對被觀察物件進行識別 定位 量化和重建。由於其高解像度 快速資料採集 全場測量 低成本 高精度等優點,三維視覺測量技術已廣泛應用於航空航天 高階裝備...