记录DETR3D代码库学习1

记录DETR3D代码库学习1

非计算机专业背景的研究生新生，开始自学论文代码，并整理了笔记。如有错误，请指出。

数据集准备的过程涉及对任意数据集进行预处理，得到.pkl或.json文件，再基于这些文件进行后续操作。首先，确保数据集按照特定格式整理。推荐将数据集根目录符号链接至 MMDETECTION3D/data。路径可能需要根据实际情况调整。以nuscenes和kitti数据集为例，查看数据集的保存格式。

完成目录整理后，进入mmdetection3d目录并执行命令，生成.pkl或.json文件。主要执行create_data.py文件，该文件包含多个公开3D目标检测数据集的转换函数。DETR3D代码库的.pkl或.json文件生成代码直接来自mmdetection3d库，包括create_data.py和各类converter.py文件。

在理解配置文件时，建议从config文件开始。这里以detr3d_res101_gridmask.py为例。首先查看基于的其他两个配置文件，它们在mmdet3d库中。这些文件类似于Python中的class继承机制，需要覆盖不同内容，其他则可直接使用库的设置。

在mmdetection3d-master\configs\_base_\default_runtime.py中，找到基本配置，适用于大多数模型。在mmdetection3d-master\configs\_base_\datasets us-3d.py中，定义特定数据集配置。在detr3d\detr3d_res101_gridmask.py中，关注backbone部分。原文提到使用fcos3d预训练的backbone，但实际配置中未见相关设置，可能与整体框架不熟悉有关。继续查找mmdet库，发现ResNet模型源码，但未找到具体实现。最终在配置文件末尾，找到使用预训练backbone的痕迹。

neck部分采用简单的FPN结构。head作为论文的核心部分，包括Detr3DcrossAtten、MultiheadAttention、DetrTransformerDecoderLayer、Detr3Dtransformer、Detr3DtransformerDecoder和Detr3DHead。包含bbox编码、位置编码及损失信息配置。训练过程中的其他配置，如采用匈牙利算法进行二分图匹配，用于优化匹配效率。

pipeline部分涵盖了数据预处理、模型训练、验证和评估的流程。至此，初步分析了配置文件，初步了解了DETR3D代码库的核心结构和配置。2024-10-28