方案概覽

VAD (Vectorized Scene Representation for Efficient Autonomous Driving) 是一種面向自動駕駛的端到端矢量化范式，將駕駛場景建模為完全矢量化的表征。該矢量化范式具有兩大顯著優(yōu)勢：一方面，VAD利用矢量化的智能體運(yùn)動軌跡和地圖元素作為顯式的實(shí)例級規(guī)劃約束，有效提升了規(guī)劃安全性；另一方面，通過摒棄計算密集的柵格化表征和人工設(shè)計的后處理步驟，VAD的運(yùn)行速度顯著快于先前的端到端規(guī)劃方法。VAD在nuScenes數(shù)據(jù)集上取得了最先進(jìn)的端到端規(guī)劃性能，較先前最佳方法有顯著提升。

本方案介紹了在 ModelArts Lite Server上使用昇騰計算資源 Ascend Snt9B 或 Ascend Snt9B23 開展VAD模型的訓(xùn)練過程。

資源規(guī)格要求

推薦使用“西南-貴陽一”Region上的Lite Server資源。

獲取軟件和 鏡像

約束限制

• 本文檔適配昇騰云ModelArts 6.5.905版本，請參考表2 獲取軟件和鏡像獲取配套版本的軟件包和鏡像，請嚴(yán)格遵照版本配套關(guān)系使用本文檔。
• 確保容器可以訪問公網(wǎng)。

步驟一：檢查環(huán)境

1. 請參考Lite Server資源開通，購買Lite Server資源，并確保機(jī)器已開通，密碼已獲取，能通過SSH登錄，不同機(jī)器之間網(wǎng)絡(luò)互通。
   

   購買Lite Server資源時如果無可選資源規(guī)格，需要聯(lián)系華為云技術(shù)支持申請開通。

   當(dāng)容器需要提供服務(wù)給多個用戶，或者多個用戶共享使用該容器時，應(yīng)限制容器訪問Openstack的管理地址（169.254.169.254），以防止容器獲取宿主機(jī)的元數(shù)據(jù)。具體操作請參見禁止容器獲取宿主機(jī)元數(shù)據(jù)。

2. SSH登錄機(jī)器后，檢查NPU卡狀態(tài)。運(yùn)行如下命令，返回NPU設(shè)備信息。

   npu-smi info                    # 在每個實(shí)例節(jié)點(diǎn)上運(yùn)行此命令可以看到NPU卡狀態(tài)

   如出現(xiàn)錯誤，可能是機(jī)器上的NPU設(shè)備沒有正常安裝，或者NPU鏡像被其他容器掛載。請先正常安裝固件和驅(qū)動，或釋放被掛載的NPU。

3. 檢查是否安裝docker。

   docker -v   #檢查docker是否安裝

   如尚未安裝，運(yùn)行以下命令安裝docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置IP轉(zhuǎn)發(fā)，用于容器內(nèi)的網(wǎng)絡(luò)訪問。執(zhí)行以下命令查看net.ipv4.ip_forward配置項的值，如果為1，可跳過此步驟。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置項的值不為1，執(zhí)行以下命令配置IP轉(zhuǎn)發(fā)。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.confsysctl -p | grep net.ipv4.ip_forward

步驟二：下載鏡像并啟動容器

1. 獲取基礎(chǔ)鏡像。建議使用官方提供的鏡像部署推理服務(wù)。鏡像地址{image_url}參見表2 獲取軟件和鏡像。

   docker pull {image_url}

2. 啟動 容器鏡像 。啟動前請先按照參數(shù)說明修改${}中的參數(shù)?？梢愿鶕?jù)實(shí)際需要增加修改參數(shù)。

   export work_dir="自定義掛載的工作目錄"  export container_work_dir="自定義掛載到容器內(nèi)的工作目錄"  export container_name="自定義容器名稱"  export image_name="鏡像名稱"  docker run -itd \   -u root \   --device=/dev/davinci0 \   --device=/dev/davinci1 \   --device=/dev/davinci2 \   --device=/dev/davinci3 \   --device=/dev/davinci4 \   --device=/dev/davinci5 \   --device=/dev/davinci6 \   --device=/dev/davinci7 \   --device=/dev/davinci8 \   --device=/dev/davinci9 \   --device=/dev/davinci10 \   --device=/dev/davinci11 \   --device=/dev/davinci12 \   --device=/dev/davinci13 \   --device=/dev/davinci14 \   --device=/dev/davinci15 \   --device=/dev/davinci_manager \   --device=/dev/devmm_svm \   --device=/dev/hisi_hdc \   -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \   -v /usr/local/dcmi:/usr/local/dcmi \   -v /etc/ascend_install.info:/etc/ascend_install.info \   -v /sys/fs/cgroup:/sys/fs/cgroup:ro \   -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \   -v /usr/bin/hccn_tool:/usr/bin/hccn_tool \   -v /etc/hccn.conf:/etc/hccn.conf \   --shm-size 1024g \   --net=host \   -v ${work_dir}:${container_work_dir} \   --name ${container_name} \   $image_name \   /bin/bash

   參數(shù)說明：

   • -v ${work_dir}:${container_work_dir}：代表需要在容器中掛載宿主機(jī)的目錄。宿主機(jī)和容器使用不同的文件系統(tǒng)。為方便兩個地址可以相同。例如“/home/vad:/home/vad ”

     ${work_dir}為宿主機(jī)中工作目錄，目錄下可存放項目所需代碼、數(shù)據(jù)等文件。請確保容器內(nèi)用戶對此路徑有足夠的訪問權(quán)限。

     ${container_work_dir}為要掛載到的容器中的目錄。

   • --name ${container_name} 容器名稱，進(jìn)入容器時會用到，此處可以自己定義一個容器名稱，例如“vad_test”。
   • --device=/dev/davinci0 ：掛載對應(yīng)卡到容器，請按照機(jī)器實(shí)際需要使用到的NPU數(shù)量來配置，上面給出的是使用16卡NPU訓(xùn)練的例子。
     

     • 請確保容器內(nèi)用戶對${work_dir}有足夠的訪問權(quán)限。
     • ${container_work_dir}不能為/home/ma-user目錄，此目錄為ma-user用戶家目錄。
     • driver及npu-smi需同時掛載至容器。
     • 不要將多個容器綁到同一個NPU上，會導(dǎo)致后續(xù)的容器無法正常使用NPU功能。
3. 進(jìn)入容器。

   docker exec -u root -it ${container_name} bash

步驟三：容器內(nèi)訓(xùn)練環(huán)境準(zhǔn)備

1. 創(chuàng)建新的虛擬環(huán)境

   conda create -n vad --clone PyTorch-2.1.0conda activate vad

2. 創(chuàng)建項目目錄

   mkdir -p /home/vad/projectcd /home/vad/projectexport P_HOME=`pwd`

3. 將獲取到的插件代碼包AscendCloud-ACD-6.5.905-*.zip文件上傳到容器的${P_HOME}目錄下，并解壓。

   cd $P_HOMEunzip -q AscendCloud-ACD-6.5.905-*.zip    # 解壓905自動駕駛相關(guān)版本包c(diǎn)d AscendCloud*mv models/VAD $P_HOME/VAD_support

4. 創(chuàng)建patches目錄，并將patch文件移入目錄

   cd $P_HOME mkdir patches && cd patches export PATCH_HOME=`pwd` mv $P_HOME/VAD_support/*.patch .    # 將patch相關(guān)文件移動到此文件夾

5. 安裝 DrivingSDK

   cd $P_HOME git clone https://gitee.com/ascend/DrivingSDK.git -b master cd DrivingSDK git checkout 059ec6e170152170c407e595e09e0823e44f4ba8 pip3 install -r requirements.txt vim CMakePresets.json    # 修改 "ENABLE_ONNX"選項: 為False umask 0027    # 保證文件權(quán)限正確 bash ci/build.sh --python=3.10    # 按照鏡像內(nèi)python版本指定 pip3 install ./dist/mx_driving-1.0.0+git059ec6e-cp310-cp310-linux_aarch64.whl pip3 show mx-driving # Version: 1.0.0+git059ec6e

6. 安裝MindSpeed

   cd $P_HOME git clone https://gitee.com/ascend/MindSpeed.git cd MindSpeed git checkout c3f2f77f58efba69dd21840fcbb758645fa5b579 pip3 install -e . pip3 show mindspeed # Version: 0.9.0

7. 安裝mmcv-full 1.x

   # 卸載鏡像內(nèi)原有的mmcv pip3 uninstall mmcv -y  cd $P_HOME git clone https://github.com/open-mmlab/mmcv.git cd mmcv git checkout 1d8f9285674f2b1f9f2d7758d3f945ebb74fcf82 git apply $PATCH_HOME/mmcv.patch MMCV_WITH_OPS=1 FORCE_NPU=1 python setup.py build_ext MMCV_WITH_OPS=1 FORCE_NPU=1 python setup.py develop pip3 show mmcv-full # Version: 1.7.2

8. 安裝 mmdet3d v1.0.0rc6

   cd $P_HOME git clone https://github.com/open-mmlab/mmdetection3d.git cd mmdetection3d git checkout 47285b3f1e9dba358e98fcd12e523cfd0769c876 git apply $PATCH_HOME/mmdet3d.patch pip3 install -e . pip3 show mmdet3d # Version: 1.0.0rc6

9. 安裝其它依賴

   pip3 install mmdet==2.28.2 mmsegmentation==0.30.0 timm==1.0.9 nuscenes-devkit==1.1.11 similaritymeasures==1.2.0 numpy==1.23.4

10. 下載模型代碼，將插件代碼包內(nèi)的scripts文件夾移動到模型代碼目錄

    cd $P_HOME git clone https://github.com/hustvl/VAD.git cd VAD export VAD_HOME=`pwd` git checkout 081473d6e1756a4ecee95425c05fc6644d17bb5f git apply $PATCH_HOME/vad.patchmv $P_HOME/VAD_support/scripts .    # 將scripts文件夾移動到此目錄

步驟四：準(zhǔn)備訓(xùn)練數(shù)據(jù)集和模型權(quán)重

1. 請參考GitHub項目內(nèi)數(shù)據(jù)處理部分的文檔下載 nuScenes V1.0 full 和 CAN bus 數(shù)據(jù)集。
2. 創(chuàng)建data目錄并將下載的數(shù)據(jù)集做預(yù)處理。

   cd $VAD_HOMEmkdir data && cd data# 將下載好的數(shù)據(jù)集移動到此目錄下并解壓# 對數(shù)據(jù)集做預(yù)處理cd $VAD_HOMEpython tools/data_converter/vad_nuscenes_converter.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag vad_nuscenes --version v1.0 --canbus ./data

   

   • 數(shù)據(jù)處理耗時較長。
3. 下載預(yù)訓(xùn)練模型權(quán)重。

   cd $VAD_HOMEmkdir ckpts && cd ckpts   wget https://download.pytorch.org/models/resnet50-19c8e357.pth

   最終目錄結(jié)構(gòu)如下。

   VAD ├── projects/ ├── tools/ ├── configs/ ├── ckpts/ │   ├── resnet50-19c8e357.pth ├── data/ │   ├── can_bus/ │   ├── nuscenes/ │   │   ├── lidarseg/ │   │   ├── maps/ │   │   ├── samples/ │   │   ├── sweeps/ │   │   ├── v1.0-test/ │   │   ├── v1.0-trainval/ │   │   ├── vad_nuscenes_infos_temporal_train.pkl    # 由數(shù)據(jù)預(yù)處理生成│   │   ├── vad_nuscenes_infos_temporal_val.pkl      # 由數(shù)據(jù)預(yù)處理生成

步驟五：開始訓(xùn)練與評估

• 進(jìn)行8卡訓(xùn)練（精度）

  cd $VAD_HOMEsh scripts/start_train.sh

• 進(jìn)行8卡訓(xùn)練（性能）

  cd $VAD_HOMENPUS=8 MODE=performance sh scripts/start_train.sh

• 進(jìn)行16卡訓(xùn)練（性能）

  cd $VAD_HOMENPUS=16 MODE=performance sh scripts/start_train.sh

• 進(jìn)行1卡評估

  cd $VAD_HOME# 使用上次訓(xùn)練的最后一個模型做評估 sh scripts/start_evl.sh # 指定模型做評估 MODEL_PATH="to/model/path.pt" sh scripts/start_evl.sh

• 輸出結(jié)果路徑

  # 訓(xùn)練結(jié)果目錄$VAD_HOME/scripts/output# 評估結(jié)果目錄$VAD_HOME/scripts/evl_result

  

  • 當(dāng)前模型訓(xùn)練和評估需要單獨(dú)進(jìn)行，無法在訓(xùn)練過程中進(jìn)行評估。
  • 請勿自行修改配置文件內(nèi)Batch_Size的值。
  • 當(dāng)前只能進(jìn)行單卡評估，多卡會影響評估結(jié)果準(zhǔn)確性。
  • 如果想使用預(yù)訓(xùn)練模型進(jìn)行評估需要參照項目官網(wǎng)修改配置文件，具體細(xì)節(jié)可以參考：https://github.com/hustvl/VAD/blob/main/docs/train_eval.md