[HDmap] VectorNet(CVPR'20) - HDmap을 인코딩하는 알고리즘

# Title

VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation (CVPR, 20) [code]

---

 

# Motivation

• 기존의 방법은 HD map을 color-coded attributes(RGB)로 rendering해 rasterized representation으로 manual하게 변경한 후, Convolution을 이용해 인코딩함.
• 하지만 이는 ConvNet의 제한된 receptive field로 인해 context representation을 잘 포착하지 못한다는 문제. 따라서 agent dynamics와 structured scene context를 directly하게 학습할 수 있는 vectorized representation이 필요

 

---

# Methodology

“Vectorize agent trajectories & HD maps interaction”

• Hierarchical GNN for capturing high-order interaction

Network architecture

1. Vectorize all elements(agent + map)

• Map features : starting point와 direction을 정하고, spline에서 uniformly하게 keypoint를 sampling 한 후, 이웃한 keypoint를 연결해서 vector로 만듦
• Agent trajectories : 일정한 시간 간격으로 keypoint를 sampling한 후, 이들을 연결해 vector로 만듦
• Trajectory와 map annotation는 vector와 one-to-one mapping
• 위 Vector는 graph에서 node feature로 작용함d는 좌표, a는 attribute feature, j는 polyline id

2. Construct polyline subgraphs - Hierarchical approach

• Polyline을 구성하는 node feature들을 각각 layer 별로 hierarchical하게 aggregation
• 마지막에 maxpooling을 통해 polyline level feature를 생성하는게 목표

 

3. Global graph for High-order interactions

• Polyline node feature 들을 single GNN을 통해 global interaction graph로 만듦
• GT를 무작위로 마스킹하는 auxiliary graph completion 적용

4. Overall loss

• 경로예측을 위한 음의 가우시안 MLE + graph completion을 위한 Huber loss
• 기존의 방법은 HD map을 color-coded attributes(RGB)로 rendering해 rasterized representation으로 manual하게 변경한 후, Convolution을 이용해 인코딩함.
• 하지만 이는 ConvNet의 제한된 receptive field로 인해 context representation을 잘 포착하지 못한다는 문제. 따라서 agent dynamics와 structured scene context를 directly하게 학습할 수 있는 vectorized representation이 필요

overall loss