PoliFormer: Scaling On-Policy RL with Transformers Results in Masterful Navigators

🔼 그림 2는 PoliFormer의 아키텍처를 보여줍니다. 각 시간 단계 t에서, PoliFormer는 에고중심 RGB 관측값 i^t을 받아들여 비전 트랜스포머 모델을 사용하여 시각적 표현 r^t을 추출합니다. 그런 다음 시각적 표현과 목표 특징 g (그리고 선택적으로 감지된 바운딩 박스 목표 특징 g_b^t)를 사용하여 상태 특징 s^t를 추가로 인코딩합니다. 인과적 트랜스포머 디코더를 사용하여 시간에 따른 상태 신념 b^t를 모델링하고, 마지막으로 선형 액터와 비평가 헤드를 통해 액션 로짓 a^t와 값 추정 e^t를 예측합니다. 롤아웃 수집 및 추론을 위해, 메모리 사용량을 줄이고 훈련 및 추론 속도를 높이기 위해 기존의 KV-캐시 [10]를 시간 캐시 전략으로 활용합니다.

read the caption

Figure 2: PoliFormer is a fully transformer-based policy model. At each timestep t𝑡titalic_t, it takes an ego-centric RGB observation itsuperscript𝑖𝑡i^{t}italic_i start_POSTSUPERSCRIPT italic_t end_POSTSUPERSCRIPT, extracts visual representations rtsuperscript𝑟𝑡r^{t}italic_r start_POSTSUPERSCRIPT italic_t end_POSTSUPERSCRIPT using a vision transformer model, further encodes state features stsuperscript𝑠𝑡s^{t}italic_s start_POSTSUPERSCRIPT italic_t end_POSTSUPERSCRIPT using the visual representations and goal features g𝑔gitalic_g (and optional detected bounding box goal features gbtsuperscriptsubscript𝑔𝑏𝑡g_{b}^{t}italic_g start_POSTSUBSCRIPT italic_b end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_t end_POSTSUPERSCRIPT), models state belief btsuperscript𝑏𝑡b^{t}italic_b start_POSTSUPERSCRIPT italic_t end_POSTSUPERSCRIPT over time, employing a causal transformer decoder, and, finally, predicts action logits atsuperscript𝑎𝑡a^{t}italic_a start_POSTSUPERSCRIPT italic_t end_POSTSUPERSCRIPT and a value estimation etsuperscript𝑒𝑡e^{t}italic_e start_POSTSUPERSCRIPT italic_t end_POSTSUPERSCRIPT via linear actor and critic heads, respectively. For rollout collection and inference, we leverage the KV-cache [10] as our temporal cache strategy to prevent recomputing the forward pass for all prior timesteps at each new timestep, saving memory and speeding up both training and inference.

🔼 이 그림은 PoliFormer-BoxNav 모델이 제로샷 방식으로 다양한 작업을 수행하는 모습을 보여줍니다. 특히, 특정 제목의 책 찾기, 부엌으로 이동하기, 여러 개의 물체를 순차적으로 찾아가기, 그리고 사무실 건물 주변을 따라 장난감 자동차를 따라가기 등의 작업을 수행하는 능력을 시각적으로 보여줍니다. 각 작업은 이미지와 함께 설명되어 있어, 모델의 이해력과 상황 적응력을 잘 보여줍니다. 이는 사전 훈련 없이도 다양한 명령을 이해하고 복잡한 탐색 작업을 수행할 수 있음을 강조합니다.

read the caption

Figure 3: We use PoliFormer-BoxNav zero-shot to find a book with a particular title, navigate to a kitchen, navigate to multiple objects sequentially, and follow a toy car around an office building.

🔼 그림 4는 블록 하삼각형 구조를 사용한 학습을 위한 어텐션 마스크를 보여줍니다. 각 행은 하나의 에피소드를, 각 열은 시간 단계를 나타냅니다. 어텐션 마스크는 이전 시간 단계의 정보만 사용하여 각 시간 단계에서의 어텐션을 제한함으로써, 모델이 과거의 경험에만 의존하도록 합니다. 이는 장기적인 의존성을 유지하면서도 계산 비용을 줄이는 데 도움이 됩니다. 각 에피소드의 시작과 끝은 1로 표시됩니다. 0은 해당 시간 단계에서 어텐션이 불가능함을 의미합니다. 마스크의 하삼각형 형태는 모델이 과거 정보만 참조하도록 보장합니다.

read the caption

Figure 4: Attention Masks for training with block lower triangular structure.

🔼 그림 5는 다양한 시간적 캐시 전략과 이들이 학습 속도에 미치는 영향을 보여줍니다. 본 연구에서는 (i) No-Cache, (ii) Feature-Cache, (iii) State-Cache, 그리고 (iv) KV-Cache 등 네 가지 캐시 전략을 비교 분석했습니다. 그림 상단에는 네 가지 캐시 전략이, 하단에는 LoCoBot과 Stretch RE-1 에이전트 모두에 대한 각 전략별 학습 속도(초당 학습 단계, SPS)가 나타나 있습니다. No-Cache의 경우, 최악의 성능을 보이며, KV-Cache가 가장 효율적인 학습 속도를 제공하는 것을 확인할 수 있습니다. 이를 통해, KV-Cache가 장기간의 시퀀스를 효과적으로 처리하여 학습 시간을 단축시키는데 효과적임을 알 수 있습니다.

read the caption

Figure 5: Different temporal cache strategies and their impact on the training speed. We ablate four different cache strategies, including (i) No-Cache, (ii) Feature-Cache, (iii) State-Cache, and (iv) KV-Cache, shown at top. The bottom chart shows the training Step per Second (SPS) achieved by different strategies, on both LoCoBot and Stretch RE-1 agents.

🔼 그림 6은 실제 환경에서 진행된 실험에 사용된 (a) LoCoBot과 (b) Stretch RE-1 로봇의 시작 위치를 보여줍니다. 화살표 방향은 로봇이 바라보는 방향을 나타냅니다. 각 로봇의 세 가지 시작 위치가 제시되어 있으며, 각 위치에서 로봇은 여러 가지 목표물 중 하나로 이동하는 과제를 수행합니다. 이 그림은 로봇의 시작 위치가 실험 결과에 어떤 영향을 미치는지 이해하는 데 도움을 줍니다. 실험의 객관성과 재현성을 확보하기 위해, 시작 위치는 사전에 정해지고 모든 시도에 대해 동일하게 유지되었습니다. 각 시작 위치는 다양한 실내 환경의 특징을 반영하여 선택되었습니다.

read the caption

Figure 6: Starting Poses of (a) LoCoBot and (b) Stretch RE-1 used in the real world experiments. The arrow direction indicates where the agent faces with.

🔼 이 표는 논문의 4.1절 ‘POLIFORMER는 네 개의 벤치마크에서 최첨단 성능을 달성합니다’에서 나온 결과를 보여줍니다. 특히 LoCoBot 로봇을 사용한 세 가지 시뮬레이션 환경(ProcTHOR-10k, ArchitecTHOR, AI2-iTHOR)에서의 객체 목표 탐색 성공률을 보여줍니다. ProcTHOR-10k는 검증(validation) 세트, ArchitecTHOR와 AI2-iTHOR는 테스트(test) 세트 결과입니다. 여러 모델의 성능을 비교하여 POLIFORMER 모델의 우수성을 강조합니다.

read the caption

(b) LoCoBot on ProcTHOR-10k (val), ArchitecTHOR and AI2-iTHOR (test)

🔼 표 1은 PoliFormer가 네 개의 ObjectNav 벤치마크에서 최첨단 성능을 달성했음을 보여줍니다. (a)는 Stretch RE-1 구현체를 사용하는 Chores-S ObjectNav 벤치마크의 결과로, PoliFormer는 이전 최첨단(IL 기반 SPOC)을 압도적으로 능가합니다. (b)는 세 가지 LoCoBot 구현체 테스트 세트에 대한 결과로, PoliFormer는 기존의 모든 연구 결과(모두 RL을 사용하여 학습)를 능가합니다.

read the caption

Table 1: Across four ObjectNav benchmarks, PoliFormer obtains SoTA performance. (a) Results on the Chores-𝕊𝕊\mathbb{S}blackboard_S ObjectNav benchmark, which uses the Stretch RE-1 embodiment, PoliFormer dramatically outperforms the previous SoTA, IL-trained SPOC. (b) On three LoCoBot-embodiment test suites, PoliFormer outperforms all prior work (all trained using RL).

🔼 이 표는 모델 용량을 확장하기 위한 설계 선택에 대한 ablation 연구 결과를 보여줍니다. 다양한 비전 백본, 인코더, 디코더 아키텍처를 사용한 POLIFORMER의 성능을 비교하여, 각 구성 요소가 전체 모델 성능에 미치는 영향을 분석합니다. 이를 통해 모델의 성능 향상에 기여한 주요 요소를 파악하고, 향후 모델 개선 방향을 제시합니다.

read the caption

(a) Ablations on design choices for scaling model capacity

🔼 이 표는 실제 환경에서 POLIFORMER의 성능을 보여줍니다. 두 가지 로봇 플랫폼(Stretch RE-1과 LoCoBot)을 사용하여 실제 환경에서 여러 탐색 작업을 수행한 결과를 보여줍니다. 각 로봇과 작업에 대한 성공률을 보여주어, 시뮬레이션 환경에서만 훈련된 POLIFORMER가 실제 환경에서 얼마나 잘 일반화되는지 보여줍니다. Phone2Proc과 같은 기존 방법과 비교하여 POLIFORMER의 성능 우위를 강조합니다.

read the caption

(b) Real-world results - Success

🔼 표 2는 모델의 용량을 확장하기 위한 설계 선택에 대한 ablation 연구와 두 가지 다른 임베디먼트에 대한 실제 환경 결과를 보여줍니다. (a)는 모델 용량 조정을 위한 설계 선택에 대한 ablation 연구 결과를, (b)는 두 가지 다른 로봇 플랫폼에서 얻은 실제 환경 결과를 보여줍니다.

read the caption

Table 2: We present (a) ablation studies on design choices for scaling up model capacity; and (b) the real-world results, on two different embodiements.