EnerVerse: Envisioning Embodied Future Space for Robotics Manipulation

🔼 그림 2는 제안된 차례대로 확산 모델의 구조를 보여줍니다. (a)에서는 카메라 i에서 캡처한 관측 프레임 시퀀스와 해당 광선 방향 맵을 관측 사전 정보로 사용합니다. 이러한 카메라 관측을 활용하여 깊이 래핑 및 렌더링을 통해 초기 3D 재구성을 얻은 다음, 여러 개의 자유 앵커 뷰(FAV)를 설정합니다. 카메라 관측 프레임 외에도 FAV의 렌더링 프레임을 후속 청크 확산 모델의 컨텍스트 사전 정보로 사용합니다. 앵커 뷰 i+1 시퀀스를 합성하기 위해 해당 광선 방향 맵을 비디오 잠재 변수와 연결합니다. 카메라가 정지해 있을 때만 카메라의 관측 이미지를 선택적으로 사용하고, 모든 센서가 움직이는 경우 렌더링된 이미지만 컨텍스트 사전 정보로 사용할 수 있습니다. (b)는 청크 단위 자기 회귀 훈련 과정을 보여줍니다. 연속 시퀀스에서 무작위로 선택한 깨끗한 프레임을 노이즈 프레임과 연결하여 잡음 제거된 잠재 변수를 예측합니다. 추론 단계에서 잡음 제거된 프레임이 생성되면 다음 추론 단계를 위한 새로운 깨끗한 프레임으로 사용됩니다. 이러한 반복적인 과정은 미리 정의된 EOS(End-Of-Sequence) 프레임이 발생할 때까지 계속됩니다. 자기 회귀 생성 과정을 간소화하기 위해 (b)에서는 하나의 뷰만 시각화하지만, 모델은 다중 뷰 생성을 완벽하게 지원합니다.

read the caption

Figure 2: The architecture of our proposed next-chunk diffusion model. As shown in Figure (a), a sequence of observational frames, captured by camera i𝑖iitalic_i and accompanied by the corresponding ray direction map, is utilized as observation priors. Leveraging these camera observations, an initial 3D reconstruction is obtained through depth wrapping and rendering Lassner and Zollhofer (2021), then several Free Anchor Views are established accordingly. In addition to camera observational frames, a render frame from the FAV is also employed as context priors for the subsequent chunk diffusion models. To synthesize the anchor view i+1𝑖1i+1italic_i + 1 sequence, the respective ray direction map is concatenated with the video latent. Notably, the observational image from the camera is optional and used only when the camera is static. If all sensors are in motion, the rendered image alone can serve as the context prior. In the context of the chunk-wise autoregressive training process, as depicted in Figure (b), clean frames selected at random from consecutive sequences are concatenated with noisy frames to forecast denoised latents. During the inference phase, once denoised frames are produced, they are utilized as the new set of clean frames for the following inference step. This iterative process persists until the predefined End-Of-Sequence (EOS) frame is encountered. Notably, we visualize only one view in Figure (b) to simplify the demonstration of the autoregressive generation process, but multi-view generation is fully supported by the model.

🔼 그림 3은 EnerVerse의 데이터 엔진으로서의 파이프라인을 보여줍니다. 여러 대의 카메라에서 캡처한 관측 이미지와 앵커 뷰에서 렌더링된 이미지가 다중 뷰 비디오 생성기를 통해 처리되어 잡음이 제거된 다중 뷰 비디오를 생성합니다. 이러한 비디오는 해당하는 카메라 포즈와 함께 4D 가우시안 스플래팅(4D GS)에 사용되어 4D 장면 재구성을 수행합니다. 재구성된 콘텐츠는 앵커 뷰에서 렌더링되어 고정밀 이미지를 생성하며, 이 이미지는 모션 일관성과 재구성 품질을 향상시키기 위해 반복적으로 파이프라인에 다시 입력됩니다. 이러한 반복 루프는 기하학적 일관성과 생성적 개선을 결합하여 로봇 조작과 같은 작업에 대해 고품질 출력을 제공합니다.

read the caption

Figure 3: The pipeline for EnerVerse as a data engine. Observation images captured from multiple cameras, along with rendered images from anchor views, are processed by the multi-view video generator to produce denoised multi-view videos. These videos, paired with their corresponding camera poses, are utilized in 4D Gaussian Splatting (4D GS) for 4D scene reconstruction. The reconstructed content is rendered from anchor views to generate high-precision images, which are iteratively fed back into the pipeline to enhance motion consistency and reconstruction quality. This iterative loop combines geometric consistency with generative refinement, delivering high-fidelity outputs for tasks such as robotic manipulation.

🔼 그림 4는 LIBERO 벤치마크에서 자유 앵커 뷰(FAV) 생성을 보여줍니다. 앵커 뷰 1은 장착된 카메라로 캡처한 관찰 이미지를 나타냅니다. 앵커 뷰 2와 앵커 뷰 3은 깊이 래핑을 사용하여 앵커 뷰 1에서 재구성된 점 구름으로부터 렌더링하여 생성됩니다. 이 그림은 로봇이 다양한 각도에서 장면을 관찰할 수 있도록 여러 관점을 제공하는 FAV의 개념을 보여줍니다. 깊이 래핑을 통해 하나의 카메라 관찰만으로도 다양한 앵커 뷰를 생성할 수 있음을 시각적으로 보여줍니다.

read the caption

Figure 4: Visualization of FAVs generation on the LIBERO benchmark. Anchor View 1 represents the observation image captured by a mounted camera. Anchor View 2 and Anchor View 3 are generated by rendering from a point cloud reconstructed from Anchor View 1 using depth wrapping.

🔼 그림 5는 RT-1 데이터셋에서 EnerVerse와 DynamiCrafter(FN)의 단일 뷰 비디오 생성에 대한 정성적 비교를 보여줍니다. EnerVerse는 42번째 프레임에서 EOS(End of Sequence) 프레임을 예측하므로, 생성된 시퀀스에서 8번째, 16번째, 24번째, 41번째 프레임을 시각화하여 비교합니다. DynamiCrafter(FN)에 의해 생성된 시퀀스는 장기 작업의 논리를 유지하지 못하고 시퀀스가 길어짐에 따라 많은 환각을 생성하는 반면, EnerVerse에 의해 생성된 시퀀스는 논리적으로 일관되고 지속적으로 작업의 전체 미래 공간을 생성하며 EOS 프레임을 정확하게 예측합니다.

read the caption

Figure 5: Qualitative comparison for single view video generation between EnerVerse and DynamiCrafter(FN) on RT-1 dataset. Since EnerVerse predict EOS frame at 42th frame for this task, we visualize 8th, 16th, 24th and 41th frame sampled from both generated sequence. The sequences generated by DynamiCrafter(FN) did not maintain the logic of the long-range task, producing many hallucinations as the sequence grew. In contrast, the sequence generated by EnerVerse was logically coherent, continuously and completely generating the future space of the entire task, and accurately predicting the EOS (End of Sequence) frame.

🔼 그림 6은 제시된 EnerVerse 모델이 여러 각도에서 생성한 비디오 프레임을 보여줍니다. 왼쪽은 LIBERO 벤치마크 데이터셋을 사용한 시뮬레이션 결과이고, 오른쪽은 AgiBot World AgiBot (2024) 데이터셋으로부터 수집된 실제 로봇 조작 데이터를 사용한 결과입니다. 하나의 뷰는 고정된 RGB 센서와 중복되고, 다른 뷰들은 수동으로 설정됩니다. 시각화된 프레임들은 생성된 시퀀스에서 균일하게 샘플링됩니다. 다양한 뷰에서 객체의 일관성을 강조하기 위해 빨간색 사각형으로 강조 표시했습니다. 이는 EnerVerse 모델의 다중 관점 비디오 생성 능력과 실제 로봇 조작 환경에 대한 적응력을 보여주는 정성적 결과입니다.

read the caption

Figure 6: Qualitative results for multi anchor view generation on LIBERO benchmark (left) and real-world manipulation data (right), collected from AgiBot World AgiBot (2024). One view is overlapped with a fixed RGB sensor and other views are manully set. Visualized Frames are uniformly sampled from generated sequence. We emphasize the consistency of objects across views by highlighting them with a red rectangle.

🔼 그림 7은 비디오 생성에서 맥락 메모리 메커니즘의 제거 실험 결과를 보여줍니다. 연속적인 맥락을 사용하여 생성 모델에 과거 정보를 제공하면 (첫 번째 줄), 예상치 못한 모델 붕괴가 발생하는 경우가 많습니다. 반면에, 희소 메모리를 사용하는 모델은 (두 번째 줄) 강력한 성능을 보이며 컴퓨팅 자원을 절약합니다. 첫 번째 줄은 연속된 프레임들을 모두 사용하는 반면, 두 번째 줄은 일부 프레임만 선택적으로 사용하여 메모리 효율을 높이고, 과도한 정보로 인한 부정확성을 줄이는 효과를 보여줍니다.

read the caption

Figure 7: Ablation results for context memory mechanism in video generation. Providing history information to the generation model with consecutive context (first line) often leads to unexpected model collapse while the model with sparse memory (second line) shows robust performance and save mush computing resources.

🔼 그림 8은 모델의 여러 어텐션 헤드와 레이어에서의 어텐션 맵을 보여줍니다. Y축은 8단계에 걸친 예측된 액션 공간(쿼리)을 나타내고, X축은 키-값 공간을 나타냅니다. KV 공간의 처음 4열은 스파스 메모리 공간의 정보에 해당하고, 나머지 8열은 예측된 미래 공간에 해당합니다. 이 맵들은 모델이 액션을 예측할 때 스파스 메모리 조건(왼쪽)과 미래 공간 조건(오른쪽)에 어떻게 주의를 기울이는지 보여줍니다. 밝은 노란색은 더 높은 어텐션 점수를, 어두운 빨간색은 더 낮은 어텐션 점수를 나타냅니다. 각 열은 특정 시점의 정보를 나타내며, 모델이 시간이 지남에 따라 어떻게 주의를 집중하는지 보여줍니다.

read the caption

Figure 8: Attention maps from different attention heads and layers of the model. The y-axis represents the predicted action space (the Query), spanning 8 steps, while the x-axis represents the Key-Value space. The first 4 columns in the KV space correspond to information from the Sparse Memory space, while the last 8 columns correspond to the predicted future space. These maps highlight how the model attends to sparse memory conditions (left) and future space conditions (right) when predicting actions. The bright yellow indicates a higher attention score while dark red indicates a lower one.

🔼 표 2는 LIBERO 벤치마크의 네 가지 작업 세트에 대한 평가 결과를 보여줍니다. 이 표는 단일 및 다중 시각 입력 설정 모두에서 제안된 EnerVerse 방법이 우수한 성능을 달성했음을 보여줍니다. EnerVerse는 단일 시각 입력에서 평균 점수 84.0을 달성하여 MAIL(83.5) 및 OpenVLA(76.5)와 같은 강력한 기준보다 우수한 성능을 보였습니다. 세 개의 시각 입력 구성은 성능을 더욱 향상시켜 88.5의 평균 점수를 달성했으며, 이는 더욱 풍부한 시각 정보가 성능 향상에 기여함을 보여줍니다. 특히 EnerVerse는 공간(92.1 및 91.2), 객체(93.2 및 97.7), 장기(73.0 및 80.0) 작업에서 뛰어난 성능을 보여주는 균형 잡힌 성능을 모든 작업에서 보여주었습니다. 이는 제안된 아키텍처의 효율성과 향상된 이해 및 작업 성능을 위한 다중 시각 입력 활용의 효과를 검증합니다.

read the caption

Table 2: Evaluation results on the LIBERO benchmark across four task suites. Our method achieves superior performance in both single and multi-visual input settings.

🔼 표 3은 LIBERO-Long 작업에서 희소 메모리를 사용했을 때와 사용하지 않았을 때의 성능을 비교한 표입니다. 희소 메모리는 장기간에 걸친 작업에서 모델의 성능을 유지하는 데 중요한 역할을 합니다. 이 표는 희소 메모리의 효과를 정량적으로 보여줍니다.

read the caption

Table 3: Performance comparison on the LIBERO-Long task with and without Sparse Memory.

🔼 표 4는 논문의 실험 부분에서 LIBERO-Spatial 작업 세트에 대해 서로 다른 훈련 전략들을 비교 분석한 결과를 보여줍니다. 여러가지 훈련 방법(전체 모델을 처음부터 훈련, 일반적인 비디오 생성기 사전 훈련된 가중치로 초기화 후 훈련, 비디오 생성 손실과 로봇 정책 행동 손실을 동시에 최적화하며 훈련, 사전 훈련된 비디오 생성기를 사용 후 로봇 정책 손실만 최적화하며 미세 조정하는 방식)을 적용하여 로봇 작업 성공률을 측정했습니다. 이 표는 다양한 훈련 전략의 효과를 비교하여 최적의 훈련 방법을 제시하는 데 도움을 줍니다.

read the caption

Table 4: Performance comparison of different training strategies on the LIBERO-Spatial task suite. The metrics are the task success rates.