Orient Anything: Learning Robust Object Orientation Estimation from Rendering 3D Models

🔼 그림 2는 3D 객체의 방향 데이터 수집 파이프라인을 보여줍니다. 이 파이프라인은 세 가지 단계로 구성됩니다. 1단계는 기본 3D 모델 필터링으로, 기울어진 3D 객체를 제거합니다. 2단계는 방향 주석 추가 단계로, 고급 2D VLM을 사용하여 여러 직교 관점에서 객체의 정면을 식별하고, 시각적 대칭성을 활용하여 후보를 좁힙니다. 3단계는 자유 시점 렌더링으로, 무작위 및 자유로운 시점에서 이미지를 렌더링하고, 카메라의 방위각(φ), 고도각(θ), 회전각(δ)로 객체의 방향을 나타냅니다.

read the caption

Figure 2: The orientation data collection pipeline is composed of three steps: 1) Canonical 3D Model Filtering: This step removes any 3D objects in tilted poses. 2) Orientation Annotating: An advanced 2D VLM is used to identify the front face from multiple orthogonal perspectives, with view symmetry employed to narrow the potential choices. 3) Free-view Rendering: Rendering images from random and free viewpoints, and the object orientation is represented by the polar θ𝜃\thetaitalic_θ, azimuthal φ𝜑\varphiitalic_φ and rotation angle δ𝛿\deltaitalic_δ of the camera.

🔼 그림 4는 Orient Anything 모델의 아키텍처를 보여줍니다. 이 모델은 간단한 시각적 인코더와 여러 예측 헤드로 구성됩니다. 입력 이미지의 객체가 의미있는 정면을 가지고 있는지 판단하고, 3D 방향의 확률 분포에 맞추도록 학습됩니다. 인코더는 이미지의 특징을 추출하고, 각 예측 헤드는 극좌표(polar), 방위각(azimuth), 회전각(rotation) 세 가지 각도의 확률 분포를 예측합니다. 이러한 확률 분포는 가우시안 분포 또는 원형 가우시안 분포를 사용하여 모델링되어 각도의 주기성을 고려합니다. 모델은 또한 객체가 의미있는 정면을 가지고 있는지 여부를 나타내는 신뢰도 점수를 출력합니다. 이는 대칭적인 객체(예: 공)에 대한 처리를 개선하는 데 도움이 됩니다.

read the caption

Figure 3: Orient Anything consists of a simple visual encoder and multiple prediction heads. It is trained to judge if the object in the input image has a meaningful front face and fits the probability distribution of 3D orientation.

🔼 그림 4는 세 가지 초매개변수(σθ, σφ, σδ)에 대한 ablation 연구 결과를 보여줍니다. 각 초매개변수는 각도의 확률 분포를 정의하는 데 사용되며, 이 연구는 각 초매개변수 값을 변경했을 때 모델 성능에 미치는 영향을 조사합니다. x축은 초매개변수 값을 나타내고, y축은 특정 지표(예: 정확도)를 나타냅니다. 이 그림을 통해 연구자들은 모델 성능에 가장 적합한 초매개변수 값을 찾을 수 있습니다. 각 그래프는 특정 각도(polar, azimuth, rotation)에 대한 정확도를 보여주며, 최적의 성능을 달성하는 초매개변수 값의 범위를 시각적으로 보여줍니다.

read the caption

Figure 4: Ablation study for hyper-parameter σθsubscript𝜎𝜃\sigma_{\theta}italic_σ start_POSTSUBSCRIPT italic_θ end_POSTSUBSCRIPT, σφsubscript𝜎𝜑\sigma_{\varphi}italic_σ start_POSTSUBSCRIPT italic_φ end_POSTSUBSCRIPT and σδsubscript𝜎𝛿\sigma_{\delta}italic_σ start_POSTSUBSCRIPT italic_δ end_POSTSUBSCRIPT.

🔼 그림 5는 텍스트 프롬프트를 사용하여 생성된 이미지들을 보여줍니다. 왼쪽 두 이미지는 DALL-E 3 [5]에서, 오른쪽 두 이미지는 FLUX [21]에서 생성되었습니다. 정확한 방향 추정은 생성된 콘텐츠가 주어진 방향 또는 관점 조건을 따르는지 확인하는 데 도움이 됩니다. 이 그림은 DALL-E 3과 FLUX 두 모델이 생성한 이미지들이 주어진 텍스트 프롬프트에 따라 얼마나 정확하게 방향과 원근감을 표현했는지 시각적으로 비교 분석하는 데 사용됩니다. 예를 들어, 프롬프트가 ‘왼쪽으로 30도 기울어진 차’ 라면 생성된 이미지의 차가 실제로 왼쪽으로 30도 기울어져 있는지 확인할 수 있습니다. 이는 이미지 생성 모델의 정확성과 신뢰성을 평가하는 데 중요한 지표가 됩니다.

read the caption

Figure 5: Generated images with given textual prompt (left two from DALL-E 3 [5], right two from FLUX [21]). Accurate orientation estimation is helpful to confirm whether generated contents follow the given orientation or perspective condition.

🔼 그림 6은 논문의 실험 결과 중 COCO 데이터셋에 대한 정성적 결과를 보여줍니다. COCO 데이터셋의 다양한 이미지들에서 객체의 방향을 추정하는 Orient Anything 모델과 기존 방법인 Cube RCNN의 성능을 시각적으로 비교하여 보여줍니다. 각 이미지마다 실제 객체의 방향(Ground Truth), Cube RCNN의 예측 결과, 그리고 Orient Anything 모델의 예측 결과가 함께 제시되어, 모델의 정확도와 한계를 직관적으로 파악할 수 있도록 합니다. 특히, 다양한 종류의 객체들과 복잡한 배경 환경에서의 성능을 비교하여 모델의 일반화 능력을 평가합니다.

read the caption

Figure 6: Qualitative results on COCO

🔼 그림 7은 SUN RGB-D 데이터셋에 대한 정성적 결과를 보여줍니다. Cube RCNN과 Orient Anything 모델이 예측한 물체의 방향(빨간색 축)을 실제 정답과 비교하여 보여주는 여러 이미지들이 제시되어 있습니다. 각 이미지는 모델의 예측 성능을 시각적으로 평가할 수 있도록 실제 물체의 방향과 모델이 예측한 방향을 함께 표시합니다. 이를 통해 두 모델의 장단점과 성능 차이를 직관적으로 이해할 수 있습니다.

read the caption

Figure 7: Qualitative results on SUN RGB-D.

🔼 그림 8은 KITTI와 nuScenes 데이터셋에 대한 정성적 결과를 보여줍니다. Cube R-CNN과 Orient Anything 모델의 객체 방향 예측 결과를 기준 진실(Ground Truth)과 비교하여 시각적으로 제시합니다. 각 이미지는 세 가지 결과(기준 진실, Cube R-CNN, Orient Anything)를 상단부터 차례대로 보여주며, 빨간색, 녹색, 파란색 축은 각각 객체의 방향을 나타냅니다. 이를 통해 두 모델의 성능을 시각적으로 비교하고, Orient Anything 모델의 우수성을 보여줍니다. 특히 다양한 시점과 조명 조건에서도 Orient Anything 모델이 더 정확한 방향 예측을 수행하는 것을 확인할 수 있습니다.

read the caption

Figure 8: Qualitative results on KITTI and nuScenes.

🔼 그림 9는 Objectron 데이터셋에 대한 정성적 결과를 보여줍니다. Cube RCNN과 Orient Anything 모델의 예측 결과와 실제 정답(Ground Truth)을 비교하여, 각 모델의 객체 방향 예측 성능을 시각적으로 보여줍니다. 다양한 물체들에 대한 예측 결과를 통해 각 모델의 강점과 약점을 파악할 수 있습니다. 특히 Orient Anything 모델이 더욱 정확하게 객체 방향을 예측하는 것을 확인할 수 있습니다.

read the caption

Figure 9: Qualitative results on Objectron.

🔼 표 2는 합성 이미지와 실제 이미지에 대한 방향 추정 결과를 보여줍니다. ‘합성 이미지’는 논문에서 제시된 3D 모델 렌더링 과정을 통해 생성된 이미지이며, ‘실제 이미지’는 실제 세계에서 촬영된 이미지입니다. 표는 각각의 이미지 유형에 대해, 모델의 성능을 평가하는 다양한 지표를 제시합니다. 이 지표들은 객체의 방향 판단 정확도(Judgment), 방위각(Azimuth), 고도각(Polar), 회전각(Rotation) 추정의 정확도와 절대 오차를 포함합니다. 가장 좋은 결과는 굵게 표시되어 있습니다. 이 표는 제시된 모델의 합성 데이터에서의 성능뿐 아니라 실제 데이터에 대한 일반화 능력도 보여줍니다.

read the caption

Table 2: Orientation estimation on both in-domain rendered images and out-of-domain real images. The best results are bold.

🔼 표 3은 논문에서 제시된 Orient Anything 모델의 영상 기반 객체 방향 추정 성능을 다섯 가지 실제 이미지 벤치마크(SUN RGB-D, KITTI, nuScenes, Objectron, ARKitScenes)에서 평가한 결과를 보여줍니다. 각 벤치마크에 대해, 모델이 예측한 방향(방위각, 고도각, 회전각)과 실제 방향 간의 절대 오차(도 단위)를 계산하여 성능을 평가했습니다. 이 표는 Orient Anything 모델이 사전에 학습되지 않은 실제 이미지 데이터에서도 우수한 제로샷 성능을 보임을 보여주는 중요한 결과를 담고 있습니다.

read the caption

Table 3: Zero-shot orientation estimation on five unseen real image benchmarks. Reported in absolute error.

🔼 표 4는 객체 방향 주석에 대한 ablation study 결과를 보여줍니다. 단일 뷰, 정규 뷰, 그리고 대칭성 정보를 활용한 세 가지 방식의 객체 방향 주석 방법에 대한 정확도를 비교 분석하여 어떤 방법이 가장 효과적인지 보여줍니다. 대칭성 정보 활용이 정확도 향상에 크게 기여함을 보여주는 결과입니다.

read the caption

Table 4: Ablation study for Orientation Annotation.

🔼 표 5는 학습 목표, 뷰의 수, 초기화 학습 및 데이터 증강에 대한 ablation study 결과를 보여줍니다. 각 요소가 모델 성능에 미치는 영향을 정량적으로 분석하여 최적의 설정을 찾는 데 도움이 됩니다. 구체적으로, 연속값 회귀, 이산 각도 분류, 확률 분포 적합 세 가지 학습 방식의 성능을 비교하고, 렌더링된 이미지의 개수, 사전 훈련된 모델, 데이터 증강 기법(이미지 자르기, 마스크를 사용한 객체 분리)의 효과를 분석합니다.

read the caption

Table 5: Ablation study for Learning Objective, Number of Views, Training Initialization and Data Augmentation.

🔼 표 6은 전면부와 방향이 주석 처리된 COCO 데이터셋의 각 객체 범주에 대한 상세한 수평 방향 인식 정확도를 보여줍니다. Orient Anything의 성능과 다른 방법들의 최고 성능 간의 차이도 함께 제시합니다. 표는 각 객체 범주별로 Cube RCNN, Gemini, GPT-40 및 Orient Anything(ViT-L) 모델의 정확도를 비교하여 보여줍니다. 각 모델의 성능 차이를 백분율로 표시하여, Orient Anything 모델의 우수성을 더욱 명확하게 나타냅니다.

read the caption

Table 6: Detailed horizontal direction recognition accuracy for each object category in COCO that is annotated with front face and orientation. The differences between Orient Anything and the best results achieved by other alternative methods are also provided.