Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models

🔼 그림 2는 기존 비디오-언어 모델의 구조를 보여줍니다. 왼쪽에서 오른쪽으로, 초기 접근 방식은 이미지와 비디오 입력 모두에 이미지 인코더를 사용합니다. 정렬 모듈은 시각적 모드의 임베딩을 언어 모드와 정렬합니다. Q-Former의 통합은 이러한 정렬을 개선했습니다. 단일 인코더 대신, 이중 인코더 접근 방식은 이미지와 비디오에 대해 별도의 인코더를 사용하며, 여기서 정렬 블록은 투영 계층으로 구성됩니다. 그러나 추가 인코더는 이러한 모델을 매우 무겁게 만들어 정렬 모듈과 인코더가 최소 3억 개, 때로는 10억 개가 넘는 매개변수를 갖게 됩니다. 반면에 본 논문의 인코더 없는 설계(맨 오른쪽)는 새로운 공간-시간 정렬 블록(STAB)을 통해 비디오 입력을 직접 처리합니다. 이는 무거운 사전 훈련된 인코더의 필요성을 없애고 5천만 개 미만의 매개변수만 필요로 합니다.

read the caption

Figure 2: Existing video-language model architectures: From left to right: Early approaches use image encoders for both image and video inputs. The alignment module aligns the embeddings of the visual modality with the language modality. The integration of Q-Former improved this alignment. Instead of a single encoder, dual encoder approaches have separate encoders for images and videos where the alignment block consists of projection layers. The additional encoders, however, make these models very heavy where the alignment module and encoders have at least 300M and sometimes over 1B parameters. In contrast, our encoder-free design (rightmost) directly processes video inputs through a novel spatio-temporal alignment block (STAB). It eliminates the need for heavyweight pretrained encoders and requires less than 50M parameters.

🔼 그림 3은 비디오-판다 모델의 핵심 구성 요소인 시공간 정렬 블록(Spatio-Temporal Alignment Block, STAB)의 상세 아키텍처를 보여줍니다. 먼저 입력 비디오는 패치로 변환됩니다. 국소 시공간 인코딩(Local Spatio-Temporal Encoding, LSTE)은 3D 합성곱을 사용하여 시공간 관계를 모델링하고, 3D 합성곱 동적 위치 인코딩(Dynamic Position Encoding, DPE)을 추가하여 국소 시공간 윈도우에 대한 위치 정보를 인코딩합니다. 그 결과, 위치 인코딩이 포함된 프레임 단위 토큰을 얻게 됩니다. 이 토큰들은 두 가지 방식으로 처리됩니다. 상단의 전역 시공간 관계 집계기(Global Spatio-Temporal Relationship Aggregator, GSTRA)는 비디오 수준의 맥락을 포착하는 반면, 하단의 프레임별 공간 관계 집계기(Frame-wise Spatial Relationship Aggregator, FSRA)는 각 프레임 내의 공간적 맥락을 포착합니다. 계산 비용을 줄이기 위해, 국소 공간 다운샘플링(Local Spatial Downsampling, LSD)을 수행하여 각 토큰의 공간 차원을 줄입니다. 비디오 수준 맥락 토큰과 프레임별 공간 토큰은 학습 가능한 가중치 융합(α)을 통해 선형적으로 결합되어 프레임별 맥락 토큰을 생성합니다. 이러한 맥락 토큰은 해당 프레임의 평평화된 공간 토큰 앞에 추가되고, 분할 토큰이 공간 레이아웃에서 행 경계를 구분하기 위해 삽입됩니다. 전역적 맥락과 보존된 공간 구조의 결합은 계산 효율성을 유지하면서 효과적인 비디오 이해를 가능하게 합니다.

read the caption

Figure 3: Detailed architecture of our Spatio-Temporal Alignment Block (STAB): The input video is first converted into patches. The Local Spatio-Temporal Encoding (LSTE) uses 3D convolutions to model spatio-temporal relations and adds a 3D convolution dynamic position encoding (DPE) to encode position with respect to the local spatio-temporal window. As a result, we obtain per-frame tokens with positional encoding. The tokens are then processed in two ways. While the Global Spatio-Temporal Relationship Aggregator (GSTRA) at the top captures video-level context, the Frame-wise Spatial Relationship Aggregator (FSRA) at the bottom captures spatial context within each frame. To reduce the cost, we perform a Local Spatial Downsampling (LSD) to reduce the spatial dimension for each token. The video-level context tokens and the frame-wise spatial tokens are then linearly combined through learnable weighted fusion (α𝛼\alphaitalic_α), producing a frame-specific context token. These context tokens are then prepended to their respective frame’s flattened spatial tokens, with split tokens inserted to demarcate row boundaries in the spatial layout. This combination of global context and preserved spatial structure enables effective video understanding while maintaining computational efficiency.

🔼 그림 4는 Frame-wise Spatial Relationship Aggregator(FSRA)와 Global Spatio-Temporal Relationship Aggregator(GSTRA)를 제거했을 때 모델 성능에 미치는 영향을 보여주는 정성적 예시들을 보여줍니다. 각각의 예시는 질문, 정답, 그리고 FSRA 또는 GSTRA가 제거된 모델의 예측 결과를 포함합니다. 이를 통해 각 모듈이 영상 이해에 미치는 영향을 시각적으로 보여주고, 특히 공간적 및 시간적 관계를 모델링하는 데 있어 각 모듈의 역할을 강조합니다. 예를 들어, FSRA를 제거하면 세부적인 동작을 제대로 해석하지 못하고, GSTRA를 제거하면 전체 영상의 맥락을 고려하지 못하는 것을 확인할 수 있습니다.

read the caption

Figure 4: Qualitative examples showing the impact of removing Frame-wise Spatial Relationship Aggregator (FSRA) and Global Spatio-Temporal Relationship Aggregator (GSTRA).

🔼 그림 5는 비디오 판다의 질적 절삭 연구 결과를 보여줍니다. 8개의 비디오 예시와 각각의 정답(GT), 그리고 다양한 학습 설정 하에서 모델의 예측 결과를 보여줍니다. 위쪽 행에서는 1단계에서 702K개의 학습 샘플을 사용한 효과와 국소 공간 다운샘플링(LSD)을 국소 공간-시간 인코딩(LSTE) 전에 수행한 영향을 보여줍니다. 두 번째 행에서는 평균 풀링, 반감 해상도, 퍼시버 리샘플러를 사용하여 LSD를 제거한 결과를 보여줍니다. 세 번째 행 오른쪽과 아래쪽 행에서는 Intern-Video와 CLIP을 사용하고 DINOv2를 활용하여 지식 증류를 적용한 다양한 교사 모델의 효과를 보여줍니다. 각 예시에는 원래 모델의 예측(노란색)과 절삭된 버전(보라색)이 포함되어 있어 아키텍처 및 학습 선택이 동적 시각 장면을 해석하고 질문에 정확하게 답하는 비디오 판다의 능력에 어떤 영향을 미치는지 보여줍니다.

read the caption

Figure 5: Comparative analysis of Video-Panda qualitative ablation studies: The figure presents eight video examples with ground truth (GT) annotations and model predictions under different training configurations. The top row demonstrates: the effect of 702K training samples in stage 1, and the impact of performing Local Spatial Downsampling (LSD) before Local Spatial-Temporal Encoding (LSTE). The second row shows results from removing LSD while using: average pooling, half-resolution and perceiver resampler (third row left). The third row right and bottom row illustrate the effects of different teacher models: using Intern-Video and CLIP, and utilizing DINOv2 for knowledge distillation. Each example includes the original model prediction (yellow) and an ablated version (purple), highlighting how architectural and training choices affect Video-Panda’s ability to interpret dynamic visual scenes and answer questions accurately.

🔼 표 2는 비디오 언어 모델의 세분화된 비디오 질문 답변 메트릭에 대한 비교 결과를 보여줍니다. 정확성, 상세 정보, 맥락, 시간적 추론 및 일관성 등 다섯 가지 측면에서 1~5점 척도로 평가했습니다. Video-LLaVA*는 공정한 비교를 위해 비디오 전용 데이터셋으로 학습된 모델입니다. 각 지표는 모델이 비디오의 내용을 얼마나 정확하게 이해하고, 자세한 정보를 얼마나 잘 제공하고, 문맥을 얼마나 잘 파악하며, 시간적 흐름을 얼마나 잘 추론하고, 응답의 일관성을 얼마나 잘 유지하는지를 평가합니다.

read the caption

Table 2: Comparison of video-language models on fine-grained video question answering metrics (scale 1-5) across correctness, detail, context, temporal reasoning, and consistency. Video-LLaVA*: trained with video-only datasets for fair comparison.

🔼 본 표는 논문에서 제시된 비디오 이해 모델의 성능 비교를 위한 표입니다. ‘Vision part’는 이미지 또는 비디오를 처리하는 부분을 의미하며, 모델의 파라미터 수와 추론 속도를 비교하여 효율성을 평가합니다. VideoChatGPT와 Video-LLaVA 모델과 비교하여 Video-Panda 모델의 파라미터 수가 훨씬 적으면서도 추론 속도가 빠름을 보여줍니다. 이를 통해 Video-Panda 모델의 계산 효율성을 강조합니다.

read the caption

Table 3: Comparison of the number of parameters and inference time of the vision part.

🔼 표 4는 제안된 Spatio-Temporal Alignment Block (STAB)의 공간 및 시간적 모듈 제거에 따른 영향을 분석한 결과를 보여줍니다. 각 모듈(LSTE, GSTRA, FSRA, LSD, )을 제거했을 때 MSVD-QA 및 Activity Net-QA 데이터셋에서의 정확도와 점수 변화를 비교하여 각 모듈의 역할과 중요성을 보여줍니다. 결과적으로 각 모듈이 모델 성능에 미치는 영향을 정량적으로 제시하여 STAB 설계의 타당성을 뒷받침합니다.

read the caption

Table 4: Ablation study on the impact of removing different spatial and temporal modules used in our design.

🔼 표 5는 증류 손실을 사용하지 않거나 다른 손실 함수(MSE)를 사용했을 때 모델 성능에 미치는 영향을 보여주는 실험 결과입니다. 비교를 위해 증류 손실을 사용한 경우와 MSE 손실을 사용한 경우, 그리고 증류 손실 자체를 사용하지 않은 경우의 MSVD-QA와 Activity Net-QA 데이터셋에 대한 성능 지표(정확도/점수)를 비교 분석하여 각 방법의 효과를 보여줍니다.

read the caption

Table 5: Ablation study on the impact of not using distillation loss or a different (MSE) loss.

🔼 표 6은 Video-Panda 모델의 세 가지 훈련 단계(Stage-1, Stage-2, Stage-3)에 대한 하이퍼파라미터 설정을 보여줍니다. 각 단계별로 배치 크기, 학습률, 학습률 스케줄, 가중치 감쇠, 옵티마이저, 그리고 STAB(Spatio-Temporal Alignment Block)에 대한 훈련 설정 등이 자세하게 나열되어 있습니다. 이 표는 Video-Panda 모델의 성능에 영향을 미치는 다양한 하이퍼파라미터를 이해하는 데 도움을 줍니다.

read the caption

Table 6: Hyperparameter Settings

🔼 이 표는 논문의 첫 번째 훈련 단계에서 사용되는 데이터 양에 따른 실험 결과를 보여줍니다. 351K 비디오-텍스트 쌍(데이터셋의 절반)과 전체 702K 비디오-텍스트 쌍을 각각 사용하여 훈련시켰을 때의 MSVD-QA와 Activity Net-QA 성능 지표(정확도 및 점수)를 비교 분석하여 최적의 데이터 양을 찾는 실험 결과가 제시되어 있습니다.

read the caption

Table 7: Ablation study on amount of data for the first training stage.

🔼 표 8은 LSD(Local Spatial Downsampling)의 다운샘플링 위치를 변경했을 때 모델 성능에 미치는 영향을 보여주는 실험 결과를 나타냅니다. LSTE(Local Spatio-Temporal Encoding) 전과 후 두 가지 위치에서 LSD를 적용한 결과를 비교 분석하여, 각 위치에서의 성능 변화를 정량적으로 제시합니다. MSVD-QA, MSRVTT-QA, TGIF-QA, Activity Net-QA 네 가지 데이터셋에 대한 정확도 점수와 신뢰도 점수를 제시하여, LSD의 다운샘플링 위치가 모델 성능에 미치는 영향을 종합적으로 평가합니다.

read the caption

Table 8: Ablation study on downsampling positions of LSD.

🔼 표 9는 다양한 다운샘플링 기법의 영향을 평가하기 위한 추가 실험 결과를 보여줍니다. 본 연구에서는 비디오 프레임의 공간적 해상도를 줄이기 위해 학습 기반의 지역적 공간 다운샘플링(LSD) 기법을 제안합니다. 이 표는 LSD를 사용하지 않은 경우, 평균 풀링을 사용한 경우, 그리고 Perceiver Resampler [2]를 사용한 경우의 세 가지 다른 다운샘플링 방법에 대한 비교 결과를 보여줍니다. 각 방법에 따른 MSVD-QA와 Activity Net-QA 데이터셋에서의 정확도와 점수를 비교하여 LSD 기법의 효과를 검증합니다. Perceiver Resampler는 비교 대상 기법 중 하나입니다.

read the caption

Table 9: Ablation study on downsampling methods. PR stands for Perceiver Resampler [2].

🔼 표 10은 다양한 teacher 인코더를 사용했을 때의 비교 실험 결과를 보여줍니다. Video-Panda 모델의 성능에 teacher 인코더가 미치는 영향을 확인하기 위해 LanguageBind, InternVideo, CLIP, DINOv2 네 가지 인코더를 사용하여 실험을 진행했습니다. 표에는 각 teacher 인코더를 사용했을 때 MSVD-QA와 Activity Net-QA 데이터셋에서의 정확도를 비교하여 나타내고 있습니다. 이를 통해 Video-Panda 모델에서 가장 적합한 teacher 인코더를 확인하고, 성능 향상에 기여하는 요인을 분석하고자 합니다.

read the caption

Table 10: Ablation study different teacher encoders.