SeFAR: Semi-supervised Fine-grained Action Recognition with Temporal Perturbation and Learning Stabilization

🔼 그림 2는 SeFAR의 파이프라인 개요를 보여줍니다. SeFAR은 대부분의 입력 샘플이 레이블이 지정되지 않은 준지도 학습을 목표로 합니다. 준지도 학습 중에 SeFAR은 이중 수준의 시간적 요소 모델링을 채택하고 두 가지 방식(‘약한’ 대 ‘강한’)으로 증강을 수행합니다. 적당한 시간적 섭동에 의해 강하게 증강/왜곡된 샘플은 학생 모델에 의해 사용되는 반면, 약하게 증강된 샘플을 기반으로 교사 모델이 의사 레이블을 제공합니다. 손실 최소화(ℒ𝑢𝑛)을 통해 일관성이 강화됩니다. 비지도 학습 손실은 제안된 적응적 규제에 의해 추가로 조정됩니다. 이 프레임워크는 지도 학습 손실(ℒ𝑠𝑢𝑝)과 비지도 학습 손실(ℒ𝑢𝑛)의 가중 조합으로 학습됩니다.

read the caption

Figure 2: Overview of SeFAR pipeline. We target Semi-supervised FAR, assuming most input samples are unlabeled. During unsupervised learning, SeFAR adopts dual-level temporal elements modeling and performs augmentation in two manners (‘Weak’ vs. ‘Strong’). Strongly augmented/distorted samples by moderate temporal perturbation are used by the student model, while the teacher model offers pseudo-labels based on weakly augmented samples. Consistency is enforced through loss minimization (ℒu⁢nsubscriptℒ𝑢𝑛\mathcal{L}_{un}caligraphic_L start_POSTSUBSCRIPT italic_u italic_n end_POSTSUBSCRIPT). The unsupervised loss is further adjusted by our proposed Adaptive Regulation. The framework is trained with a weighted combination of supervised ℒs⁢u⁢psubscriptℒ𝑠𝑢𝑝\mathcal{L}_{sup}caligraphic_L start_POSTSUBSCRIPT italic_s italic_u italic_p end_POSTSUBSCRIPT and unsupervised ℒu⁢nsubscriptℒ𝑢𝑛\mathcal{L}_{un}caligraphic_L start_POSTSUBSCRIPT italic_u italic_n end_POSTSUBSCRIPT losses.

🔼 그림 3은 두 가지 내용을 보여줍니다. (a)는 K개의 비표지된 비디오에 대해 Teacher 모델이 여러 번 예측하여 예측 분포를 파악하는 과정을 보여줍니다. 이 과정에서 조잡한 동작 데이터보다 세밀한 동작 데이터에서 예측 분포의 변동성이 더 크다는 것을 보여줍니다. 이러한 변동성을 바탕으로 평균과 분산을 사용하여 적응형 계수 η를 계산하여 학습 과정을 안정화시킵니다. (b)는 SeFAR의 세밀한 특징을 사용한 MLLM 구성 파이프라인을 보여줍니다. SeFAR 모델의 특징 추출을 통해 MLLM의 성능 향상을 보여줍니다.

read the caption

Figure 3: (a) For K𝐾Kitalic_K unlabeled videos, the Teacher model predicts each video multiple times to capture the distribution of predictions, which shows less variability on coarse-grained data and more on fine-grained data. An adaptive coefficient η𝜂\etaitalic_η is calculated from the mean and variance of the distribution to stabilize training. (b) MLLM construction pipeline with SeFAR’s fine-grained features.

🔼 그림 4는 SeFAR 모델의 성능에 영향을 미치는 요소들을 분석한 결과를 보여줍니다. 왼쪽은 Gym-99 데이터셋(라벨링 비율 5%)에서 서로 다른 샘플링 조합을 사용했을 때 SeFAR-B 모델의 성능을 비교한 것입니다. 가운데는 FineDiving 데이터셋(라벨링 비율 5%)에서 고정 임계값 방법과 SeFAR의 적응적 조절 전략을 비교 분석한 결과입니다. 오른쪽은 여러 데이터셋에서 Teacher 모델의 예측값 변동성을 보여줍니다. 즉, 그림은 SeFAR 모델의 주요 구성 요소들의 효과를 실험적으로 검증하기 위한 ablation study 결과를 종합적으로 제시합니다.

read the caption

Figure 4: Ablation Studies. We compare SeFAR-B with different sampling combinations on Gym-99 5%, as illustrated on the left. We also contrast fixed threshold methods with our Adaptive Regulation strategy on FineDiving 5% in the middle. On the right side, we demonstrate the fluctuation of predictions made by the Teacher model across different datasets.

🔼 그림 5는 교사 모델의 예측 정확도와 신뢰도(왼쪽), 그리고 표준 편차(오른쪽) 사이의 관계를 보여줍니다. 왼쪽 패널은 교사 모델의 예측에 대한 신뢰도 수준과 그 정확도 사이의 상관관계를 보여줍니다. 높은 신뢰도를 가진 예측은 일반적으로 더 높은 정확도를 나타냅니다. 오른쪽 패널은 교사 모델의 예측에서 표준 편차와 그 정확도 사이의 관계를 보여줍니다. 예측의 분산이 작을수록 정확도가 높아지는 경향이 있습니다. 이 그림은 적응적 규제(Adaptive Regulation) 개념을 뒷받침하는 근거를 시각적으로 보여줍니다.

read the caption

Figure 5: The relationship between the Teacher model’s prediction accuracy and its confidence (left), as well as its standard deviation (right).

🔼 그림 6은 본 논문에서 새롭게 제안하는 Gym-QA 데이터셋의 예시를 보여줍니다. Gym-QA는 기존의 FineGym 데이터셋을 바탕으로 다중 선택지 질문 형태로 만들어진 데이터셋입니다. 그림에는 비디오 영상과 함께 ‘선수가 수행한 동작은 무엇입니까?’ 라는 질문과 네 가지 선택지가 제시되어 있습니다. 각 선택지는 세세한 동작의 차이를 보여주는 상세한 설명을 포함하고 있습니다. 이를 통해, 세밀한 동작 인식(Fine-grained Action Recognition)의 어려움을 보여주고, 제안된 SeFAR 모델의 성능을 평가하는 데 사용됩니다.

read the caption

Figure 6: Examples of Gym-QA

🔼 그림 7은 논문의 Gym-New 데이터셋의 예시를 보여줍니다. Gym-New는 기존 FineGym 데이터셋에서 동작 방향이 반대인 동작 쌍을 선택하여 만든 데이터셋입니다. 그림에는 세 가지 유형의 동작(Salto, Pike sole circle, Giant circle)이 제시되어 있으며, 각 유형에 대해 동작 방향이 반대인 두 개의 예시가 나란히 배치되어 있습니다. 이를 통해 시간적 방향성이 동작 인식에 미치는 영향을 더욱 명확하게 분석하고, 모델의 성능을 평가할 수 있도록 설계되었습니다.

read the caption

Figure 7: Examples of Gym-New

🔼 그림 8은 Gym-New 데이터셋의 10% 레이블을 사용하여 기준 모델(왼쪽)과 제안된 SeFAR 모델(오른쪽)의 혼동 행렬을 보여줍니다. 가로축은 예측 레이블을, 세로축은 실제 레이블을 나타냅니다. 각 레이블은 그림 9에서 확인할 수 있습니다. 이 그림은 두 모델의 성능 차이를 시각적으로 보여주는 동시에, SeFAR 모델이 특히 유사한 동작들을 더 잘 구분한다는 것을 보여줍니다.

read the caption

Figure 8: Confusion matrix of baseline (left) and ours (right) on Gym-New 10%, where the horizontal coordinate represents the predicted label and the vertical coordinate represents the true label. The labels corresponding to actions are shown in Fig. 9.

🔼 그림 9는 Gym-New 데이터셋에 사용된 동작에 대한 레이블을 보여줍니다. Gym-New 데이터셋은 세 가지 체조 종목(도마, 평행봉, 마루운동)에 걸쳐 정의된 40가지의 미세립 동작을 포함합니다. 각 동작은 짧은 설명과 함께 표시되어 있어, 모델이 각 동작의 시각적 차이를 구별하는 데 도움이 됩니다. 이 표는 논문에서 제안된 SeFAR 모델의 성능을 평가하는 데 사용되는 데이터의 구성을 이해하는 데 중요한 역할을 합니다.

read the caption

Figure 9: Labels corresponding to actions in Gym-New.

🔼 표 1(a)는 미세립 데이터셋에서 다양한 반(semi-supervised) 동작 인식 방법들과 SeFAR의 성능을 비교한 표입니다. ’elements across all events’는 FineGym 데이터셋의 계층적 주석(event, set, element) 중 가장 세부적인 수준인 element 단위로 모든 event에 걸쳐 결과를 평균낸 것을 의미합니다. 표에는 방법(Method), 백본(Backbone), 입력(Input), ImageNet 사전 훈련 여부(ImgNet), 매개변수 수(Params), 프레임 수(#F), 에폭(Epoch), 그리고 5%, 10% 라벨링 비율에서 Gym99, Gym288, Diving 데이터셋에 대한 top-1 정확도가 포함되어 있습니다.

read the caption

(a) Results of elements across all events.

🔼 표 1의 (b)는 세부 동작(element) 단위의 정확도를 보여줍니다. FineGym 데이터셋에서 특정 종목(event) 내의 세부 동작들에 대한 모델 성능을 보다 자세히 분석한 결과입니다. 예를 들어, 특정 체조 종목 안에서 수행되는 여러 다양한 세부 동작들에 대한 정확도를 개별적으로 비교하여, 모델의 미세한 동작 구분 능력을 평가합니다. 표의 결과는 각 event 내에서 element 단위로 평가된 성능을 나타냅니다.

read the caption

(b) Results of elements within an event.

🔼 표 1의 (c)는 FineGym 데이터셋의 특정 이벤트 내에 있는 요소들에 대한 결과를 보여줍니다. 각 이벤트는 여러 개의 요소(예: 특정 체조 동작의 세부 동작)로 구성됩니다. 이 표는 각 요소에 대한 모델의 성능을 10%와 20%의 라벨링 비율로 평가한 결과를 보여줍니다. 즉, 세부적인 동작 인식의 정확도를 이벤트 별로 더욱 자세히 분석한 결과입니다.

read the caption

(c) Results of elements within a set.

🔼 표 2는 널리 사용되는 동작 인식 데이터셋인 UCF-101과 HMDB-51에서 다양한 최첨단 반지도 학습 기반 동작 인식 방법들과 SeFAR의 성능을 비교 분석한 표입니다. ‘V’는 RGB 비디오, ‘F’는 광학 흐름(optical flow), ‘G’는 시간적 기울기(temporal gradients)를 나타냅니다. 각 방법의 백본 네트워크, 입력 데이터 유형(비디오, 광학 흐름, 시간적 기울기), ImageNet 사전 학습 여부, 프레임 수, 에폭 수, 그리고 다양한 라벨 비율(1%, 5%, 10%, 40%, 50%)에서의 UCF-101과 HMDB-51 데이터셋에 대한 상위 1% 정확도를 보여줍니다. 이 표를 통해 SeFAR 모델의 강건성과 성능을 객관적으로 평가하고 다른 최신 방법들과 비교하여 우수성을 확인할 수 있습니다.

read the caption

Table 2: Comparison with state-of-the-art semi-supervised action recognition methods on coarse-grained datasets.“V” within “Input” signifies RGB video, “F” indicates optical flow, while “G” denotes temporal gradients.

🔼 표 3은 SeFAR의 구성 요소별 효과를 분석한 결과를 보여줍니다. ‘✓‘는 해당 구성 요소를 사용했음을 의미합니다. 일관성 규제 원칙을 준수하기 위해, Mod-Perturb(Moderate Temporal Perturbation)을 제거한 경우에는 SVFormer(Xing et al., 2023)와 일관되게 시간 왜곡을 강력한 증강 기법으로 사용했습니다. 표는 Dual-level Temporal Elements, Mod-Perturb, Ada-Reg(Adaptive Regulation) 세 가지 구성 요소를 각각 사용했을 때와 사용하지 않았을 때의 FineGym, Gym288, FineDiving 데이터셋에 대한 성능을 비교 분석하여 각 구성요소의 기여도를 보여줍니다.

read the caption

Table 3: Ablations of different components with SeFAR, where ✓ means “w/”. To adhere to the principle of consistency regularization in SSL, we employ strong augmentation consistent with SVFormer (Xing et al. 2023), i.e., temporal warping, once our Mod-Perturb is eliminated.

🔼 표 4는 서로 다른 시간적 증강 기법들의 영향을 비교 분석한 결과를 보여줍니다. ‘S’는 속도 중심, ‘O’는 순서 중심 증강을 나타냅니다. 각 증강 기법(Spatial-only, Slow(T-Drop), All shuffle, Local-shuffle, Warping, T-Half, All reverse, Mod-Perturb)에 따른 FineGym 데이터셋(Gym99, Gym288, Diving)의 성능(Top-1 정확도) 변화를 보여주어, 제안된 Mod-Perturb 기법의 효과를 검증합니다. 다양한 시간적 증강 방법들의 성능을 비교하여, 어떤 기법이 Fine-grained Action Recognition(FAR)에 가장 적합한지 확인하고, 제안된 Mod-Perturb 기법의 우수성을 보여줍니다.

read the caption

Table 4: Ablation of different temporal augmentations. S and O denote the Speed- and Order-focused.

🔼 표 5는 사전 훈련된 비주얼 인코더의 ablation study 결과를 보여줍니다. 기본 LLM으로 Vicuna-7B (Chiang et al., 2023)를 사용하고, 5%의 데이터로 추가 미세 조정된 MLLM에서 일반적으로 사용되는 비주얼 인코더의 사전 훈련된 특징들과 SeFAR의 특징들을 비교합니다. 비교 대상 비주얼 인코더는 LLaVA, VideoChat2, VideoLLaMA, VideoChat, VideoLLaVA입니다. 각 인코더의 성능을 Gym-QA-99와 Gym-QA-288 데이터셋에서 평가하여 SeFAR 특징이 다른 사전 훈련된 비주얼 인코더에 비해 얼마나 성능 향상을 가져오는지 보여줍니다.

read the caption

Table 5: Ablation of Pre-trained Visual Encoder. We employ Vicuna-7B (Chiang et al. 2023) as the base LLM, comparing SeFAR’s features with the pre-trained features of commonly used visual encoders in MLLMs further fine-tuned on 5% data (i.e., : LLaVA, : VideoChat2, : VideoLLaMA, : VideoChat, and : VideoLLaVA)

🔼 표 6은 다양한 레이블 비율에 따른 SeFAR의 성능 변화를 보여줍니다. 처음 두 행은 각각 적응적 조절(Ada-Reg)을 사용하지 않은 SeFAR과 사용한 SeFAR의 결과를 보여줍니다. 세 번째 행은 다양한 레이블 비율에서 성능 향상률을 보여줍니다. 레이블 비율이 감소함에 따라 적응적 조절(Ada-Reg)의 효과가 더욱 두드러짐을 알 수 있습니다.

read the caption

Table 6: Ablation of different labeling rates. The first two raw demonstrate our SeFAR w/o and w/ the Adaptive Regulation (Ada-Reg) respectively. The third raw further shows the performance increase rates at different labeling rates.

🔼 표 7은 다양한 시간적 증강 기법들의 성능을 심층적으로 비교 분석한 결과를 보여줍니다. 속도 중심 및 순서 중심 증강 기법들을 비롯해, 다양한 기법들의 FineGym 데이터셋의 FX, 10m, UB-S1, 5253B 이벤트에 대한 Top-1 정확도를 제시하며, 각 기법의 강점과 약점을 파악하는 데 도움을 줍니다. 시간적 왜곡, 순서 변경, 임의 셔플 등 여러 시간적 증강 기법과 제안된 방법인 적당한 시간적 섭동(Mod-Perturb)의 성능을 비교하여, 어떤 기법이 fine-grained action recognition에 가장 효과적인지 보여줍니다.

read the caption

Table 7: Deeper comparison of temporal augmentations.