VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction

🔼 그림 2는 VITA-1.5의 전체 아키텍처를 보여줍니다. 입력 부분은 비전 및 오디오 인코더와 LLM에 연결된 어댑터로 구성됩니다. 출력 부분은 초기 VITA-1.0 버전[16]과 달리 외부 TTS 모델을 직접 사용하지 않고 엔드투엔드 방식의 음성 생성 모듈을 가지고 있습니다. VITA-1.5는 비전과 오디오 정보를 통합하여 이해하고, 자연스러운 음성으로 응답하는 다중 모달 LLM입니다. 비전 인코더는 이미지 또는 비디오를 처리하고, 어댑터는 LLM이 이해할 수 있도록 특징을 변환합니다. 오디오 인코더는 음성을 처리하고, 마찬가지로 어댑터를 통해 LLM에 전달됩니다. LLM은 비전 및 오디오 정보를 통합하여 텍스트와 음성을 생성합니다. 음성 생성은 엔드투엔드 방식으로 이루어지므로, 별도의 TTS 시스템이 필요하지 않아 실시간 상호 작용에 유리합니다.

read the caption

Figure 2: Overall Architecture of VITA-1.5. The input side consists of vision and audio encoders, along with their adapters connected to a LLM. The output side has an end-to-end speech generation module, rather than directly using an external TTS model as the initial VITA-1.0 version [16].

🔼 VITA-1.5의 학습 파이프라인을 보여주는 그림입니다. 그림에는 세 가지 단계로 나뉘어져 있는데, 각 단계는 시각 및 음성 정보를 LLM에 점진적으로 통합하는 과정을 보여줍니다. 1단계는 시각-언어 학습에 중점을 두고, 시각 정렬(1.1단계, 표 1의 캡션 데이터 20% 사용), 시각 이해(1.2단계, 캡션 데이터 100% 사용), 시각 QA에 대한 지시 조정(1.3단계, 캡션 데이터 20%와 QA 데이터 100% 사용)을 포함합니다. 2단계는 음성 입력 조정을 도입하여 음성 정렬(2.1단계, 11,000시간의 음성-전사 쌍 사용)과 음성 QA에 대한 지시 조정(2.2단계, 캡션 데이터 4%와 QA 데이터 20% 샘플링)을 수행합니다. 마지막으로 3단계는 코덱 모델 학습(3.1단계, 3,000시간의 텍스트-음성 데이터 사용)과 음성 디코더 학습(3.2단계)을 포함한 음성 출력 조정에 중점을 둡니다. 그림에 표시된 백분율은 표 1에 지정된 데이터 샘플링 비율과 일치합니다.

read the caption

Figure 3: Training Pipeline of VITA-1.5. The training process is divided into three stages to incrementally incorporate vision and audio into the LLM while relieving modality conflicts. Stage I focuses on Vision-Language Training, including vision alignment (Stage 1.1, using 20% caption data from Table 1), vision understanding (Stage 1.2, using 100% caption data), and instruction tuning for visual QA (Stage 1.3, using 20% caption data and 100% QA data). Stage 2 introduces Audio Input Tuning, with audio alignment (Stage 2.1, utilizing 11,000 hours of speech-transcription pairs) and instruction tuning for speech QA (Stage 2.2, sampling 4% caption data and 20% QA data). Finally, Stage 3 focuses on Audio Output Tuning, including the training of the codec model (Stage 3.1, using 3,000 hours of text-speech data) and speech decoder training (Stage 3.2). The percentages shown in the image correspond to the data sampling ratios specified in Table 1.

🔼 표 2는 이미지 이해 벤치마크에 대한 평가 결과를 보여줍니다. VITA-1.5의 성능은 최고 수준의 오픈소스 모델 및 고급 클로즈드소스 모델과 유사합니다. MMB는 MMBench, MMS는 MMStar, Hal은 HallusionBench, MathV는 MathVista, OCR은 OCRBench를 의미합니다. 2단계(오디오 입력 조정)와 3단계(오디오 출력 조정) 학습 후에도 VITA-1.5는 1단계(비전-언어 학습)의 원래 시각-언어 기능을 거의 그대로 유지합니다. 표에는 다양한 이미지 이해 벤치마크(MMBench, MMStar, MM-MU, MathVista, HallucinationBench, AI-2D, OCRBench 등)에서의 VITA-1.5와 다른 주요 모델들의 성능을 비교하여 제시합니다. 각 벤치마크 점수를 통해 VITA-1.5의 이미지 이해 능력을 정량적으로 평가하고 다른 모델들과의 성능 차이를 명확하게 보여줍니다. 특히 오디오 관련 단계 학습 후에도 이미지 이해 능력이 유지되는 점을 강조합니다.

read the caption

Table 2: Evaluation on Image Understanding Benchmarks. VITA-1.5 shows performance comparable to the leading open-source models and advanced closed-source counterparts. MMB refers to MMBench, MMS to MMStar, Hal to HallusionBench, MathV to MathVista, and OCR to OCRBench. Note that after the training of Stages 2 (Audio Input Tuning) and 3 (Audio Output Tuning), VITA-1.5 retains almost its original visual-language capabilities in Stage 1 (Vision-Language Training).

🔼 표 3은 비디오 이해 벤치마크에 대한 VITA-1.5의 평가 결과를 보여줍니다. VITA-1.5는 GPT-40이나 Gemini-1.5-Pro와 같은 최첨단 모델에는 미치지 못하지만, 여러 오픈소스 모델들과 비슷한 성능을 보입니다. 특히 2단계(오디오 입력 미세 조정)와 3단계(오디오 출력 미세 조정) 훈련 후에도 VITA-1.5는 1단계(비디오-언어 훈련)의 원래 비디오-언어 기능을 거의 유지합니다. 이 표는 다양한 비디오 이해 벤치마크에서 VITA-1.5의 성능을 정량적으로 비교 분석하여 모델의 강점과 약점을 보여줍니다.

read the caption

Table 3: Evaluation on Video Understanding Benchmarks. Although VITA-1.5 still lags behind models like GPT-4o and Gemini-1.5-Pro, it performs comparably to many open-source models. Note that after the training of Stages 2 (Audio Input Tuning) and 3 (Audio Output Tuning), VITA-1.5 retains almost its original visual-language capabilities in Stage 1 (Vision-Language Training).

🔼 표 4는 음성 인식(ASR) 벤치마크에 대한 평가 결과를 보여줍니다. VITA-1.5는 중국어와 영어 음성 인식 작업 모두에서 강력한 성능을 입증했습니다. 특히 기존의 전문적인 음성 모델보다 성능이 뛰어나 두 언어 모두에서 더 나은 결과를 얻었습니다. 표에는 다양한 데이터셋(aishell-1, test net, test meeting, dev clean, dev other, test clean, test other)에 대한 문자 오류율(CER)과 단어 오류율(WER)이 포함되어 있습니다.

read the caption

Table 4: Evaluation on ASR Benchmarks. VITA-1.5 has demonstrated strong performance in both Mandarin and English ASR tasks. It outperforms specialized speech models, achieving better results in both languages.