2.5 Years in Class: A Multimodal Textbook for Vision-Language Pretraining

🔼 그림 2는 교육용 비디오로부터 다중 모드 교과서를 구성하는 과정을 보여줍니다. 먼저, 대규모 언어 모델(LLM)을 사용하여 지식 분류 체계를 구축하고, 메타데이터 수준에서 비디오를 검색하고 필터링하여 15만 개의 교육용 비디오를 수집합니다. 그런 다음, 다중 수준의 지식 추출을 위해 비디오-교과서 파이프라인을 설계합니다. ① ASR(자동 음성 인식) 전사를 사용하여 비교육적인 비디오를 걸러내고 7만 5천 개의 고품질 비디오를 유지합니다. ② ASR의 타임스탬프를 사용하여 긴 비디오를 짧은 클립으로 분할하고, 시각 및 ASR이 일치하지 않는 클립은 제거합니다. ③ 각 클립에서 주요 프레임을 감지하고 OCR(광학 문자 인식)을 사용하여 텍스트와 기호를 추출합니다. 이 파이프라인은 650만 개의 주요 프레임, 2억 5,900만 개의 ASR 토큰, 5억 개의 OCR 토큰을 생성하고 이를 이미지-텍스트가 섞인 교과서로 구성합니다.

read the caption

Figure 2: An illustration of constructing a multimodal textbook from instructional videos. We first instruct LLMs to construct a knowledge taxonomy, then retrieve and filter videos at metadata level, collecting 159K instructional videos. Then a video-to-textbook pipeline is designed for multi-level knowledge extraction. ① We filter out non-instructional videos using ASR transcripts, retaining 75K high-quality videos. ② We use ASR’s timestamp to segment long videos into short clips, discarding those with misaligned visuals and ASR. ③ We detect keyframes from each clip and extract text and symbols by OCR. Our pipeline produces 6.5M keyframes, 259M ASR, and 500M OCR tokens and organizes them into an image-text interleaved textbook.

🔼 그림 3은 데이터셋에서 무작위로 샘플의 20%, 50%, 100%를 선택하고 각 샘플 내에서 이미지 순서를 섞은 결과를 보여줍니다. 이렇게 이미지 순서가 섞인 데이터셋들은 사전 훈련에도 사용되었습니다. 정확도는 7가지 벤치마크의 평균값을 나타냅니다. 이는 이미지 순서의 일관성이 모델 성능에 미치는 영향을 평가하기 위한 실험으로, 이미지 순서가 무작위로 섞일수록 모델 성능이 얼마나 저하되는지를 보여줍니다.

read the caption

Figure 3: We randomly select 20%, 50%, and 100% samples from datasets and shuffle the image order within each sample. These datasets with shuffled images are also used for pretraining. The Accuracy denotes the average of seven benchmarks.

🔼 그림 4는 논문에서 다루는 6개 과목(수학, 물리, 화학, 지구과학, 공학, 컴퓨터 과학)에 대한 하위 과목들을 시각적으로 보여줍니다. 상위 9개 과목과 그 비율만을 선택적으로 표시하여 공간 제약을 고려했습니다. 하단 그래프는 각 과목과 그 하위 과목에 속한 지식 포인트의 분포를 나타냅니다.

read the caption

Figure 4: Top: We plot six subjects along with their corresponding sub-courses. Due to space constraints, we selectively visualized only the courses with the highest proportions. Bottom: We count the knowledge points distribution belongs to each subject and its course

🔼 이 그림은 논문의 4장, ‘다중 모드 교과서 분석’ 섹션에 포함된 그림 5입니다. 그림은 지구과학 분야를 다룬 교과서의 한 페이지를 보여줍니다. 이 페이지는 물 순환 과정(수문 순환)을 설명하고 있으며, 증발, 응결, 강수, 지표수, 침투, 지하수 등의 개념을 그림과 함께 설명하고 있습니다. 그림에는 다양한 그림과 텍스트 설명이 포함되어 있어, 물 순환 과정의 각 단계를 시각적으로 이해하기 쉽도록 구성되어 있습니다. 특히, 그림에는 물 순환 과정을 이해하기 위한 상세한 설명과 함께, 각 단계를 설명하는 ASR (자동 음성 인식) 결과 텍스트가 포함되어 있습니다. 이를 통해 독자가 물 순환 과정을 보다 쉽고 정확하게 이해할 수 있도록 돕고 있습니다. 전체적으로, 이 그림은 논문에서 제시하는 다중 모달 교과서의 높은 질과 효과적인 학습 내용 전달 방식을 보여주는 좋은 예시입니다.

read the caption

Figure 5: A case presented in our textbook illustrates the water cycle within the domain of earth science.

🔼 이 그림은 물리학 분야를 다루는 교재의 한 장면을 보여줍니다. 그림에서는 물체의 초기 속도가 0m/s이고 5초 후에 10m/s의 속도에 도달하는 상황을 설명합니다. 이를 통해 가속도의 개념을 설명하고, 가속도의 단위와 계산 방법을 보여줍니다. 더불어, 회전 운동에서 관성의 개념을 설명하기 위해 얇은 고리와 고체 원반을 비교하는 예시도 제시하고 있습니다. 그림은 텍스트와 이미지가 병행되어 설명되며, 각 단계의 계산 과정을 시각적으로 보여주는 방식으로 구성되어 있습니다.

read the caption

Figure 6: A case presented in our textbook introducing the principles of mechanics within the domain of physics.

🔼 그림 7은 물리학 분야에서 속도와 가속도의 개념을 소개하는 교재의 한 예시입니다. 그림에서는 질량이 다른 두 물체에 같은 힘을 가했을 때의 운동을 비교하여 관성의 개념을 설명합니다. 또한, 회전 운동에서 관성 모멘트의 차이를 비교하여 관성의 개념을 확장합니다. 그림에는 각 상황에 대한 자세한 설명과 수식이 함께 제공되어 있습니다.

read the caption

Figure 7: A case presented in our textbook introducing the concepts of velocity and acceleration within the context of physics.

🔼 이 그림은 논문의 멀티모달 교과서에서 기하학 문제를 푸는 과정을 보여줍니다. 그림은 문제에 대한 설명과 함께 여러 단계의 풀이 과정을 보여주는 이미지와 텍스트를 보여줍니다. 각 단계는 이미지, 수식, 그리고 설명 텍스트를 결합하여 시각적이고 논리적인 이해를 돕습니다. 이는 멀티모달 학습을 위한 교과서의 특징을 잘 보여주는 예시입니다.

read the caption

Figure 8: A case presented in our textbook demonstrates how to solve a question about planar geometry in the domain of mathematics.

🔼 이 그림은 화학 분야를 다루는 교재의 한 부분으로, 원자와 분자, 그리고 화합물의 개념을 설명하기 위해 제시된 사례입니다. 헬륨, 수소 기체, 물(H2O)의 세 가지 물질을 예로 들어 원자와 분자의 차이점을 보여줍니다. 헬륨은 원자로 구성되고, 수소 기체는 분자(두 개의 수소 원자가 결합)로 구성되며, 물 또한 두 개의 수소 원자와 한 개의 산소 원자가 결합된 분자로 구성됩니다. 그림을 통해 원소, 분자, 화합물의 개념을 시각적으로 이해하고, 서로 다른 유형의 원자들이 결합하여 분자를 형성할 수 있음을 보여줍니다. 또한, 원자와 분자의 개념을 더 명확히 하기 위해 추가적인 예시들이 제시되어 있습니다.

read the caption

Figure 9: A case presented in our textbook illustrates the concepts of molecules, atoms, and compounds in the domain of chemistry.

🔼 그림 10은 본 논문에서 소개하는 다중 모드 교과서의 한 예시로, 깊이 우선 탐색 알고리즘을 보여줍니다. 그림에서는 노드 0에서 시작하여 깊이 우선 탐색을 수행하는 과정을 단계별로 보여주는 애니메이션과 함께, 각 단계에서 방문하는 노드와 경로를 시각적으로 표현하고 있습니다. 또한, 깊이 우선 탐색 알고리즘의 의사 코드(pseudocode)도 함께 제시하여 알고리즘의 동작 방식을 보다 자세히 이해할 수 있도록 돕고 있습니다. 이를 통해 독자는 깊이 우선 탐색 알고리즘의 개념과 동작 과정을 보다 직관적으로 이해할 수 있습니다.

read the caption

Figure 10: A case presented in our textbook introduces a depth-first search algorithm.

🔼 표 2는 다양한 삽입형 데이터셋을 사용하여 LLaVA-1.5-7B 기본 모델을 추가로 사전 훈련한 결과를 보여줍니다. 성능 평가는 4가지 일반적인 VQA 벤치마크와 3가지 수학 관련 벤치마크에서 몇 번의 시도만으로 수행되었습니다. 이 표는 각 데이터셋으로 사전 훈련된 모델의 성능을 0-shot, 1-shot, 2-shot, 4-shot 설정에서 비교하여, 다양한 삽입형 데이터셋을 사용한 사전 훈련이 모델 성능에 미치는 영향을 보여줍니다.

read the caption

Table 2: We continued pre-training the base model of LLaVA-1.5-7B using different interleaved datasets. The results are evaluated on 4 common VQA and 3 math-related benchmarks under few-shot settings.

🔼 표 3은 LLaVA 모델 외에도, 다중 이미지 처리 능력을 갖춘 고급 VLM인 Idefics 모델을 사용한 실험 결과를 보여줍니다. Idefics-8B 기반 모델을 지속적으로 학습시키거나 처음부터 학습시키는 두 가지 방법을 사용했습니다. 기존 연구[16]를 바탕으로 평가는 8-shot 설정으로 확장되었으며, 무작위로 선택된 예시를 사용했습니다. 표는 TextVQA, OKVQA, MathVista, MathVision, MathVerse와 같은 다양한 벤치마크에 대한 결과를 보여주어, 각 모델의 성능을 비교 분석하는 데 유용한 정보를 제공합니다.

read the caption

Table 3: Except for LLaVA, we also pre-train advanced VLMs with multi-image ability (Idefics): continual pretraining from Idefics-8B-base or pre-training from scratch. The evaluations are extended to an 8-shot using randomly selected examples as previous works [16].

🔼 표 4는 VLMs이 문맥 내 정보를 얼마나 잘 활용하는지 확인하기 위한 ‘속임수 테스트’ 결과를 보여줍니다. 테스트는 기존의 몇몇 샷 예제 중 하나를 테스트 샘플 자체로 바꿔서 진행되었습니다. VLMs이 동일한 이미지, 질문, 답변이 이미 문맥 내에 존재하는 것을 인식하고 쉽게 답변하는지 확인하기 위한 것입니다. I_t, q_t, a_t는 테스트 케이스를 나타내고, I_e, q_e, a_e는 무작위로 선택된 예제를 나타냅니다. 즉, 테스트 샘플과 동일한 예제가 몇몇 샷 예제에 포함되어 있는 상황에서 모델의 성능을 평가한 것입니다.

read the caption

Table 4: We design “Cheat Test” to observe whether VLMs can attend to their interleaved context. We replace a few-shot example with the test sample itself and observe whether VLM notice this identical <<>> within their prompt. Itsubscript𝐼𝑡I_{t}italic_I start_POSTSUBSCRIPT italic_t end_POSTSUBSCRIPT, qtsubscript𝑞𝑡q_{t}italic_q start_POSTSUBSCRIPT italic_t end_POSTSUBSCRIPT, atsubscript𝑎𝑡a_{t}italic_a start_POSTSUBSCRIPT italic_t end_POSTSUBSCRIPT denote the test case, Iesubscript𝐼𝑒I_{e}italic_I start_POSTSUBSCRIPT italic_e end_POSTSUBSCRIPT, qesubscript𝑞𝑒q_{e}italic_q start_POSTSUBSCRIPT italic_e end_POSTSUBSCRIPT, aesubscript𝑎𝑒a_{e}italic_a start_POSTSUBSCRIPT italic_e end_POSTSUBSCRIPT denote a random selected example.

🔼 표 5는 LLaVA-1.5의 665K 데이터를 사용하여 instruction fine-tuning 후 zero-shot 결과를 평가한 것입니다. LLaVA-1.5 모델에 대해 MMC4-Core-ff, OBELICS, 그리고 논문에서 제안하는 Multimodal Textbook 데이터셋으로 사전 학습 후 instruction fine-tuning을 진행한 zero-shot 성능을 OKVQA와 MathVista 지표를 통해 비교 분석한 표입니다. 각 데이터셋의 zero-shot 성능을 보여주며, Multimodal Textbook 데이터셋을 사용했을 때 성능 향상이 눈에 띄게 나타남을 보여줍니다.

read the caption

Table 5: We also evaluated the zero-shot result after instruction fine-tuning using the 665K data from LLaVA-1.5.

🔼 표 6은 비디오-교재 파이프라인에 대한 ablation 연구 결과를 보여줍니다. ASR 개선의 영향, OCR 통합의 필요성, 그리고 키프레임 추출 알고리즘의 비교를 포함합니다. 구체적으로, ASR 개선을 하지 않았을 때, OCR을 통합하지 않았을 때, 그리고 서로 다른 키프레임 추출 알고리즘을 사용했을 때의 성능 변화를 정량적으로 분석합니다. 이는 모델 성능에 대한 각 구성 요소의 기여도를 파악하고, 비디오-교재 파이프라인의 최적화 방향을 제시하는 데 도움이 됩니다.

read the caption

Table 6: We perform an ablation study on video-to-textbook pipeline, including the impact of ASR refinement, the necessity of incorporating OCR, and the algorithms for extracting keyframes.

🔼 표 7은 제시된 논문의 다중 모드 교과서 통계를 보여줍니다. 각 비디오 범주에 포함된 지식 포인트의 수를 보여주는 표입니다. 이 표는 다중 모드 교과서의 규모와 다양성을 보여주는 데 도움이 됩니다. 각 열은 비디오 수, 비디오의 총 지속 시간, 주제 수, 비디오 클립 수, 키프레임 수, ASR 토큰 수, OCR 토큰 수, 샘플 수를 나타냅니다. 각 행은 수학, 물리, 화학, 지구 과학, 공학, 컴퓨터 과학의 6가지 주제를 나타냅니다.

read the caption

Table 7: The statistics of our multimodal textbook. Topic denotes the knowledge points covered by each category of videos, which are sourced from our knowledge taxonomy.