On the Compositional Generalization of Multimodal LLMs for Medical Imaging

🔼 그림 2는 Med-MAT 데이터셋을 만드는 과정을 보여줍니다. 106개의 다양한 의료 데이터셋이 모여서 11가지 모달리티, 14개의 해부학적 영역, 13가지 의료 과제를 포함하는 53개의 하위 데이터셋을 생성합니다. 각 하위 데이터셋은 MAT-Triplet (Modality, Anatomical Area, Task)으로 정의되며, 동일한 MAT-Triplet을 공유하는 데이터셋은 통합됩니다. 이 과정을 통해 다양한 의료 영상 데이터의 통합 및 구성을 보여줍니다. 각 데이터셋은 질문-응답 쌍(QA Pairs)으로 변환되어, MLLM(다중 모달 대형 언어 모델) 학습 및 평가에 사용됩니다.

read the caption

Figure 2: The process of integrating a vast amount of labeled medical image data to create Med-MAT.

🔼 이 그림은 Med-MAT 데이터셋의 질문-응답(QA) 형식 변환 과정을 보여줍니다. 다양한 의료 영상 데이터셋을 VQA 형식으로 변환하는 방법을 단계별로 설명합니다. 먼저, 각 데이터셋의 이미지와 캡션을 바탕으로 질문과 네 가지 선택지가 있는 객관식 문제를 만듭니다. 그런 다음, 각 데이터셋의 특성에 맞는 지침을 추가하여 모델이 질문에 정확하게 답할 수 있도록 돕습니다. 마지막으로 ImageWikiQA 데이터셋을 추가하여 모델의 일반화 성능을 향상시키고 평가 편향을 줄입니다.

read the caption

Figure 3: The QA formatting process of Med-MAT.

🔼 그림 4는 다양한 모델에 대해 타겟 데이터셋에서의 정확도 결과를 보여줍니다. ‘모든 관련/무관 데이터’ 모델은 타겟 데이터와 관련되거나 무관한 모든 데이터셋으로 학습되었습니다. ‘모드/영역/작업 제외’ 모델은 모든 관련 데이터셋으로 학습되었지만, 타겟 데이터와 동일한 요소를 공유하는 데이터셋은 제외하여 의도적으로 CG(합성 일반화)를 방해했습니다. ‘모든 데이터’는 사용 가능한 모든 학습 세트를 사용합니다. (참고: 일반화를 관찰하기 위해 타겟 데이터는 학습에서 제외되었습니다.) 즉, 이 그림은 다양한 학습 전략(관련 데이터만, 무관 데이터만, 관련 데이터 중 일부 제외)을 사용했을 때의 성능을 비교하여 합성 일반화의 효과를 보여주는 실험 결과입니다.

read the caption

Figure 4: Accuracy results on the Target dataset for various models. ’All Related/Unrelated’ models are trained on all the related or unrelated datasets of the Target Data. ’w/o Modality/Area/Task’ are trained on All Related datasets but omit those sharing the same element as the Target Data, to intentionally disrupt CG. ’All Data’ uses all available training sets. (Note: The Target Data is excluded from training to observe generalization.)

🔼 표 2는 모델의 Out-of-Distribution(OOD) 데이터셋에 대한 정확도를 보여줍니다. OOD 데이터셋은 모델이 훈련 중에 접해보지 못한 새로운 유형의 의료 영상 데이터를 의미합니다. 표는 여러 모델(Baseline, Multi-task Training)의 OOD 데이터셋에 대한 정확도를 보여주며, 각 열은 특정 OOD 데이터셋에 대한 정확도를 나타냅니다. 가장 높은 정확도를 가진 값은 굵게 표시되어 모델의 일반화 성능을 비교하는 데 도움이 됩니다. 이 표는 다양한 모델의 OOD 데이터에 대한 일반화 능력을 평가하는 데 사용됩니다.

read the caption

Table 2: Accuracy of different models on Out-Of-Distribution Dataset. Bold highlights the best scores.

🔼 표 3은 다양한 의료 영상 분류 작업에 대한 모델의 일반화 성능을 보여줍니다. ‘관련 조합’ 열은 모델 학습에 사용된 데이터셋 조합을 나타내고, ‘목표 하위 집합’ 열은 모델의 성능을 평가하기 위해 사용된 데이터셋을 나타냅니다. ‘기준’, ‘기준+’, ‘학습’ 열은 각각 모델이 학습 없이, 무작위로 선택된 무관련 데이터로 학습된 경우, 그리고 관련 데이터로 학습된 경우의 정확도를 나타냅니다. 표의 녹색 영역은 성공적인 일반화를, 빨간색 영역은 일반화 실패를 나타냅니다. 네 개의 영역으로 구분된 부분은 고정된 모달리티, 고정된 해부학적 영역, 고정된 작업, 그리고 모달리티-해부학적 영역 쌍 조합의 네 가지 다른 방향 유형을 나타냅니다.

read the caption

Table 3: Generalization results on classification datasets: 'Related Combination' is the training set, 'Target Subset' is the goal. Baseline, Baseline+, and Trained represent the model’s accuracy without training, trained on randomly sampled unrelated data, and trained on related data, respectively. Green section indicates successful generalization, while red section denotes failure. The 4 segmented areas represent different Direction Types: fixed modality, fixed area, fixed task, and modality-area paired combinations.

🔼 표 4는 MAT-Triplet의 세 가지 요소를 제공하는 세 가지 데이터셋에서의 일반화 결과를 보여줍니다. 이 표는 세 가지 다른 데이터셋의 MAT-Triplet 요소를 사용하여 모델의 일반화 성능을 평가하기 위한 실험 결과를 보여줍니다. ‘관련 조합’ 열은 훈련에 사용된 데이터셋을 나타내고, ‘대상 하위 집합’ 열은 모델의 성능을 평가한 데이터셋을 나타냅니다. ‘기준’ 열은 훈련 없이 모델의 정확도를 나타내고, ‘훈련됨’ 열은 관련 데이터로 훈련된 모델의 정확도를 나타냅니다. 녹색 영역은 성공적인 일반화를 나타내고, 빨간색 영역은 실패를 나타냅니다. 이 표는 3가지 요소 모두 다른 데이터셋에서 가져온 경우에도 모델이 일반화할 수 있음을 보여줍니다.

read the caption

Table 4: Generalization results from 3 datasets providing different elements of MAT-Triplet (RQ 3). 'Related Combination' is the training set, 'Target Subset' is the goal. Baseline, and Trained represent the model’s accuracy without training and trained on Related data, respectively. Green section indicates successful generalization, while red section denotes failure.

🔼 표 5는 NEXT-Chat 모델을 사용하여 검출 및 분류 작업을 결합하여 분류 대상 데이터셋을 일반화하는 실험 결과를 보여줍니다. ‘관련 조합’ 열은 훈련에 사용된 데이터셋을 나타내고, ‘대상 하위 데이터셋’ 열은 일반화 성능을 평가하기 위한 목표 데이터셋을 나타냅니다. ‘기준’ 열은 훈련 없이 모델의 정확도를, ‘훈련됨’ 열은 관련 데이터로 훈련된 모델의 정확도를 보여줍니다. 녹색 영역은 성공적인 일반화를, 빨간색 영역은 실패를 나타냅니다. 표는 고정 모달리티, 고정 영역, 모달리티-영역 쌍 조합 등 네 가지 방향 유형으로 구분된 결과를 보여줍니다. 이를 통해 다양한 조합 방식에 따른 모델의 일반화 성능을 분석합니다.

read the caption

Table 5: Result of NEXT-Chat on CG by using detection and classification tasks to generalize classification Target dataset. Generalization results on classification datasets: 'Related Combination' is the training set, 'Target Subset' is the goal. Baseline and Trained represent the model’s accuracy without training and trained on related data, respectively. Green section indicates successful generalization, while red section denotes failure. The 4 segmented areas represent different Direction Types: fixed modality, fixed area, and modality-area paired combinations.

🔼 표 6은 MiniGPT-v2 모델을 사용하여 검출 및 분류 작업을 통해 분류 대상 데이터셋을 일반화하는 과정에서의 조합 일반화(CG) 결과를 보여줍니다. ‘관련 조합’ 열은 훈련에 사용된 데이터셋을, ‘대상 하위 데이터셋’ 열은 일반화 목표 데이터셋을 나타냅니다. ‘기준’ 열은 훈련 없이 모델의 정확도를, ‘훈련됨’ 열은 관련 데이터로 훈련된 모델의 정확도를 나타냅니다. 녹색 영역은 성공적인 일반화를, 빨간색 영역은 실패를 나타냅니다. 세 개의 구분된 영역은 세 가지 방향 유형(고정 모드, 고정 영역, 모드-영역 쌍 조합)을 나타냅니다. 이 표는 다양한 데이터 조합이 MiniGPT-v2 모델의 일반화 성능에 미치는 영향을 분석하고, 어떤 조합이 효과적이고 어떤 조합이 효과적이지 않은지 보여줍니다.

read the caption

Table 6: Result of MiniGPT-v2 on CG by using detection and classification tasks to generalize classification Target dataset. Generalization results on classification datasets: 'Related Combination' is the training set, 'Target Subset' is the goal. Baseline and Trained represent the model’s accuracy without training and trained on related data, respectively. Green section indicates successful generalization, while red section denotes failure. The 3 segmented areas represent different Direction Types: fixed modality, fixed area, and modality-area paired combinations.

🔼 표 7은 Med-MAT 데이터셋의 일부 분류 데이터셋에서 Qwen2-VL 모델의 성능을 보여줍니다. 각 행은 특정 훈련 데이터 조합(관련 데이터 조합)과 테스트 데이터셋(타겟 서브셋)을 나타내며, 모델이 타겟 데이터셋에 대해 얼마나 잘 일반화하는지 평가합니다. 녹색 영역은 성공적인 일반화를, 빨간색 영역은 일반화 실패를 나타냅니다. 이 표는 다중 작업 학습에서의 조성 일반화(CG)의 효과를 분석하는 데 사용됩니다. 다양한 방식으로 고정된 모달리티, 고정된 해부학적 영역, 고정된 작업, 그리고 모달리티-해부학적 영역 쌍 조합을 통해 CG의 영향을 평가합니다.

read the caption

Table 7: Result of Qwen2-VL on selected classification datasets in Med-MAT. Green section indicates successful generalization, while red section denotes failure.

🔼 표 8은 Med-MAT 데이터셋의 일부 분류 데이터셋에 대해 Llama-3.2-Vision 모델의 일반화 성능을 보여줍니다. 표는 관련 데이터 조합(훈련 세트)과 대상 데이터셋(테스트 세트)을 보여주고, 각각에 대한 기준 성능(Baseline, 훈련 없이), 관련 데이터로 훈련된 모델의 성능(Trained)을 나타냅니다. 녹색 영역은 성공적인 일반화를, 빨간색 영역은 일반화 실패를 나타냅니다. 이를 통해 특정 데이터 조합이 모델의 일반화 능력에 미치는 영향을 분석하고, Llama-3.2-Vision 모델의 일반화 성능을 평가합니다.

read the caption

Table 8: Result of Llama-3.2-Vision on selected classification datasets in Med-MAT. Green section indicates successful generalization, while red section denotes failure.

🔼 표 9는 Med-MAT 데이터셋의 하위 데이터셋에 대한 세부 정보를 보여줍니다. 각 하위 데이터셋은 의료 영상의 종류(예: 컴퓨터 단층 촬영(CT), 자기 공명 영상(MRI), 초음파(US) 등), 해부학적 영역(예: 폐, 뇌, 피부 등), 그리고 수행된 의료 작업(예: 질병 분류, 병변 검출 등)을 기준으로 분류됩니다. 표의 파란색 부분은 분류 작업에 사용된 하위 데이터셋을, 녹색 부분은 검출 작업에 사용된 하위 데이터셋을 나타냅니다. 약어는 다음과 같습니다: Co(콜포스코피), CT(컴퓨터 단층촬영), DP(디지털 사진), FP(안저 사진), MRI(자기 공명 영상), OCT(광간섭 단층촬영), Der(피부경검경), End(내시경), Mic(현미경 영상), US(초음파).

read the caption

Table 9: The details of subset. In particular, Co stands for Colposcopy, CT represents Computed Tomography, DP refers to Digital Photography, FP is for Fundus Photography, MRI denotes Magnetic Resonance Imaging, OCT signifies Optical Coherence Tomography, Der refers to Dermoscopy, End stands for Endoscopy, Mic indicates Microscopy Images, and US represents Ultrasound. The blue section represents the classification dataset and the green section represents the detection

🔼 표 10은 논문에서 사용된 의료 데이터셋에 대한 세부 정보를 제공합니다. 각 데이터셋의 이름, 설명, 인용 정보를 포함하여 총 109개의 의료 데이터셋이 포함되어 있습니다. 데이터셋 설명에는 데이터셋의 유형(예: 분류, 탐지, 세분화), 해당되는 신체 부위, 그리고 질병의 종류 등이 포함됩니다. 이 표는 논문에서 사용된 데이터셋에 대한 전반적인 개요를 제공하여 연구의 재현성과 투명성을 높이는 데 기여합니다.

read the caption

Table 10: The details of the medical datasets are provided

🔼 표 10의 내용을 잇는 표이며, 다양한 의료 데이터셋들의 세부 정보를 보여줍니다. 각 데이터셋의 이름, 설명, 인용 정보를 포함하고 있습니다. 데이터셋은 질병 분류, 검출 및 분할 등 다양한 의료 영상 분석 작업에 사용됩니다. 의학적 모달리티, 해부학적 영역, 의학적 작업 등의 정보를 통해 데이터셋들을 상세히 설명합니다.

read the caption

Table 11: Continued from Table 10.