BiMediX2: Bio-Medical EXpert LMM for Diverse Medical Modalities

↗ arXiv ↗ Hugging Face ↗ Papers with Code

TL;DR

#

Key Takeaways

#

Why does it matter?

#

BiMediX2는 의료 AI 분야의 중요한 발전을 나타냅니다. 이중 언어 및 다중 모드 기능은 의료 정보에 대한 접근성과 형평성을 향상시킬 수 있는 잠재력을 가지고 있습니다. 연구자들은 이 모델을 사용하여 다양한 의료 영상 양식을 분석하고, 복잡한 의료 대화를 수행하고, 의료 보고서를 요약 및 생성할 수 있습니다. 이러한 기능은 진단, 치료 계획 및 환자 교육을 포함한 다양한 의료 응용 분야에 유용할 수 있습니다. 또한 BiMed-V 데이터 세트와 BiMed-MBench 벤치마크의 공개는 의료 AI 연구 커뮤니티에 귀중한 리소스를 제공하여 추가 연구 및 개발을 촉진합니다.

Visual Insights

#

🔼 이 그림은 BiMed-MBench에서 여러 의료 LMM의 성능을 비교한 레이더 차트입니다. CT, MRI, CXR, 조직학, 그로스 이미지와 같은 다양한 의료 영상 범주와 각각의 아랍어 범주에서 LLaVA-pp, LLaVA-Med, BiMediX2, Dragonfly-Med, MiniGPT-Med, BiomedGPT 등의 모델 성능을 비교합니다. 각 축은 특정 범주에서의 성능 점수를 나타내며, 각 모델이 이중 언어 의료 환경에서 얼마나 잘 수행되는지 시각적으로 비교할 수 있도록 합니다.

read the caption

Figure 1: Model Performance Comparison on BiMed-MBench: These comparisons are made across different categories, including CT, MRI, CXR, Histology, Gross, and their Arabic counterparts (CT_ar, MRI_ar, CXR_ar, Histology_ar, Gross_ar). The models compared are LLaVA-pp, LLaVA-Med, BiMediX2, Dragonfly-Med, MiniGPT-Med, and BiomedGPT. Each axis represents the performance score in a specific category, allowing for a visual comparison of how each model performs in bilingual medical contexts.

🔼 이 표는 최신 의료 LLM 및 VLM을 비교하고 있습니다. MTC(다중 대화), RS(보고서 요약), RG(보고서 생성), Rad(방사선학), Oph(안과학), Path(병리학), Micro(현미경), UM(통합 모델: 모든 다운스트림 작업에 대한 단일 모델 체크포인트), LLM+VLM(통합 LLM + VLM), Bil(Ar)(아랍어 이중 언어 기능)과 같은 다양한 기능과 아랍어 지원 여부를 포함하여 각 모델의 기능을 요약합니다.

read the caption

Table 1: Comparison of Recent Medical LLMs and VLMs. Abbreviations: MTC (Multi-turn conversation), RS (Report Summarization), RG (Report Generation), Rad (Radiology), Oph (Ophthalmology), Path (Pathology), Micro (Microscopic), UM (Unified Model: Single model checkpoint for all downstream tasks), LLM+VLM (Unified LLM + VLM), Bil (Ar) (Bilingual Arabic capabilities).

In-depth insights

#

Bilingual Medical LMM

#

이중 언어 의료 LMM은 의료 분야에서 혁신적인 발전을 의미합니다. 영어와 아랍어 모두에서 작동하도록 설계된 BiMediX2와 같은 모델은 의료 서비스의 접근성과 형평성을 향상시킬 수 있는 잠재력을 가지고 있습니다. 이러한 모델은 의료 영상 분석과 복잡한 의료 대화를 포함한 다양한 작업을 위해 텍스트 및 시각적 양식을 통합합니다. 이중 언어 기능은 언어 장벽을 허물고 의료 전문가와 환자에게 더 많은 포용적인 경험을 제공합니다. 그러나 환각, 독성 및 고정 관념과 같은 과제는 이러한 모델의 개발 및 배포에서 해결해야 하는 중요한 문제입니다. 또한 의료 진단 및 권장 사항의 정확성을 보장하기 위해 엄격한 검증 및 품질 관리 조치가 필수적입니다. 환자의 개인 정보 보호 및 의료 데이터의 기밀성과 같은 윤리적 고려 사항도 이중 언어 의료 LMM의 개발 및 적용에서 우선적으로 고려되어야 합니다. 의료 전문가, 환자 및 윤리 전문가와 협력하여 윤리적 감독을 보장하고 임상 환경에서의 안전과 정확성을 개선하기 위한 추가 연구가 필요합니다.

BiMediX2 Architecture

#

BiMediX2는 의료 이미지 분석 및 이중 언어 다중 대화를 위한 통합 아키텍처를 사용합니다. 이미지 인코더(Vision Encoder)는 다양한 의료 영상 양식을 처리하고, 프로젝터(Projector)는 텍스트 입력값과 정확하게 정렬하여 풍부한 의료 이미지-텍스트 매핑을 보장합니다. 텍스트 입력값은 표준 토크나이저를 사용하여 처리되어 Llama 3.1의 언어 임베딩 공간으로 변환됩니다. 이 디자인 덕분에 BiMediX2는 사용자 프롬프트에 따라 영어 또는 아랍어로 정확하고 맥락에 맞는 응답을 생성할 수 있습니다. BiMediX2의 성능의 핵심은 모듈식 및 효율적인 교육 접근 방식입니다. LoRA 어댑터는 언어 모델을 미세 조정하는 데 사용되며, 프로젝터는 의료 맥락에서 이미지-텍스트 정렬을 최적화하기 위해 미세 조정됩니다. 또한 이 시스템은 강력한 데이터 생성 프레임워크의 지원을 받습니다. 여기서 포괄적인 영어 데이터 코퍼스가 GPT-40을 사용하여 아랍어로 번역됩니다. 이중 언어 의료 전문가가 이 번역의 무작위 하위 집합을 꼼꼼하게 검증하여 임상적 관련성과 언어적 정확성을 보장합니다. 이 파이프라인을 통해 BiMediX2는 보고서 생성, 방사선 분석, 병리학적 통찰력, 안과 평가를 포함한 광범위한 의료 작업에서 탁월한 성능을 발휘하며, 이 모든 것이 통합된 이중 언어 및 다중 양식 프레임워크 내에서 이루어집니다.

Dataset Creation

#

BiMediX2는 아랍어-영어 의료 LMM으로, 광범위한 의료 작업을 처리하기 위해 160만 개 샘플의 대규모 이중 언어 다중 모드 의료 교육 데이터 세트인 BiMed-V에서 교육되었습니다. 이 데이터 세트에는 PMC-OA, Rad-VQA, Path-VQA, SLAKE와 같은 공개적으로 사용 가능한 데이터 세트와 맞춤형 큐레이션된 데이터가 통합되어 의료 이미지-텍스트 정렬 및 다중 모드 이해가 향상되었습니다. LLaVA-Med의 60K-IM 데이터 세트를 용도 변경하여 163k VQA 샘플을 선별하여 실제 의료 질의에 맞췄습니다. 또한 LLaVA-Med 사전 교육 데이터 세트의 10k 이상 샘플을 Llama 3.1 70B 모델을 사용하여 대화형 대화로 다시 포맷했습니다. 짧은 질문-답변 쌍과 여러 선택 질문이 있는 PMC-OA 데이터 세트의 하위 집합이 데이터 세트의 다양성을 향상시키기 위해 추가되었습니다. 일반적으로 간결한 답변이 특징인 Rad-VQA, Path-VQA 및 SLAKE의 교육 분할은 동일한 Llama 3.1 70B 모델을 사용하여 더 자세한 응답으로 재구성되어 복잡한 작업에 대한 데이터 세트의 깊이와 유용성을 향상시켰습니다. BiMed-V의 고유한 특징은 다양한 의료 영상 양식에 걸쳐 326k 샘플로 구성된 다중 양식 교육 세트를 통해 촉진되는 이중 언어 지원입니다. 여기에는 포괄적인 번역 프레임워크를 통해 생성된 163k 아랍어 샘플이 포함됩니다. 영어 데이터 세트는 GPT-40을 사용하여 아랍어로 번역되었으며, 이중 언어 의료 전문가가 임의 하위 집합을 엄격하게 검증하여 임상적 관련성과 언어적 정확성을 보장했습니다. 이러한 하이브리드 접근 방식은 자동화와 전문가 검증의 균형을 유지하여 인간 의료 도메인 전문가에 대한 의존도를 크게 줄이면서 데이터 품질을 유지합니다. 또한 BiMediXv1의 텍스트 기반 임상 데이터를 포함하면 데이터 세트가 강력한 언어 이해 능력을 유지하면서 다중 양식 의료 숙련도를 확장합니다. 이 광범위한 데이터 세트는 고급 의료 이미지-텍스트 정렬 및 대화형 다중 양식 응용 프로그램의 기반을 형성합니다.

Multimodal Benchmarks

#

멀티모달 벤치마크는 의료 LMM의 성능 평가에 매우 중요합니다. 텍스트 기반 작업만으로는 이미지 이해 및 해석 능력을 제대로 평가할 수 없습니다. BiMediX2와 같은 모델은 이미지 기반 의료 질의응답, 보고서 생성, 요약과 같은 작업에서 멀티모달 벤치마크를 통해 평가되어야 합니다. 이러한 벤치마크는 다양한 의료 영상 양식(예: X-레이, CT, MRI, 조직 슬라이드)과 질의 유형을 포함해야 합니다. 또한, 다국어 지원을 평가하기 위해 BiMed-MBench와 같은 이중 언어 벤치마크가 필요합니다. 이러한 포괄적인 벤치마크를 통해 의료 LMM의 실제 성능을 정확하게 측정하고, 임상 환경에서의 안전하고 효과적인 적용을 보장할 수 있습니다.

Arabic/English Evaluations

#

BiMediX2는 아랍어와 영어 모두에서 의료 영상 이해 및 텍스트 기반 의료 LLM 평가에서 최첨단 성능을 달성한 최초의 이중 언어 의료 LLM입니다. BiMediX2는 160만 개 이상의 지침으로 구성된 포괄적인 아랍어-영어 다중 모드 이중 언어 명령어 세트인 BiMed-V에서 훈련되었습니다. 이중 언어 기능을 통해 다양한 의료 작업에서 텍스트 및 시각적 양식을 원활하게 통합할 수 있습니다. BiMediX2는 의료 이미지 분석과 이중 언어 다중 턴 대화를 용이하게 하도록 세심하게 설계되었습니다. 이 모델은 다양한 의료 영상 모드를 처리하기 위해 Vision Encoder를 사용하고 텍스트 입력을 Meta Llama 3.1의 언어 임베딩 공간으로 변환하는 표준 토크나이저를 사용합니다. BiMediX2의 성능의 핵심은 모듈식이고 효율적인 교육 접근 방식입니다. 영어 평가에서 9% 이상, 아랍어 평가에서 20% 이상 향상된 BiMediX2 LLM은 BiMed-MBench에서 최첨단 결과를 달성했습니다. 또한 의학적 시각적 질문 답변, 보고서 생성 및 보고서 요약 작업에서 탁월한 성능을 보입니다. 아랍어 지원을 통해 아랍어 사용 지역의 의료 요구 사항을 해결하여 다양하고 다국어 및 다중 모드 의료 애플리케이션을 위한 포괄적이고 포괄적인 솔루션을 제공합니다.

More visual insights

#

More on figures

🔼 BiMediX2는 의료 이미지 분석과 이중 언어 다중 대화를 위해 설계된 모델입니다. 의료 이미지는 Vision Encoder를 통해 처리되고 Projector와 정렬되는 반면, 텍스트 입력은 기본 토크나이저를 사용하여 토큰화됩니다. 결과 토큰은 언어 모델(Meta Llama 3.1)로 전달되어 프롬프트된 언어로 응답을 생성합니다. 언어 모델은 LoRA 어댑터를 사용하여 훈련되고 프로젝터는 의료 이미지-텍스트 정렬을 위해 미세 조정됩니다. 강력한 데이터 생성 프레임워크는 영어 데이터 코퍼스를 GPT-40를 사용하여 아랍어로 번역하고 의료 전문가의 검증을 통해 정확하고 문맥적으로 적절한 번역을 보장합니다. 이 접근 방식은 이중 언어 컨텍스트에서 효과적인 훈련 및 벤치마킹을 지원합니다.

read the caption

Figure 2: BiMediX2: Overall Architecture Our model is designed for medical image analysis and bilingual multi-turn conversations. Medical images are processed through a Vision Encoder and aligned with a Projector, while the text inputs are tokenized using the default tokenizer. The resulting tokens are then passed into the language model (Meta Llama 3.1) to generate responses in the prompted language. We only train the language model using LoRA adapters, while the projector is finetuned for medical image-text alignment. A robust data generation framework translates an English data corpus into Arabic using GPT-4o, with verification by a medical expert to ensure accurate and contextually appropriate translations. This approach supports effective training and benchmarking in a bilingual context.

🔼 이 그림은 다양한 임상 LLM 벤치마크에서 여러 의료 LLM 모델의 성능을 비교하여 보여줍니다. BiMediX2 70B는 PubMedQA, MedQA, MedMCQA, USMLE, Medical MMLU를 포함한 대부분의 벤치마크에서 최고 점수를 달성했습니다. 이는 BiMediX2가 의료 분야에서 다른 모델보다 우수한 성능을 보인다는 것을 나타냅니다.

read the caption

Figure 3: State of the art comparison of models in Clinical LLM Benchmarks

🔼 이 그림은 다양한 의료 LLM의 UPHILL OpenQA 벤치마크에서의 성능 비교를 보여줍니다. UPHILL OpenQA는 다양한 단계의 전제를 포함하는 건강 관련 질문을 처리할 때 LLM의 사실적 정확성을 평가합니다. BiMediX2 70B는 60.6%의 최고 전체 사실적 정확도를 달성했으며, BiMediX2 8B(56.1%)가 그 뒤를 이었습니다. GPT-4(51.5%), Meditron 70B(49.6%), Med42(53.5%)와 같은 다른 모델보다 성능이 뛰어났습니다. 이는 의료 관련 허위 주장을 구별하고 수정하는 BiMediX2의 효과를 보여줍니다.

read the caption

Figure 4: Performance comparison on UPHILL OpenQA (Kaur et al. (2023)), assessing the model’s ability to address false medical claims at different presupposition levels.

🔼 이 그림은 대화형 상황에서 BiMediX2의 의료 이미지 이해 능력을 보여주는 정성적 예시입니다. 상단 부분은 요추의 시상 CT 스캔과 관련된 대화를 보여줍니다. 모델은 스캔 유형을 식별하고 척추의 아랫부분에 초점을 맞춘 신체의 수직 단면이라고 설명합니다. 이상 여부를 묻자 모델은 L4 척추의 골절을 정확하게 식별하고 외상이나 스트레스와 같은 잠재적인 원인에 대한 설명을 제공합니다. 하단 부분은 왼쪽 난소의 컬러 도플러 초음파 스캔을 보여주고, 왼쪽 난소 낭종이라는 잠재적 이상을 식별합니다. 모델은 영상 기술을 설명하고, 장기를 명명하고, 검출된 이상을 논의하면서 추가 평가의 필요성을 강조합니다. 이러한 예시는 BiMediX2가 복잡한 의료 영상을 해석하고 임상 의사 결정을 지원하는 유득한 답변을 제공하는 능력을 보여줍니다.

read the caption

Figure 5: Qualitative Examples of our BiMediX2 for Medical Image Understanding in a Conversational Context.

Full paper

#