METAGENE-1: Metagenomic Foundation Model for Pandemic Monitoring

🔼 그림 2는 메타게놈 데이터 수집 및 모델 사전 훈련을 위한 시퀀싱 파이프라인의 개요를 보여줍니다. 먼저 (왼쪽) 하수를 수집하고, 이는 수만 종의 다양한 구성 유기체(중앙)로부터 유래한 게놈 조각을 포함합니다. 이러한 샘플은 고처리량 메타게놈 시퀀싱을 거쳐 수백만 개의 쌍으로 된 판독값(오른쪽)을 생성하며, 각 판독값은 수백 개의 염기쌍으로 구성됩니다. 최종 데이터셋은 모델 사전 훈련에 사용된 1.5조 개 이상의 염기쌍의 메타게놈 시퀀스로 구성됩니다.

read the caption

Figure 2: Overview of the metagenomic data collection and sequencing pipeline for model pretraining. The process begins with the collection of wastewater (left), which contains genomic fragments from a diverse collection (e.g., tens of thousands) of constituent organisms (center). These samples are processed via high-throughput metagenomic sequencing to produce millions of paired-end reads (right), each consisting of hundreds of base pairs. The complete dataset comprises over 1.5 trillion base pairs of metagenomic sequences used for model pretraining.

🔼 그림 3은 METAGENE-1 사전 훈련 데이터셋의 메타게놈 구성을 보여줍니다. Kraken 2 소프트웨어를 사용하여 시퀀스 분류를 수행하고 Krona를 사용하여 시각화했습니다. 그림은 박테리아, 진핵생물, 바이러스 및 분류되지 않은 또는 알 수 없는 기원의 읽기 비율을 보여주는 원형 차트를 사용합니다. 그림 7에서는 더 자세한 내용을 확인할 수 있습니다.

read the caption

Figure 3: Metagenomic composition of the METAGENE-1 pretraining dataset, estimated via Kraken 2 (Wood et al., 2019) sequence classification, and visualized via Krona (Ondov et al., 2011). See Figure 7 for a more-detailed view.

🔼 그림 4는 메타게놈 데이터셋을 사용하여 사전 훈련하는 동안 z-loss 값의 변화를 보여줍니다. z-loss는 모델 훈련의 안정성을 평가하는 지표로, 훈련 과정에서 손실 값의 급격한 변동이나 발산을 감지하는 데 도움이 됩니다. 이 그래프를 통해 모델의 훈련 안정성을 시각적으로 확인하고, 훈련 과정 중 발생할 수 있는 문제점들을 조기에 파악하여 해결할 수 있습니다. 즉, 그래프에서 z-loss 값이 안정적으로 유지되는 것은 모델 훈련이 안정적으로 진행되고 있음을 의미하며, 반대로 z-loss 값이 급격하게 변동하거나 발산하는 경우 모델 훈련에 문제가 발생했음을 의미합니다.

read the caption

Figure 4: We show z𝑧zitalic_z-loss during pretraining, which aids and gives an indicator of stability.

🔼 그림 5는 METAGENE-1의 사전 훈련 중 손실 곡선을 보여줍니다. 왼쪽에는 1.5조 베이스 쌍의 사전 훈련 데이터셋에 대한 한 에포크의 훈련 손실을, 오른쪽에는 분리된 메타게놈 샘플에 대한 검증 손실을 보여줍니다. 훈련 곡선에서 훈련 과정에서 약간의 체계적인 진동이 발생하는데, 이는 효율성을 위해 구현된 의사 랜덤 데이터 셔플링 때문입니다. 그러나 이러한 진동은 검증 손실 곡선에는 나타나지 않습니다.

read the caption

Figure 5: METAGENE-1 loss curves during pretraining. We show training loss (left), and validation loss on a held out metagenomic sample (right).

🔼 그림 6은 METAGENE-1 모델이 생성한 길이 정규화된 교차 엔트로피 손실의 분포를 다양한 데이터셋에 걸쳐 보여줍니다. 각 데이터셋(메타유전체, 랜덤, 인간, 마우스)에 대한 손실 분포를 히스토그램으로 나타내어, 각 데이터 유형의 분포 차이를 시각적으로 비교하고 있습니다. 이를 통해 각 데이터셋에 대한 모델의 성능과 예측의 신뢰도를 간접적으로 비교할 수 있습니다. 데이터셋의 특성에 따라 손실 분포가 어떻게 달라지는지 보여주는 것이 그림의 주요 목적입니다.

read the caption

Figure 6: Distribution of the length-normalized cross entropy loss across all datasets, given by METAGENE-1.

🔼 표 2는 본 논문의 5.2절에서 자세히 설명하는 병원균 탐지 벤치마크 결과를 보여줍니다. 모든 평가에 사용된 지표는 MCC(Matthews Correlation Coefficient)이며, 표의 머리글 행에는 매크로 평균 성능 지표가 요약되어 있습니다. 본 표는 네 가지 서로 다른 샘플링 데이터 세트(PATHOGEN-DETECT-1~4)에 대해 네 가지 다른 모델 (DNABERT-2, DNABERT-S, NT-2.5b-Multi, NT-2.5b-1000g)과 METAGENE-1의 성능을 비교하여 보여줍니다. 각 데이터 세트는 인간 병원균과 비병원균으로 구성되며, 모델은 이진 분류 작업을 수행합니다. 결과는 각 모델의 MCC 점수를 보여주며, METAGENE-1이 다른 모델들에 비해 상당히 높은 성능을 보임을 알 수 있습니다.

read the caption

Table 2: Results on the Pathogen Detection benchmark. The metric used for all evaluations is MCC. The header row reports macro-averaged performance metrics. See Section 5.2 for details.

🔼 표 3은 본 논문의 5.3절에서 자세히 설명하는 유전체 임베딩(Gene-MTEB) 벤치마크에 대한 결과를 보여줍니다. 각 모델의 성능을 다양한 유전체 관련 작업(예: 인간 바이러스 식별, 질병 예측, 성별/출처 예측)에서 평가하여, METAGENE-1 모델의 유전체 정보 표현 능력을 다른 기존 모델들과 비교 분석합니다. 정확도와 V-측정값(클러스터링 작업)을 사용하여 모델의 성능을 측정했습니다.

read the caption

Table 3: Results on the Genomic Embedding (Gene-MTEB) benchmark. See Section 5.3 for details.

🔼 표 4는 Genome Understanding Evaluation (GUE) 벤치마크에 대한 결과를 보여줍니다. METAGENE-1 이외의 결과는 Zhou et al.(2023)의 연구에서 가져왔습니다. 모든 평가에 사용된 지표는 MCC이지만, COVID 작업에는 F1 점수를 사용했습니다. 머리글 행은 매크로 평균 성능 지표를 보고하며, 마지막 행은 Global Win %를 보여줍니다. Global Win %는 관련 지표에서 특정 방법이 최고 점수를 달성한 작업의 비율입니다.

read the caption

Table 4: Results on the Genome Understanding Evaluation (GUE) benchmark. Non-METAGENE-1 results are adapted from Zhou et al. (2023). The metric used for all evaluations is MCC, except for the COVID task, which uses F1 score. The header rows report macro-averaged performance metrics. The final row shows Global Win %, i.e., the percentage of tasks in which a given method achieves top score under the associated metric.

🔼 표 5는 메타게놈 시퀀스와 다른 데이터 소스 간의 이상 탐지 성능을 보여줍니다. 메타게놈, 무작위, 인간, 마우스 데이터 세트의 길이 정규화된 교차 엔트로피 손실과 토큰화된 시퀀스 길이를 비교하여 OOD(Out-of-Distribution) 탐지 성능을 평가합니다. F1 점수와 손실 값을 통해 메타게놈 시퀀스와 다른 데이터 소스 간의 차이를 정량적으로 보여줍니다.

read the caption

Table 5: OOD detection performance between metagenomics sequences and other data sources.

🔼 표 6은 병원균 탐지 미세 조정 실험을 위한 초매개변수 설정을 보여줍니다. DNABERT-S의 경우 학습 과정에서 명확한 진동 현상이 관찰되어 학습률을 절반으로 줄였습니다 (5e-5). 표에는 모델 아키텍처(전체 모델 또는 LoRA), LoRA 모듈(쿼리, 키, 값, 조밀), LoRA 계층(8), LoRA 알파(16), LoRA 드롭아웃(0.1), 최적화기(AdamW), 최적화기 모멘텀(β1, β2 = 0.9, 0.999), 학습률(1e-4), 학습률 스케줄러(선형 워밍업 + 상수 LR), 워밍업 단계(50), 가중치 감쇠(0.01), 분모 입실론(1e-8), 정밀도(BF16 혼합), 배치 크기(32), 에폭(10), 하드웨어(NVIDIA A100 80GB) 등의 정보가 포함되어 있습니다.

read the caption

Table 6: Hyperparameter settings for the Pathogen Detection fine-tuning experiments. ΛΛ\Lambdaroman_Λ: for DNABERT-S, we halve the learning to 5e-5 as we observe clear oscillation behavior in the training loss.

🔼 표 7은 GUE 미세 조정 실험에 사용된 하이퍼파라미터 설정을 보여줍니다. LoRA는 query-value 또는 query-key-value-dense 모듈에 적용됩니다. 학습률은 1e-4, 2e-4, …, 1e-3의 균등 간격 그리드에서 조정됩니다. 모든 하이퍼파라미터는 검증 세트의 성능에 따라 선택됩니다. 즉, 다양한 하이퍼파라미터들을 시도해보고 검증 세트에서 가장 좋은 성능을 내는 설정을 최종적으로 선택했다는 의미입니다. 표에는 LoRA 모듈의 종류, 차수, 알파값, 드롭아웃 비율, 최적화 알고리즘, 모멘텀, 학습률, 학습률 스케줄러, 웜업 단계, 가중치 감소, 분모 에프실론, 정밀도, 배치 크기, 에폭, 하드웨어 등이 포함되어 있습니다.

read the caption

Table 7: Hyperparameter settings for the GUE fine-tuning experiments. ΛΛ\Lambdaroman_Λ: LoRA is applied to query-value or query-key-value-dense modules. ΩΩ\Omegaroman_Ω: learning rates are tuned over a equally-spaced grid of 1e-4, 2e-4, ⋯⋯\cdots⋯, 1e-3. All hyperparameters are selected according to performances on validation sets.