TOMG-Bench: Evaluating LLMs on Text-based Open Molecule Generation

🔼 그림 2는 TOMG-Bench의 데이터 구성 워크플로우와 평가 프로세스를 보여줍니다. TOMG-Bench는 분자 편집(MolEdit), 분자 최적화(MolOpt), 맞춤형 분자 생성(MolCustom)의 세 가지 주요 작업으로 구성됩니다. 각 작업은 세 가지 하위 작업으로 더 나뉘며, 각 하위 작업은 5,000개의 테스트 샘플을 포함합니다. 데이터 생성 과정은 RDKit과 같은 화학 도구 상자를 활용하여 분자의 기본 구조 및 특성을 분석하고, 이를 바탕으로 LLMs의 성능을 평가하는 자동화된 평가 시스템을 사용합니다. 이 그림은 데이터 생성 과정부터 LLMs의 입력, RDKit을 이용한 유효성 검사, 그리고 최종 성능 측정까지의 전체적인 흐름을 시각적으로 나타냅니다. 각 단계에서 사용되는 도구 및 메트릭도 함께 표시되어 있습니다.

read the caption

Figure 2: Data construction workflow and evaluation process of TOMG-Bench.

🔼 그림 3은 TOMG-Bench에서 벤치마킹된 모델들의 성능을 보여줍니다. TOMG-Bench는 독점 모델, 오픈소스 일반 LLM, 오픈소스 ChEBI-20 미세 조정 LLM, OpenMolIns 미세 조정 LLM의 네 가지 범주로 나뉩니다. 매개변수가 알려진 모델은 점으로 표시되고, 매개변수가 알려지지 않은 모델은 수평선으로 표시됩니다. 이 그림은 다양한 모델들의 크기와 TOMG-Bench에서의 성능을 비교하여, 모델의 크기와 성능 사이의 관계를 보여줍니다. 또한, 미세 조정 전략이 모델 성능에 미치는 영향을 시각적으로 보여줍니다. 각 모델의 성능은 가중 평균 정확도(wAcc)로 측정됩니다.

read the caption

Figure 3: The performance of models benchmarked in TOMG-Bench. In TOMG-Bench, LLMs are divided into 4 categories: Proprietary Models, Open-source General LLMs, Open-source ChEBI-20 Fine-tuned LLMs, and OpenMolIns Fine-tuned LLMs. Models whose parameters are known are plotted as dots, while models of unknown parameters are denoted as horizontal lines.

🔼 이 표는 논문의 MolEdit 작업에 사용된 프롬프트 템플릿을 보여줍니다. AddComponent, DelComponent, SubComponent 세 가지 하위 작업에 대한 프롬프트 예시가 포함되어 있으며, 각 하위 작업에 대해 여러 가지 변형된 프롬프트 예시를 제공하여 모델의 다양한 입력에 대한 성능을 평가하고자 함을 알 수 있습니다. 표는 LLM이 분자 구조를 수정하는 작업을 수행하도록 안내하는 다양한 방법들을 보여주는 역할을 합니다.

read the caption

Table 2: Prompt Templates for MolEdit

🔼 이 표는 AddComponent 및 DelComponent 작업에서 고려되는 작용기와 AddComponent에서 선택 가중치를 보여줍니다. 각 작용기는 분자의 구조적 특징과 다양한 화합물에서의 빈도를 반영하는 가중치를 부여받습니다. 가중치가 높을수록 해당 작용기가 AddComponent 작업에서 선택될 확률이 높아집니다. 이를 통해 실제 화학 반응에서 작용기의 출현 빈도를 더욱 정확하게 반영하여 모델의 일반화 성능을 향상시키는 데 기여합니다.

read the caption

Table 3: Functional Groups that are considered in AddComponent and DelComponent, as well as their weights to be selected in AddComponent.

🔼 표 4는 MolOpt 작업에 사용된 프롬프트 템플릿을 보여줍니다. MolOpt 작업은 분자의 구조를 개선하여 특정 분자 특성(LogP, MR, QED)을 최적화하는 것을 목표로 합니다. 이 표에는 LogP(분자의 친유성/친수성을 측정), MR(분자 크기 및 가지화 정도를 측정), QED(약물 유사성을 평가하는 계산 지표) 값을 낮추거나 높이는 것을 목표로 하는 다양한 프롬프트 템플릿이 포함되어 있습니다. 각 특성에 대해 여러 개의 프롬프트 템플릿이 제시되어 있으며, 이는 LLM이 다양한 방식으로 분자 구조를 최적화할 수 있도록 하기 위함입니다.

read the caption

Table 4: Prompt Templates for MolOpt

🔼 표 5는 MolCustom 작업에 사용된 프롬프트 템플릿을 보여줍니다. MolCustom 작업은 원하는 분자를 생성하는 작업으로, 세 가지 하위 작업(AtomNum, BondNum, FunctionalGroup)으로 구성됩니다. 각 하위 작업마다 분자의 원자 수, 결합 수, 작용기의 종류와 개수를 지정하는 다양한 프롬프트 템플릿이 제공됩니다. 이 표는 각 하위 작업에 대한 다양한 프롬프트 표현 방식을 보여주어, LLM이 이러한 다양한 표현 방식을 얼마나 잘 이해하고 생성 작업을 수행하는지 평가하는 데 도움이 됩니다.

read the caption

Table 5: Prompt Templates for MolCustom

🔼 표 6은 AtomNum 하위 작업에서 사용되는 원자 목록과 각 원자의 가중치를 보여줍니다. AtomNum 작업은 지정된 수와 종류의 원자를 포함하는 분자를 생성하는 것을 목표로 합니다. 이 표는 각 원자의 선택 확률을 나타내는 가중치를 제공하며, 이는 실제 분자 데이터 분포를 반영하기 위해 설계되었습니다. 탄소(carbon)는 유기 화합물의 기본 구성 요소이기 때문에 필수 원소로 지정되어 있고, 다른 원자들은 다양한 화학적 특성을 반영하여 가중치가 부여됩니다. 이 가중치는 LLMs이 다양한 종류의 분자를 생성하도록 유도하는 데 도움이 됩니다.

read the caption

Table 6: Atoms that are considered in AtomNum, as well as their weights to be selected.

🔼 표 7은 BondNum 작업에서 고려되는 화학 결합과 각 결합이 선택될 가중치를 보여줍니다. 단일 결합, 이중 결합, 삼중 결합, 회전 가능한 결합, 방향족 결합의 다섯 가지 유형의 화학 결합이 포함됩니다. 각 유형의 결합은 선택될 확률을 나타내는 가중치가 할당되어 있으며, 이는 실제 분자 데이터에서의 분포를 반영합니다. 예를 들어, 단일 결합은 5의 가중치를 가지며, 이는 다른 유형의 결합보다 더 높은 선택 확률을 가짐을 의미합니다.

read the caption

Table 7: Chemical bonds that are considered in BondNum, as well as their weights to be selected.

🔼 표 8은 MolCustom 작업의 하위 작업인 FunctionalGroup에서 사용되는 작용기 목록과 각 작용기의 가중치를 보여줍니다. 각 작용기는 분자 구조에서 고유한 역할을 하며, 가중치는 실제 분자 데이터셋에서의 작용기 출현 빈도를 반영하여 결정되었습니다. 이 가중치는 모델이 다양한 작용기를 가진 분자를 생성하도록 유도하는 데 사용됩니다. 가중치가 높을수록 해당 작용기가 생성될 확률이 높아집니다.

read the caption

Table 8: Functional Groups that are considered in FunctionalGroup, as well as their weights to be selected.

🔼 표 9는 본 논문의 실험에서 사용된 하이퍼파라미터들을 보여줍니다. 각 하이퍼파라미터의 이름과 설정 값이 명시되어 있으며, 모델 생성 및 학습 과정에 영향을 미치는 중요한 변수들을 포함하고 있습니다. 이 표는 실험의 재현성을 확보하고, 다른 연구자들이 유사한 실험을 수행할 때 참고할 수 있도록 상세한 설정 정보를 제공합니다.

read the caption

Table 9: Hyper-parameters

🔼 표 10은 본 논문에서 제안하는 TOMG-Bench 벤치마크에 대한 리더보드를 보여줍니다. 다양한 크기의 모델들을 대상으로 세 가지 주요 과제(분자 편집, 분자 최적화, 맞춤형 분자 생성)에 대한 가중 평균 정확도를 나타냅니다. 각 모델의 성능을 가중 평균 정확도(wAcc)를 사용하여 비교하며, 오픈소스 모델과 독점 모델 간의 성능 차이를 보여줍니다. 특히, Instruction Tuning 데이터셋을 사용한 Llama-3.1-8B 모델의 성능 향상이 두드러지게 나타납니다.

read the caption

Table 10: Leaderboard of TOMG-Benchmark.

🔼 표 11은 논문의 MolEdit 섹션에 대한 결과를 보여줍니다. MolEdit 섹션은 분자 편집 작업을 다루며, AddComponent(구성 요소 추가), DelComponent(구성 요소 제거), SubComponent(구성 요소 대체) 세 가지 하위 작업으로 구성됩니다. 표는 각 하위 작업에 대해 모델의 정확도(Accuracy), 유사도(Similarity), 유효성(Validity) 세 가지 지표를 제시합니다. 가장 높은 정확도를 달성한 모델은 굵게 표시되고, 두 번째로 높은 정확도를 달성한 모델은 밑줄이 그어져 있습니다. 이를 통해 각 모델의 분자 편집 능력을 비교 분석할 수 있습니다.

read the caption

Table 11: Results on MolEdit. For each task, we highlight the best accuracy and underline the second best accuracy.

🔼 표 12는 논문의 MolOpt 섹션에 있는 결과표입니다. 이 표는 MolOpt 작업(분자 최적화)에 대한 다양한 모델의 성능을 보여줍니다. 각 하위 작업(LogP, MR, QED 최적화)에 대해 모델의 정확도, 유사도, 유효성을 보여주는 세 가지 지표가 있습니다. 가장 높은 정확도는 강조 표시되고, 두 번째로 높은 정확도는 밑줄이 그어져 있습니다. 이를 통해 각 모델이 분자의 특정 특성을 얼마나 잘 최적화하는지 비교할 수 있습니다.

read the caption

Table 12: Results on MolOpt. For each task, we highlight the best accuracy and underline the second best accuracy.

🔼 표 13은 논문의 MolCustom 작업에 대한 결과를 보여줍니다. MolCustom 작업은 사용자 정의 분자 생성 작업으로, 원자 수, 결합 수, 작용기 등을 지정하여 분자를 생성하는 과제입니다. 이 표는 각 하위 작업(AtomNum, BondNum, FunctionalGroup)에 대해 여러 모델들의 정확도, 참신성, 유효성을 나타냅니다. 가장 높은 정확도를 달성한 모델은 각 하위 작업마다 강조 표시되어 있으며, 두 번째로 높은 정확도를 달성한 모델은 밑줄이 그어져 있습니다. 이를 통해 다양한 LLM 모델들의 분자 생성 능력을 비교 분석할 수 있습니다.

read the caption

Table 13: Results on MolCustom. For each task, we highlight the best accuracy and underline the second best accuracy.