Xmodel-2 Technical Report

🔼 그림 2는 Xmodel-2 모델의 학습 과정에서 사용된 데이터의 비율을 보여줍니다. 왼쪽 그래프는 안정적인 학습 단계(Stable Training Stage)에서 사용된 데이터 분포를 나타내며, 오른쪽 그래프는 감쇠 단계(Decay Stage)에서 사용된 데이터 분포를 보여줍니다. 각 그래프는 다양한 데이터 소스(예: CC_Chn, FineWeb-Edu, Dolma, Code Pretrain 등)의 비율을 파이 차트 형태로 나타냅니다. 이를 통해 Xmodel-2 학습에 사용된 데이터의 구성과 각 단계별 데이터 비중을 한눈에 파악할 수 있습니다. 감쇠 단계에서는 SFT(Supervised Fine-Tuning) 데이터가 추가로 포함되어 있으며, 이 데이터의 비율 또한 그래프에 표시되어 있습니다.

read the caption

Figure 2: Data mixture of different training stages.The left side represents the stable training phase, and the right side represents the decay phase.

🔼 그림 3은 Xmodel-2-1.2B 모델의 학습 손실 곡선을 보여줍니다. 가로축은 토큰 수 (10억 단위)이고, 세로축은 손실 값입니다. 그래프는 학습 과정 동안 손실이 감소하는 것을 보여주며, 특히 배치 크기를 2M에서 4M으로 증가시킨 후와 학습률 감소 단계에서 손실이 급격히 감소하는 것을 확인할 수 있습니다. 이는 모델의 학습 안정성과 효율성을 보여주는 지표입니다.

read the caption

Figure 3: Loss curve for Xmodel-2-1.2B.

🔼 그림 4는 사전 훈련된 Xmodel-2-1.2B 모델의 MMLU 데이터셋에 대한 교정 플롯을 보여줍니다. 이 플롯은 모델의 예측 확률과 실제 정확도 사이의 관계를 보여줍니다. x축은 모델이 예측한 확률을 나타내고, y축은 해당 확률에서 실제로 정답이었던 비율을 나타냅니다. 완벽한 보정된 모델은 x=y 직선을 따라 분포하며, 이 플롯을 통해 Xmodel-2-1.2B 모델의 보정 정도를 확인할 수 있습니다. 잘 보정된 모델은 플롯 상의 점들이 x=y 직선에 가깝게 분포하며, 잘못 보정된 모델은 점들이 직선에서 멀리 떨어져 있습니다. 이 그림은 모델의 신뢰도에 대한 평가와, 실제 성능과의 차이를 분석하는 데 유용한 정보를 제공합니다.

read the caption

Figure 4: Calibration plot for the pre-trained Xmodel-2-1.2B model on the MMLU dataset.

🔼 그림 5는 Wikitext-2 데이터셋에서 Xmodel-2-1.2B 모델의 학습 후 스케일링 법칙을 보여줍니다. x축은 테스트 시간 토큰 색인을 나타내고, y축은 손실(loss)을 나타냅니다. 그래프는 학습 후, 프롬프트 토큰 수가 증가함에 따라 다음 토큰에 대한 모델의 예측 정확도가 향상되고 손실이 감소하는 것을 보여줍니다. 곡선은 손실과 토큰 색인 간의 거듭제곱 관계를 보여주며, 점차 감소하는 수익 체감 현상을 나타냅니다. 이는 컨텍스트 길이가 증가함에 따라 모델의 성능이 향상되는 것을 의미합니다.

read the caption

Figure 5: Post-training Scaling Law for Xmodel-2-1.2B on the Wikitext-2 dataset.

🔼 표 2는 다양한 상식 추론 과제에서 제로샷(Zero-shot) 설정으로 평가한 Xmodel-2의 성능을 보여줍니다. 다양한 규모의 언어 모델들과 비교하여 Xmodel-2의 성능을 평가하고 있습니다. 각 모델은 ARC-Challenge, ARC-Easy, BoolQ, HellaSwag, OpenBookQA, PiQA, SciQ, TriviaQA, Winogrande 등 여러 벤치마크에서 성능을 측정했습니다. 결과는 각 과제에 대한 정확도(Accuracy)를 백분율(%)로 나타내며, 평균 정확도도 함께 제시되어 모델의 전반적인 상식 추론 능력을 비교할 수 있도록 합니다.

read the caption

Table 2: Zero-shot performance on Commonsense Reasoning tasks.

🔼 표 3은 Xmodel-2를 포함한 여러 언어 모델의 복잡한 추론 능력을 평가한 결과를 보여줍니다. GSM8K, MATH, BBH, MMLU, HumanEval, MBPP 등 다양한 벤치마크에서의 성능을 5-shot, 4-shot, 3-shot, 0-shot 설정으로 평가하여 각 모델의 추론 능력을 비교 분석합니다. 각 벤치마크는 특정 유형의 추론 문제를 다루며, 이를 통해 모델의 강점과 약점을 파악할 수 있습니다. 예를 들어 GSM8K는 일반적인 상식 추론 문제, MATH는 수학 문제 해결 능력, HumanEval은 코드 생성 능력을 평가합니다.

read the caption

Table 3: Performance on Complex Reasoning tasks.

🔼 표 4는 다양한 에이전트 기반 작업(HotpotQA, FEVER, AlfWorld, WebShop)에서 Xmodel-2를 포함한 여러 언어 모델의 성능을 보여줍니다. 각 작업에 대한 정확도(EM) 또는 성공률을 측정하여 모델의 복잡한 추론 및 의사 결정 능력을 평가합니다. 이 표는 Xmodel-2의 에이전트 기능이 다른 유사한 크기의 모델에 비해 상당히 우수함을 보여줍니다.

read the caption

Table 4: Performance on Agent tasks.

🔼 이 표는 논문의 Appendix 섹션, ‘6.1 µP Hyperparameter Search’에서 nano 모델에 대한 하이퍼파라미터 검색 범위를 보여줍니다. nano 모델은 6백만개의 파라미터를 가진 작은 모델이며, Bayesian Optimization 기법을 사용하여 하이퍼파라미터를 최적화하는 실험에 사용되었습니다. 표에는 scale_emb, dim_model_base, scale_depth, learning_rate 네 가지 하이퍼파라미터의 탐색 범위, 옵션, 단계 크기가 포함되어 있습니다. 이러한 하이퍼파라미터 범위는 효율적인 하이퍼파라미터 탐색을 위해 신중하게 선택되었으며, 최적의 하이퍼파라미터를 찾는 데 도움이 됩니다. 이 표의 결과는 본 논문에서 제시된 Xmodel-2 모델의 학습 전략을 검증하는 데 중요한 역할을 합니다.

read the caption

Table 5: Hyperparameter search ranges for nano model.

🔼 이 표는 텐서 프로그램 기법을 적용할 때 사용되는 연산 목록을 보여줍니다. 각 연산의 이름과 구체적인 동작 방식을 설명하여, 텐서 프로그램 기법의 세부적인 작동 원리를 이해하는 데 도움을 줍니다. 특히 임베딩 출력 크기 조정, 잔차 연결 크기 조정, 텐서 초기화, 텐서 학습률 조정, LM 헤드 크기 조정 등의 연산에 대한 자세한 내용을 담고 있습니다.

read the caption

Table 6: List of operations used when applying tensor program techniques.