Deliberation in Latent Space via Differentiable Cache Augmentation

🔼 그림 2는 제안된 모델 구조의 훈련 과정을 보여줍니다. (a)는 다중 위치 증강 및 앞쪽 토큰 예측 과정을 보여줍니다. 선택된 증강 위치마다 코프로세서가 잠재 임베딩을 생성하고 해당 토큰 임베딩 뒤에 삽입합니다. 그런 다음 예측을 위한 대상 토큰( ‘앞쪽 토큰’)이 추가됩니다. 이러한 삽입 지점 뒤에 오는 모든 시퀀스에 인과적 마스크가 적용됩니다. (b)는 수정된 입력과 주의 마스크의 구조를 보여줍니다. 간략하게 하기 위해 1개의 잠재 임베딩과 1개의 앞쪽 토큰 예시만 표시했습니다.

read the caption

Figure 2: Our coprocessor training framework. (a) Illustration of multi-position augmentation and ahead token prediction. For each selected augmentation position, latent embeddings are generated by the coprocessor and inserted after the corresponding token’s embedding. The target tokens for prediction ('ahead tokens') are then appended. A causal mask is applied to all sequences following these insertion points. (b) Structure of the modified input and attention mask for model training. We show an example of 1 latent embedding and 1 ahead token here for simplicity.

🔼 그림 3은 다양한 수의 잠재 변수(8, 16, 32, 64)를 사용하여 훈련된 증강 모델과 기준 동결된 Gemma-2 2B 모델의 검증 perplexity를 보여줍니다. 잠재 변수 추가 후 첫 번째 토큰과 32번째 토큰을 예측할 때의 perplexity를 비교합니다. perplexity가 낮을수록 성능이 좋음을 나타냅니다. 이 그림은 잠재 변수 추가가 모델의 예측 성능을 향상시키는지, 그리고 잠재 변수의 수가 성능에 어떤 영향을 미치는지 보여주는 실험 결과를 시각적으로 제시합니다.

read the caption

Figure 3: Validation perplexity of the baseline frozen Gemma-2 2B model and augmented models with varying numbers of latents (8, 16, 32, 64), when predicting the 1st and 32nd tokens following latent augmentation. Lower perplexity indicates better performance.

🔼 그림 4는 사전 훈련된 Gemma-2 2B 모델의 가중치를 사용하여 코프로세서를 미세 조정하면 처음부터 학습하는 것보다 GSM8K 정확도가 크게 향상됨을 보여줍니다. 실선은 평균을 나타내고 음영 영역은 마지막 5개의 체크포인트에서 추정된 95% 신뢰 구간을 나타냅니다. 이 그림은 코프로세서의 사전 훈련된 가중치를 활용하는 것이 성능 향상에 중요한 역할을 한다는 것을 시각적으로 보여줍니다.

read the caption

Figure 4: Finetuning the coprocessor from Gemma-2 2B pretrained weights significantly improves GSM8K accuracy compared to training from scratch. Lines represent the mean and shaded areas represent the 95% confidence interval, both estimated from the last 5 checkpoints.

🔼 그림 5는 제안된 방법의 성능이 훈련 데이터의 양에 따라 어떻게 변하는지 보여줍니다. 32개의 잠재 임베딩을 사용하여 코프로세서를 훈련시킨 결과, 훈련 단계가 증가함에 따라 GSM8K 정확도는 향상되고 검증 퍼플렉서티는 감소하는 경향을 보입니다. 이는 코프로세서가 더 많은 데이터를 접할수록 더 유용한 잠재 임베딩을 생성하고 고정된 LLM과 더 잘 통합되어 다음 토큰 예측 성능을 향상시킨다는 것을 시사합니다. 그림에는 기준 성능(고정된 Gemma-2 2B 모델)도 함께 표시되어 있습니다.

read the caption

Figure 5: Scaling of GSM8K accuracy and validation perplexity with increasing training steps for the coprocessor (using 32 latent embeddings). The baseline performance of the frozen Gemma-2 2B model is shown for reference.

🔼 그림 6은 LoRA 미세 조정 후 GSM8K 테스트 세트에 대한 정확도를 보여줍니다. 기준 모델과 비교하여, 제안된 증강 모델은 상당한 성능 향상을 보입니다. 이는 증강 모델이 하위 작업에 더 잘 적응하고 기준 모델보다 훨씬 나은 성능을 발휘함을 시사합니다.

read the caption

Figure 6: Accuracy on GSM8K’s test set after LoRA finetuning. Our augmented model shows a significant improvement compared to the baseline.

🔼 표 2는 다양한 벤치마크에서 기준 모델과 증강 모델의 성능을 보여줍니다. 기준 모델은 동결된 Gemma-2 2B 사전 훈련 모델이며, 증강 모델은 학습된 코프로세서를 사용하여 4, 8, 16, 32, 64개의 잠재 임베딩으로 증강된 모델입니다. 결과는 ‘Metric’ 열에 표시된 대로 제로샷/소수샷 설정에 대해 보고됩니다. ‘Metric’ 열에 명시되지 않은 경우 결과는 정확도(%)입니다. 기준선에 대한 개선 사항은 괄호 안에 표시됩니다. 이 설정에서는 프롬프트의 끝에서 코프로세서가 한 번 호출됩니다.

read the caption

Table 2: Performance of baseline and augmented models across various benchmarks. Results are shown for the baseline (frozen Gemma-2 2B pretrained model) and the model augmented with a learned coprocessor using 4, 8, 16, 32, and 64 latent embeddings, respectively. Results are reported for zero/few-shot settings as indicated in the “Metric” column. Results are accuracy (in %) if not specified in the Metric column. Improvements over the baseline are shown in parentheses. In this setting, the coprocessor is called once, at the end of the prompt.

🔼 표 3은 세 가지 다른 방법을 비교하여 제시합니다. 기준 Gemma-2 2B 모델, Pause Token 기법(Goyal et al., 2023) (32개 임베딩 사용), 그리고 본 논문에서 제안하는 기법(32개 임베딩 사용)입니다. 퍼플렉서티 값이 낮을수록 다음 토큰 예측 성능이 좋다는 것을 나타내고, GSM8K 정확도가 높을수록 GSM8K 성능이 좋다는 것을 나타냅니다.

read the caption

Table 3: Comparison between the baseline Gemma-2 2B model, the Pause Token method (Goyal et al., 2023) (using 32 embeddings), and our approach (also using 32 embeddings). Lower perplexity indicates better next token prediction. Higher accuracy indicates better performance on GSM8K.

🔼 표 4는 세 가지 다른 방법을 사용하여 GSM8K 데이터셋에서 8-shot 설정으로 얻은 정확도를 비교한 것입니다. 첫 번째는 기준 Gemma-2 2B 모델이며, 두 번째는 제로샷 체인 오브 스로트(CoT) 프롬프팅 기법이며, 세 번째는 본 논문에서 제안한 방법으로 16개와 32개의 잠재적 임베딩을 사용한 결과입니다. 이 표는 제로샷 CoT 프롬프팅과 본 논문에서 제안한 방법이 기준 모델에 비해 성능 향상을 보여주는지를 보여줍니다. 또한, 잠재적 임베딩 수를 늘리면 정확도가 향상되는 것을 알 수 있습니다.

read the caption

Table 4: Accuracy on GSM8K 8-shot for the baseline Gemma-2 2B model, zero-shot Chain-of-Thought (CoT) prompting, and our approach with 16 and 32 latent embeddings.

🔼 표 5는 모든 방법에서 32개의 잠재 임베딩을 사용하여 코프로세서에 대한 다양한 미세 조정 방법의 GSM8K 정확도 비교를 보여줍니다. LoRA는 전체 미세 조정에 비해 메모리 효율적인 대안을 제공하며 상당한 성능 향상을 달성합니다. 이 표는 기본 모델, LoRA(Rank 64, Rank 128)를 사용한 미세 조정, 처음부터 학습, 그리고 전체 미세 조정을 포함한 네 가지의 다른 코프로세서 미세 조정 방법에 대한 GSM8K 정확도를 비교합니다.

read the caption

Table 5: GSM8K accuracy comparison of different finetuning methods for the coprocessor, all using 32 latent embeddings. LoRA offers a memory-efficient alternative to full finetuning, achieving reasonable performance gains.

🔼 표 6은 코프로세서 훈련 중 앞쪽 토큰의 개수를 다르게 했을 때 GSM8K 정확도를 보여줍니다. 16개의 앞쪽 토큰을 사용했을 때 정확도가 가장 높았으며 (24.72%, 기준선 21.38%보다 3.34% 상승), 모든 실험에서 16개의 잠재적 임베딩을 사용했습니다. 이 표는 다양한 수의 앞쪽 토큰(4, 8, 16, 32개)에 대한 결과를 보여주며, 앞쪽 토큰 수에 따른 성능 변화를 분석하여 최적의 앞쪽 토큰 개수를 찾는 데 도움이 됩니다. 이는 모델이 미래 토큰을 얼마나 잘 예측하는지 파악하는 데 중요한 지표가 됩니다.

read the caption

Table 6: GSM8K accuracy for varying numbers of ahead tokens during coprocessor training. 16 ahead tokens achieves the highest accuracy (24.72%, +3.34% over the baseline of 21.38%). 16 latent embeddings are used for all these experiments.

🔼 표 7은 사전 훈련된 모델의 가중치를 사용하지 않고 처음부터 코프로세서를 훈련했을 때 다양한 벤치마크에서 기준 모델과 증강 모델의 성능을 보여줍니다. 기준 모델은 동결된 Gemma-2 2B 모델입니다. 각 벤치마크마다 여러 개의 코프로세서 잠재 임베딩 수(4, 8, 16, 32, 64)에 따른 결과가 제시되어 있습니다. 괄호 안의 수치는 기준 모델 대비 성능 향상을 백분율로 나타냅니다. 자세한 내용은 표 2를 참조하십시오.

read the caption

Table 7: Performance of baseline and augmented models across various benchmarks with coprocessor training from scratch. Check Table 2 for more detailed description.