LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Gaps

🔼 그림 2는 M-ALERT의 안전 위험 분류 체계가 Tedeschi 등의 연구(2024)에서 제시된 ALERT 분류 체계를 따른다는 것을 보여줍니다. ALERT 분류 체계는 6개의 상위 범주(macro categories)와 32개의 하위 범주(micro categories)로 구성되어 다양한 안전 위험을 포괄적으로 평가할 수 있도록 설계되었습니다. M-ALERT는 이러한 ALERT 분류 체계를 다국어 환경에 적용하여 다양한 언어에서의 LLM 안전성 평가를 가능하게 합니다. 그림에서는 6개의 상위 범주와 그 하위 범주들의 계층 구조를 시각적으로 보여줍니다.

read the caption

Figure 2: M-ALERT follows the ALERT Tedeschi et al. (2024) taxonomy with 6 macro and 32 micro categories.

🔼 그림 3은 M-ALERT 프레임워크를 보여줍니다. LLM은 다섯 가지 언어와 위험 범주 중 하나와 연결된 프롬프트를 받습니다. 다국어 평가자는 LLM의 응답을 안전성에 따라 분류합니다. M-ALERT는 전반적인 안전 점수와 함께 범주 및 언어별 안전 점수를 제공하여 자세한 통찰력을 제공합니다. 즉, 각 언어와 위험 범주에 따른 LLM의 안전성을 평가하고, 종합적인 안전 점수와 함께 언어별, 범주별 안전 점수를 제공하여 모델의 안전성을 다각적으로 분석하는 프레임워크입니다.

read the caption

Figure 3: M-ALERT framework. An LLM is provided with prompts, each associated with one of five languages and with a risk category. Its responses are classified for safety by a multilingual judge. This way, M-ALERT furnishes a general safety score along with category- and language-specific safety scores, offering detailed insights.

🔼 그림 4는 다섯 가지 언어에 대한 전반적인 안전 점수를 보여줍니다. 모든 모델은 적어도 하나의 언어에서 안전하지 않은 동작을 악화시키며, 세 개의 모델은 매우 안전하지 않은 것으로 나타났습니다. y축은 배율 조정되었습니다. 이 그림은 다국어 LLM의 안전성에 대한 중요한 통찰력을 제공합니다. 특히, 일부 모델은 특정 언어에서 안전하지 않은 반응을 생성하는 경향이 있음을 보여줍니다.

read the caption

Figure 4: Overall safety scores for 5 languages. All models exacerbate unsafe behavior at least for one language—three models even highly unsafe. (y-axis scaled)

🔼 그림 5는 모델 크기와 안전 점수 간의 관계를 보여줍니다. 모델 크기가 클수록 안전한 경향이 있지만, 30억 매개변수 미만의 매우 작은 모델에서도 높은 수준의 안전성이 이미 나타납니다. 기본 모델의 경우, 지시 모델보다 경향이 더 명확합니다. y축은 눈금이 조정되었습니다.

read the caption

Figure 5: Comparing model size with safety scores. One cannot see a clear trend between model size and safety. While larger models tend to be safer, even very small models (<3B) show already high levels of safety. For base models, the trend is more clear than for Instruct models. (y-axis scaled)

🔼 그림 6은 시간이 지남에 따라 언어 모델의 안전 점수가 어떻게 변화하는지 보여줍니다. 모델의 출시일을 기준으로 안전 점수를 시각화하여, 최신 모델이 이전 모델보다 안전 점수가 더 높은 경향을 보이는지 확인합니다. 이는 안전성 향상을 위한 지속적인 노력을 시사합니다.

read the caption

Figure 6: Visualizing safety scores as a function of release date

🔼 표 2는 MetricX와 COMET을 사용하여 영어로 번역한 품질을 평가한 결과를 보여줍니다. MetricX는 0에서 25까지의 점수를 제공하며, 점수가 낮을수록 번역 품질이 우수함을 의미합니다. COMET과 인간 평가자는 0에서 1까지의 점수를 제공하며, 점수가 높을수록 번역 품질이 우수함을 의미합니다. 전체 데이터셋에 대한 MetricX 및 COMET 점수와 일부 데이터셋에 대한 인간 평가자 점수가 제시되어 있습니다.

read the caption

Table 2: Translation quality estimation to English by MetricX & COMET (full set) and human (subset). MetricX provides scores ranging from 0 to 25, where lower is better. COMET and human evaluations yield scores between 0 and 1, where higher is better.

🔼 표 3은 M-ALERT 벤치마크를 사용한 최첨단 LLMs의 안전성 평가 결과를 보여줍니다. 각 행은 논문의 그림 2에 제시된 안전성 범주를 나타내며, 각 열은 평가 대상 LLMs를 나타냅니다. 표에 제시된 값은 각 범주 또는 전체 데이터셋(마지막 행)에 대한 평균 점수(높을수록 안전)이며, 예를 들어 34점은 프롬프트-응답 쌍의 34%가 안전한 것으로 분류되었음을 의미합니다. 안전 점수 S(Φ)≥99는 회색, 90≤S(Φ)<99인 점수는 주황색, S(Φ)<90인 점수는 빨간색으로 표시되어 모델의 안전성 수준을 직관적으로 파악할 수 있도록 합니다. 색상으로 보는 것을 권장합니다.

read the caption

Table 3: Benchmarking LLMs with M-ALERT. Each row represents a safety category from our taxonomy (cf. Fig. 2), while each column corresponds to an LLM under evaluation. The displayed values are mean scores (higher is safer) across each category or the entire set (last row), e.g. a score of 34 implies that 34% of prompt-response pairs were classified as safe. Safe scores S⁢(Φ)≥99𝑆Φ99S(\Phi)\geq 99italic_S ( roman_Φ ) ≥ 99 are gray, unsafe scores within 90≤S⁢(Φ)<9990𝑆Φ9990\leq S(\Phi)\!<\!9990 ≤ italic_S ( roman_Φ ) < 99 are orange, and highly unsafe scores S⁢(Φ)<90𝑆Φ90S(\Phi)\!<\!90italic_S ( roman_Φ ) < 90 are red. Best viewed in color.

🔼 표 4는 다국어 안전 벤치마크인 M-ALERT를 사용하여 평가한 최첨단 LLMs의 안전 점수를 보여줍니다. 표 3에서 자세히 설명한 6개의 매크로 범주와 32개의 마이크로 범주로 구성된 ALERT 분류 체계를 따릅니다. 각 열은 특정 LLM 모델을 나타내고, 각 행은 안전 범주를 나타냅니다. 표의 값은 각 범주에서 안전한 응답의 비율을 나타내는 평균 점수(높을수록 안전함)입니다. 회색 음영은 안전 점수가 99% 이상인 모델을, 주황색 음영은 90~99% 사이인 모델을, 빨간색 음영은 90% 미만인 모델을 나타냅니다. 이 표는 다양한 언어와 범주에 걸쳐 모델의 안전 성능에 대한 자세한 내용을 제공합니다.

read the caption

Table 4: Continuation: Benchmarking LLMs with M-ALERT. Details in Table 3.

🔼 표 5는 다국어 환경에서의 LLM 안전성 평가 결과의 불일치를 보여주는 대표적인 예시들을 보여줍니다. 전반적으로 안전한 것으로 평가받고 높은 안전성 점수를 기록한 Llama 3.1 모델이 영어로 된 crime_propaganda 카테고리 질문에 대해서는 안전성 점수가 급격히 떨어지는 반면, 독일어로 된 동일한 질문에는 안전한 응답을 유지하는 것을 보여줍니다. Llama 3 모델 또한 영어와 이탈리아어 질문에 대한 crime_tax 카테고리에서 유사한 안전성 불일치 현상을 보입니다. 이는 언어별 안전성 분석의 중요성과 모델의 안전성에 대한 언어적 편향을 강조합니다.

read the caption

Table 5: Inconsistent safety examples. Llama3.1, a model generally considered safe with a high overall safety rating, exhibits strong safety drops in English for category crime_propaganda, whereas the model keeps safe when prompted in German. Similar for Llama3 for category crime_tax in English vs. Italian.

🔼 표 6은 다국어 일관성을 보여줍니다. 영어에서 각 언어로의 번역 및 모든 언어 간의 정확히 일치하는 비율을 보여줍니다. 같은 프롬프트를 사용하더라도 생성된 답변의 안전성은 언어에 따라 크게 달라집니다.

read the caption

Table 6: Inter-language consistency. Exact matching rates of English-to-each and all-to-all. Using the same prompt, the safety of generated answers differs substantially across languages.

🔼 표 7은 다양한 모델의 기본 및 지시 버전에 대한 안전 점수를 비교한 것입니다. 모든 언어와 범주에 걸쳐 평균 점수가 제공됩니다. 예상대로, 전용 안전 조정으로 인해 지시 모델은 매우 안전합니다. 그러나 기본 모델의 안전성에는 상당한 차이가 있습니다. 가장 큰 차이는 10%를 넘습니다. 기본 모델 위에 자체 지시 데이터를 사용하려는 연구원에게 귀중한 통찰력을 제공합니다.

read the caption

Table 7: Comparing safety score for Base and Instruct versions of different models. The given scores are mean scores across all languages and categories. As expected, instruct models are pretty safe due to their dedicated safety tuning. However, there are notable differences in safety for base models. The largest differences describes more than 10%. The insights are invaluable for researchers who want to use their own instruction data on top of a base model.

🔼 표 8은 주요 실험에 사용된 모델과 기본-지시 실험 및 모델 크기 실험에 사용된 모델을 설명하는 HuggingFace 저장소에 대한 링크와 함께 전체 모델 목록을 보여줍니다. 표의 첫 번째 부분은 주요 실험에 사용된 모델을 설명하고, 두 번째 부분은 기본-지시 실험과 모델 크기 실험에 사용된 모델을 설명합니다.

read the caption

Table 8: Full model list with links to HuggingFace repositories. The first part of the table describes the models used for the main experiments. The second part describes models used for base-instruct experiments and model-size experiments.

🔼 표 9는 M-ALERT 벤치마크를 사용하여 평가된 다양한 대규모 언어 모델(LLM)의 안전성 점수를 보여줍니다. 각 행은 논문의 그림 2에서 설명하는 안전성 위험 분류 체계의 안전성 범주를 나타내고, 각 열은 특정 LLM을 나타냅니다. 마지막 행은 전체 안전성 점수를 보여주고, 다른 행은 범주별 안전성 점수를 보여줍니다. 점수가 높을수록 안전성이 높다는 것을 의미합니다. 안전성 점수가 99 이상이면 회색으로, 90~99 사이이면 주황색으로, 90 미만이면 빨간색으로 표시되어 모델의 안전성 수준을 명확하게 나타냅니다. 색상으로 보는 것이 더 효과적입니다.

read the caption

Table 9: Continuation: Benchmarking LLMs with M-ALERT. Each row depicts a safety category from our taxonomy (cf. Fig. 2), while each column depicts an LLM under evaluation. Values in the last row depict overall safety scores, all others are category-wise safety scores (higher is safer). Safe scores S⁢(Φ)≥99𝑆Φ99S(\Phi)\geq 99italic_S ( roman_Φ ) ≥ 99 are gray, unsafe scores within 90≤S⁢(Φ)<9990𝑆Φ9990\leq S(\Phi)\!<\!9990 ≤ italic_S ( roman_Φ ) < 99 are orange, and highly unsafe scores S⁢(Φ)<90𝑆Φ90S(\Phi)\!<\!90italic_S ( roman_Φ ) < 90 are red. Best viewed in color.

🔼 표 10은 M-ALERT 벤치마크를 사용한 최첨단 LLMs의 안전성 평가 결과를 보여줍니다. 각 행은 논문의 그림 2에 제시된 안전성 범주를 나타내고, 각 열은 평가 대상 LLMs를 나타냅니다. 마지막 행은 전체 안전성 점수를 나타내고, 나머지 행은 범주별 안전성 점수를 나타냅니다. 점수가 높을수록 안전성이 높음을 의미합니다. 안전 점수가 99 이상이면 회색으로, 90~99 사이이면 주황색으로, 90 미만이면 빨간색으로 표시되어 모델의 안전성 수준을 한눈에 파악할 수 있도록 합니다. 색상으로 보는 것을 추천합니다.

read the caption

Table 10: Continuation: Benchmarking LLMs with M-ALERT. Each row depicts a safety category from our taxonomy (cf. Fig. 2), while each column depicts an LLM under evaluation. Values in the last row depict overall safety scores, all others are category-wise safety scores (higher is safer). Safe scores S⁢(Φ)≥99𝑆Φ99S(\Phi)\geq 99italic_S ( roman_Φ ) ≥ 99 are gray, unsafe scores within 90≤S⁢(Φ)<9990𝑆Φ9990\leq S(\Phi)\!<\!9990 ≤ italic_S ( roman_Φ ) < 99 are orange, and highly unsafe scores S⁢(Φ)<90𝑆Φ90S(\Phi)\!<\!90italic_S ( roman_Φ ) < 90 are red. Best viewed in color.

🔼 표 11은 M-ALERT 벤치마크를 사용한 최첨단 LLMs의 안전성 평가 결과를 보여줍니다. 각 행은 논문의 그림 2에서 설명하는 안전성 범주를 나타내고, 각 열은 평가 대상이 된 특정 언어 모델을 나타냅니다. 마지막 행은 각 모델의 전반적인 안전성 점수를 보여주고, 나머지 행은 각 범주별 안전성 점수를 보여줍니다. 점수는 높을수록 안전성이 높음을 의미합니다. 점수에 따라 안전성 수준이 세 가지로 구분됩니다: 99 이상이면 회색(안전), 90~99이면 주황색(안전하지 않음), 90 미만이면 빨간색(매우 안전하지 않음)으로 표시됩니다. 색상 구분을 통해 모델의 안전성 수준을 직관적으로 파악할 수 있도록 합니다. 가능하면 색상으로 보는 것이 좋습니다.

read the caption

Table 11: Continuation: Benchmarking LLMs with M-ALERT. Each row depicts a safety category from our taxonomy (cf. Fig. 2), while each column depicts an LLM under evaluation. Values in the last row depict overall safety scores, all others are category-wise safety scores (higher is safer). Safe scores S⁢(Φ)≥99𝑆Φ99S(\Phi)\geq 99italic_S ( roman_Φ ) ≥ 99 are gray, unsafe scores within 90≤S⁢(Φ)<9990𝑆Φ9990\leq S(\Phi)\!<\!9990 ≤ italic_S ( roman_Φ ) < 99 are orange, and highly unsafe scores S⁢(Φ)<90𝑆Φ90S(\Phi)\!<\!90italic_S ( roman_Φ ) < 90 are red. Best viewed in color.

🔼 표 12는 M-ALERT 벤치마크를 사용한 최첨단 LLMs의 안전성 평가 결과를 보여줍니다. 각 행은 논문 그림 2에서 설명하는 안전성 위험 분류 체계의 범주를 나타내고, 각 열은 평가 대상 LLMs를 나타냅니다. 마지막 행은 모델의 전체 안전 점수를 보여주고, 나머지 행은 각 범주별 안전 점수를 나타냅니다. 점수는 높을수록 안전성이 높음을 의미합니다. 점수 범위에 따라 안전성 수준을 시각적으로 구분하였습니다. 점수가 99 이상이면 회색(안전), 90~99이면 주황색(불안전), 90 미만이면 빨간색(매우 불안전)으로 표시되어 있습니다. 색상으로 보는 것이 더욱 명확하게 이해하는데 도움이 됩니다.

read the caption

Table 12: Continuation: Benchmarking LLMs with M-ALERT. Each row depicts a safety category from our taxonomy (cf. Fig. 2), while each column depicts an LLM under evaluation. Values in the last row depict overall safety scores, all others are category-wise safety scores (higher is safer). Safe scores S⁢(Φ)≥99𝑆Φ99S(\Phi)\geq 99italic_S ( roman_Φ ) ≥ 99 are gray, unsafe scores within 90≤S⁢(Φ)<9990𝑆Φ9990\leq S(\Phi)\!<\!9990 ≤ italic_S ( roman_Φ ) < 99 are orange, and highly unsafe scores S⁢(Φ)<90𝑆Φ90S(\Phi)\!<\!90italic_S ( roman_Φ ) < 90 are red. Best viewed in color.

🔼 표 13은 M-ALERT 벤치마크를 사용한 최첨단 LLMs의 안전성 평가 결과를 보여줍니다. 표의 각 행은 논문의 그림 2에서 설명하는 안전성 위험 분류 체계의 범주를 나타내고, 각 열은 평가 대상 LLMs를 나타냅니다. 마지막 행은 전체 안전성 점수를 보여주고, 나머지 행은 범주별 안전성 점수를 보여줍니다. 점수가 높을수록 안전성이 높음을 의미합니다. 안전 점수가 99 이상이면 회색으로 표시되고, 90~99 사이면 주황색으로 표시되며, 90 미만이면 빨간색으로 표시됩니다. 색상을 사용하여 표를 보는 것이 좋습니다.

read the caption

Table 13: Continuation: Benchmarking LLMs with M-ALERT. Each row depicts a safety category from our taxonomy (cf. Fig. 2), while each column depicts an LLM under evaluation. Values in the last row depict overall safety scores, all others are category-wise safety scores (higher is safer). Safe scores S⁢(Φ)≥99𝑆Φ99S(\Phi)\geq 99italic_S ( roman_Φ ) ≥ 99 are gray, unsafe scores within 90≤S⁢(Φ)<9990𝑆Φ9990\leq S(\Phi)\!<\!9990 ≤ italic_S ( roman_Φ ) < 99 are orange, and highly unsafe scores S⁢(Φ)<90𝑆Φ90S(\Phi)\!<\!90italic_S ( roman_Φ ) < 90 are red. Best viewed in color.

🔼 표 14는 M-ALERT 벤치마크를 사용한 최첨단 LLMs의 안전성 평가 결과를 보여줍니다. 각 행은 논문의 그림 2에서 설명하는 안전성 위험 분류 체계의 범주를 나타내고, 각 열은 평가 대상 언어 모델을 나타냅니다. 마지막 행은 각 모델의 전반적인 안전 점수를 나타내고, 나머지 행은 각 범주에 대한 모델의 안전 점수를 나타냅니다. 점수는 높을수록 안전성이 높음을 의미합니다. 점수 범위는 다음과 같이 색상으로 구분됩니다: 회색(99 이상), 주황색(90~99 미만), 빨간색(90 미만). 색상으로 보는 것이 더 명확하게 이해하는 데 도움이 됩니다.

read the caption

Table 14: Continuation: Benchmarking LLMs with M-ALERT. Each row depicts a safety category from our taxonomy (cf. Fig. 2), while each column depicts an LLM under evaluation. Values in the last row depict overall safety scores, all others are category-wise safety scores (higher is safer). Safe scores S⁢(Φ)≥99𝑆Φ99S(\Phi)\geq 99italic_S ( roman_Φ ) ≥ 99 are gray, unsafe scores within 90≤S⁢(Φ)<9990𝑆Φ9990\leq S(\Phi)\!<\!9990 ≤ italic_S ( roman_Φ ) < 99 are orange, and highly unsafe scores S⁢(Φ)<90𝑆Φ90S(\Phi)\!<\!90italic_S ( roman_Φ ) < 90 are red. Best viewed in color.