Auto-RT: Automatic Jailbreak Strategy Exploration for Red-Teaming Large Language Models

🔼 그림 2는 AUTO-RT 프레임워크의 개념도입니다. AUTO-RT는 두 가지 주요 구성 요소로 이루어져 있습니다. 첫 번째는 조기 종료 탐색(Early-terminated Exploration)으로, 생성된 전략의 다양성과 재구성된 프롬프트의 일관성을 평가하여 안전성 평가의 필요성을 결정합니다. 제약 조건이 충족되지 않으면 프로세스가 즉시 종료되고 패널티가 적용됩니다. 두 번째는 진보적 보상 추적(Progressive Reward Tracking)으로, 대상 모델에서 파생된 저하 모델을 활용하여 안전성 보상의 밀도를 높여 탐색 프로세스의 효율성과 효과성을 향상시킵니다.

read the caption

Figure 2: The framework of Auto-RT, comprising two key components: 1) Early-terminated Exploration, which assesses the diversity of the generated strategies and the consistency of the rephrased prompt with the initial toxic behavior to determine the necessity of safety evaluation. If either constraint is unmet, the process immediately terminate, and a penalty is applied; 2) Progressive Reward Tracking, which enhances the density of safety rewards by utilizing a degrade model derived from the target model, thereby improving the efficiency and effectiveness of the exploration process.

🔼 그림 3은 제안된 보상 형성 과정의 원리를 보여주는 상태 공간 s에 대한 안전 분포 J(s)의 개념적 다이어그램입니다. 빨간색 곡선은 더 안전한 모델 m을, 파란색 곡선은 덜 안전한 모델 m’을 나타냅니다. θ는 안전-위험 임계값을 나타내며, δ와 δ’는 각각 위험한 하위 공간을 표시합니다. 더 안전한 모델 m은 대부분의 상태에서 더 높은 안전성을 보여주며, 위험한 하위 공간 δ는 드물고 최소한으로 상호 연결됩니다. 반면에 덜 안전한 모델 m’은 더 크고 상호 연결된 위험한 하위 공간을 보여주어 안전하지 않은 영역을 만날 확률이 높아집니다. 주목할 점은 m의 위험한 하위 공간이 m’의 위험한 하위 공간에 완전히 포함된다는 것입니다. 이러한 관계는 m’을 전략적으로 사용하여 m의 위험한 하위 공간을 효율적으로 식별하는 탐색 프로세스에 집중할 수 있도록 합니다.

read the caption

Figure 3: Conceptual diagram of the safety distribution 𝒥⁢(s)𝒥s\mathcal{J}(\textbf{s})caligraphic_J ( s ) across the state space s, illustrating the principle of our proposed reward shaping process. The red curve represents the safer model m𝑚{\color[rgb]{1,0.23,0.13}\definecolor[named]{pgfstrokecolor}{rgb}{1,0.23,0.13}% \pgfsys@color@cmyk@stroke{0}{0.77}{0.87}{0}\pgfsys@color@cmyk@fill{0}{0.77}{0.% 87}{0}m}italic_m, while the blue curve represents the less safe model m′superscript𝑚′{\color[rgb]{0.0600000000000001,0.46,1}\definecolor[named]{pgfstrokecolor}{rgb% }{0.0600000000000001,0.46,1}\pgfsys@color@cmyk@stroke{0.94}{0.54}{0}{0}% \pgfsys@color@cmyk@fill{0.94}{0.54}{0}{0}m^{\prime}}italic_m start_POSTSUPERSCRIPT ′ end_POSTSUPERSCRIPT. θ𝜃\thetaitalic_θ denotes the safety-danger threshold, with δ𝛿{\color[rgb]{1,0.23,0.13}\definecolor[named]{pgfstrokecolor}{rgb}{1,0.23,0.13}% \pgfsys@color@cmyk@stroke{0}{0.77}{0.87}{0}\pgfsys@color@cmyk@fill{0}{0.77}{0.% 87}{0}\delta}italic_δ and δ′superscript𝛿′{\color[rgb]{0.0600000000000001,0.46,1}\definecolor[named]{pgfstrokecolor}{rgb% }{0.0600000000000001,0.46,1}\pgfsys@color@cmyk@stroke{0.94}{0.54}{0}{0}% \pgfsys@color@cmyk@fill{0.94}{0.54}{0}{0}\delta^{\prime}}italic_δ start_POSTSUPERSCRIPT ′ end_POSTSUPERSCRIPT marking the respective dangerous subspaces. The safer model, m𝑚{\color[rgb]{1,0.23,0.13}\definecolor[named]{pgfstrokecolor}{rgb}{1,0.23,0.13}% \pgfsys@color@cmyk@stroke{0}{0.77}{0.87}{0}\pgfsys@color@cmyk@fill{0}{0.77}{0.% 87}{0}m}italic_m, demonstrates higher safety across most states, with its dangerous subspace, δ𝛿{\color[rgb]{1,0.23,0.13}\definecolor[named]{pgfstrokecolor}{rgb}{1,0.23,0.13}% \pgfsys@color@cmyk@stroke{0}{0.77}{0.87}{0}\pgfsys@color@cmyk@fill{0}{0.77}{0.% 87}{0}\delta}italic_δ, being sparse and minimally interconnected. In contrast, the less safe model, m′{\color[rgb]{0.0600000000000001,0.46,1}\definecolor[named]{pgfstrokecolor}{rgb% }{0.0600000000000001,0.46,1}\pgfsys@color@cmyk@stroke{0.94}{0.54}{0}{0}% \pgfsys@color@cmyk@fill{0.94}{0.54}{0}{0}m{\prime}}italic_m ′, exhibits larger and more connected dangerous subspaces, increasing the probability of encountering unsafe regions. Notably, the dangerous subspace of m𝑚{\color[rgb]{1,0.23,0.13}\definecolor[named]{pgfstrokecolor}{rgb}{1,0.23,0.13}% \pgfsys@color@cmyk@stroke{0}{0.77}{0.87}{0}\pgfsys@color@cmyk@fill{0}{0.77}{0.% 87}{0}m}italic_m is entirely encompassed by that of m′{\color[rgb]{0.0600000000000001,0.46,1}\definecolor[named]{pgfstrokecolor}{rgb% }{0.0600000000000001,0.46,1}\pgfsys@color@cmyk@stroke{0.94}{0.54}{0}{0}% \pgfsys@color@cmyk@fill{0.94}{0.54}{0}{0}m{\prime}}italic_m ′. This relationship allows for the strategic use of m′{\color[rgb]{0.0600000000000001,0.46,1}\definecolor[named]{pgfstrokecolor}{rgb% }{0.0600000000000001,0.46,1}\pgfsys@color@cmyk@stroke{0.94}{0.54}{0}{0}% \pgfsys@color@cmyk@fill{0.94}{0.54}{0}{0}m{\prime}}italic_m ′ to efficiently focus the exploration process on identifying the dangerous subspaces of m𝑚{\color[rgb]{1,0.23,0.13}\definecolor[named]{pgfstrokecolor}{rgb}{1,0.23,0.13}% \pgfsys@color@cmyk@stroke{0}{0.77}{0.87}{0}\pgfsys@color@cmyk@fill{0}{0.77}{0.% 87}{0}m}italic_m.

🔼 그림 4는 Auto-RT와 RL의 공격 효율성을 비교한 것입니다. 바이올린 플롯은 1,000개의 샘플 전략마다 공격 성공률의 분포를 보여줍니다. 밝은 색상은 Auto-RT를, 어두운 색상은 RL을 나타냅니다. Auto-RT는 동일한 샘플 수를 사용하는 RL보다 더 높은 공격 성공률을 달성하며, 분산이 더 큽니다. 이는 Auto-RT가 RL보다 더 포괄적인 탐색을 수행함을 시사합니다.

read the caption

Figure 4: Comparison of attack efficiency between Auto-RT and RL. The violin plots represent the distribution of attack success rates for every 1k sampled strategies, with lighter colors indicating Auto-RT and darker colors representing RL. Auto-RT achieves higher attack success rates than RL under the same number of samples, and with larger variance, indicating that it achieves more comprehensive exploration.

🔼 그림 5는 다양한 양의 독성 데이터를 사용하여 6개의 대상 모델을 미세 조정하여 얻은 일련의 중간 모델(M1~M6)에 대한 보상 형성 후 적색 팀 활동 결과(공격 성공률, Attack ASR), 해당 모델의 안전 수준(약화된 ASR, Weaken ASR), 추가적인 독성 행동에 대한 최초 역률(약화된 FIR, Weaken FIR) 간의 관계를 보여줍니다. 최적의 적색 팀 결과는 그림에서 어두운 색상의 막대로 표시된 FIR의 급증 전 마지막 중간 모델을 보상 형성을 위한 저하 모델로 선택하여 얻을 수 있습니다. 이 그림은 보상 형성에 사용할 저하 모델을 선택하는 데 FIR 지표가 효과적임을 시각적으로 보여줍니다.

read the caption

Figure 5: The relationship between the red-teaming outcomes (Attack ASR) following reward shaping with a series of intermediate models (M1 to M6), the safety levels of these models (Weaken ASR), and their first inverse rate for additional toxic behavior (Weaken FIR). These intermediate models are derived by fine-tuning on six target models using varying amounts of toxic data.The optimal red-teaming results are achieved by selecting the last intermediate model before a sudden spike in FIR (represented by the dark-colored bar in the figure) as the degrade model for reward shaping.

🔼 그림 6은 새로운 공격 전략 탐색을 위한 프롬프트 예시입니다. 기존 전략들을 바탕으로 다양한 설정에서 생성된 여러 가지 데모 예시들이 포함되어 있습니다. 이를 통해 모델이 새로운 공격 전략을 생성하는 데 도움을 줄 수 있습니다. 데모 예시는 다양한 설정에 따라 기존 전략들을 기반으로 합니다.

read the caption

Figure 6: Complete prompt for new strategies exploration. seed examples are demonstrations selected from existing strategies based on different settings.

🔼 그림 7은 공격 쿼리 재구성을 위한 프롬프트를 보여줍니다. 이 프롬프트는 공격 모델에서 샘플링된 공격 전략과 초기 유해 행동을 나타내는 유해 쿼리를 사용합니다. 프롬프트는 공격 전략에 따라 쿼리를 수정하여 원래 의도를 유지하면서 안전하지 않은 응답을 유도하는 방법을 보여줍니다. 재구성된 쿼리는 모델의 취약성을 드러내는 데 사용됩니다. 간단히 말해, 이 그림은 AUTO-RT 시스템이 유해한 질문을 재구성하여 언어 모델의 취약성을 공격하는 방식을 보여줍니다.

read the caption

Figure 7: Complete the prompt for attack query rephrasing using the provided attack strategy. The attack strategy is sampled from the attack model, and the toxic query represents the initial toxic behavior.

🔼 그림 8은 질의의 의도를 판단하기 위한 프롬프트를 보여줍니다. 공격 전략으로 수정된 원본 질의와 수정된 질의의 목적을 평가하여 두 질의의 의도가 유사한지 확인하는 과정을 보여줍니다. 두 질의의 의도가 동일하면 1, 다르면 0으로 응답하도록 설계되었습니다. 이는 모델이 생성한 응답의 안전성을 평가하기 위한 중간 단계로, 유사한 의도를 가진 질의는 동일한 안전성 등급을 가져야 하며, 다른 의도를 가진 질의는 서로 다른 안전성 등급을 가질 수 있기 때문에 중요한 단계입니다.

read the caption

Figure 8: Complete the prompt for judging query intent. Verify that the original query and the rephrased query, modified with the attack strategy, share a similar intent by assessing their purposes.

🔼 표 2는 Auto-RT의 두 가지 주요 구성 요소인 조기 종료 탐색(ETE)과 점진적 보상 추적(PRT)의 영향을 다양한 언어 모델에서 평가한 결과를 보여줍니다. 실험 결과는 ETE와 PRT 모두 전략 탐색 향상에 기여하며, 두 가지를 함께 사용하면 효과가 더욱 증대됨을 보여줍니다. 각 구성 요소의 독립적 및 결합적 효과를 정량적으로 비교 분석하여 Auto-RT의 성능 향상에 대한 통찰력을 제공합니다.

read the caption

Table 2: Ablation of early-terminated exploration (ETE) and progressive reward tracking (PRT) in Auto-RT. We evaluated the impact of the two components of Auto-RT on different models, and the results demonstrate that both contribute to enhancing strategy exploration.

🔼 표 3은 Auto-RT와 사람 기반 전략 공격 방법을 비교한 표입니다. Auto-RT는 지속적으로 안정적인 공격 전략을 생성할 수 있다는 것을 보여줍니다. 자세히 살펴보면, Auto-RT의 공격 성공률(ASR), 의미적 다양성(SeD), 방어 일반화 다양성(DeD)을 사람이 만든 세 가지 방법(AD, HT, PT)과 비교하여 Auto-RT의 성능을 다각적으로 평가하고 있습니다. 이는 Auto-RT가 단순히 높은 공격 성공률을 달성하는 것 뿐만 아니라 다양하고 안정적인 공격 전략을 지속적으로 생성할 수 있음을 시사합니다.

read the caption

Table 3: Comparison between Auto-RT and human-based strategic attack methods. Auto-RT can continuously generate stable attack strategies.

🔼 본 논문의 표 4는 접근 불가능한 가중치를 가진 모델을 시뮬레이션하기 위해 In-Context Learning 기법으로 저하된 모델을 생성하는 블랙박스 설정에서의 공격 성능을 보여줍니다. 즉, 모델의 내부 정보에 접근할 수 없는 상황에서, In-Context Learning을 이용하여 모델의 안전성을 약화시킨 후 공격을 수행했을 때의 효과를 평가한 결과입니다. 표에는 다양한 모델들에 대한 공격 성공률(ASR), 의미론적 다양성(SeD), 방어 일반화 다양성(DeD) 등이 제시되어 있습니다.

read the caption

Table 4: Attack performance when using In-Context Learning approach to construct degrade model in black-box setting for simulating models with inaccessible weights.

🔼 표 5는 논문에서 제시된 AUTO-RT 모델의 공격 효과에 대한 실험 결과를 보여줍니다. AUTO-RT 모델의 주요 구성 요소인 조기 종료 탐색(ETE)과 점진적 보상 추적(PRT)을 각각 적용했을 때와 두 요소를 모두 적용했을 때의 공격 성공률(ASR)을 다양한 언어 모델(Target Model)에 대해 비교 분석한 결과가 제시되어 있습니다. 각 구성요소의 효과를 개별적으로 확인하고 전체 모델의 성능을 평가하여 AUTO-RT의 효율성을 보여줍니다.

read the caption

Table 5: The ablation results of the Attack Effectiveness with different components on all target models.

🔼 표 6은 다양한 모델에 대해 방어 일반화 다양성에 대한 AUTO-RT의 구성 요소별 실험 결과를 보여줍니다. 각 모델에 대해, 기준 RL 방법과 초기 종료 탐색(ETE), 점진적 보상 추적(PRT)을 추가한 여러 가지 변형을 비교하여, 각 구성 요소가 방어 전략에 대한 공격 전략의 다양성에 미치는 영향을 분석합니다. 결과는 AUTO-RT의 두 가지 주요 구성요소가 모두 방어 일반화 다양성을 향상시키는 데 기여함을 보여줍니다.

read the caption

Table 6: The ablation results of the Defense Generalization Diversity with different components on all target models.

🔼 표 7은 다양한 모델에 대해 구성 요소별로 계산된 의미적 다양성의 분석 결과를 보여줍니다. 구체적으로는, 기준 모델(RL)과 조기 종료 탐색(ETE), 점진적 보상 추적(PRT)을 개별적으로 적용했을 때와 두 기법을 모두 적용한 AUTO-RT의 성능을 의미적 다양성 측면에서 비교 분석한 결과입니다. 여러 모델에 대한 각 기법 적용 시 의미적 다양성 수치를 통해 각 기법이 전반적인 전략 생성의 다양성에 미치는 영향을 정량적으로 확인할 수 있습니다.

read the caption

Table 7: The ablation results of the Semantic Diversity with different components on all target models.