Parallelized Autoregressive Visual Generation

🔼 그림 2는 제안된 병렬 생성 방법(PAR)과 기존의 순차적 자기회귀 생성 방법(LlamaGen [47])의 비교 결과를 보여줍니다. PAR은 LlamaGen에 비해 3.6배에서 최대 9.5배까지 속도 향상을 달성했으며, 생성 품질은 유사하게 유지했습니다. 구체적으로, 이미지 생성 시간이 LlamaGen의 12.41초에서 PAR-4x의 경우 3.46초, PAR-16x의 경우 1.31초로 단축되었습니다. 이러한 측정은 단일 A100 GPU에서 배치 크기 1로 수행되었습니다. 그림에는 각 방법으로 생성된 이미지들의 시각적 비교 결과가 나란히 제시되어 있습니다.

read the caption

Figure 2: Visualization comparison of our parallel generation and traditional autoregressive generation (LlamaGen [47]). Our approach (PAR) achieves 3.6-9.5×\times× speedup over LlamaGen with comparable quality, reducing the generation time from 12.41s to 3.46s (PAR-4×\times×) and 1.31s (PAR-16×\times×) per image. Time measurements are conducted with a batch size of 1 on a single A100 GPU.

🔼 그림 3은 제안된 비국소적 병렬 생성 과정을 보여줍니다. 먼저, 점선으로 구분된 각 영역에 대해 초기 토큰(1-4)을 순차적으로 생성하여 전역 구조를 확립합니다. 그런 다음, 서로 다른 영역에서 정렬된 위치(예: 5a-5d)에 대해 병렬 생성을 수행하고, 다음 정렬된 위치(6a-6d, 7a-7d 등)로 이동하여 병렬 생성을 계속합니다. 같은 숫자는 같은 단계에서 생성된 토큰을 나타내고, 알파벳 접미사(a,b,c,d)는 서로 다른 영역을 나타냅니다.

read the caption

Figure 3: Illustration of our non-local parallel generation process. Stage 1: sequential generation of initial tokens (1-4) for each region (separated by dotted lines) to establish global structure. Stage 2: parallel generation at aligned positions across different regions (e.g., 5a-5d), then moving to next aligned positions (6a-6d, 7a-7d, etc.) for parallel generation. Same numbers indicate tokens generated in the same step, and letter suffix (a,b,c,d) denotes different regions .

🔼 그림 4는 본 논문에서 제안하는 병렬화된 자기회귀적 시각 생성 프레임워크를 개괄적으로 보여줍니다. (a)는 모델 구현을 보여줍니다. 모델은 처음에 토큰 [1, 2, 3, 4]를 순차적으로 생성한 다음, 학습 가능한 토큰 [M1, M2, M3]을 사용하여 병렬 예측 모드로 전환합니다. (b)는 제안된 병렬 예측 방식(왼쪽)과 기존의 단일 토큰 예측 방식(오른쪽) 간의 가시적 컨텍스트 비교를 보여줍니다. 색상이 있는 셀은 생성 중에 사용 가능한 컨텍스트를 나타냅니다. 기존의 자기회귀적 방식에서는 토큰 6d를 예측할 때, 6a~6c를 포함한 이전 토큰에 모두 접근할 수 있습니다. 하지만 전체 어텐션 없이 병렬 방식을 사용하면 각 토큰(예: 6b)이 이전 그룹의 같은 위치까지의 토큰(예: 5b까지)만 볼 수 있습니다. 따라서 본 논문에서는 그룹 단위 전체 어텐션을 사용하여 이전 그룹 전체에 접근할 수 있도록 합니다.

read the caption

Figure 4: Overview of our parallel autoregressive generation framework. (a) Model implementation. The model first generates initial tokens sequentially [1,2,3,4], then uses learnable tokens [M1,M2,M3] to help transition into parallel prediction mode. (b) Comparison of visible context between our parallel prediction approach (left) and traditional single-token prediction (right). The colored cells indicate available context during generation. In traditional AR, when predicting token 6⁢d6𝑑6d6 italic_d, the model can access all previous tokens including 6⁢a−6⁢c6𝑎6𝑐6a-6c6 italic_a - 6 italic_c. Without full attention, our parallel approach would limit each token (e.g., 6⁢b6𝑏6b6 italic_b) to only see tokens up to the same position in the previous group (e.g., up to 5⁢b5𝑏5b5 italic_b). We enable group-wise full attention to allow access to the entire previous group.

🔼 그림 5는 세 가지 병렬 생성 전략의 비교 결과를 보여줍니다. 상단은 순차적 초기 토큰 생성 후 병렬 원거리 토큰 예측을 결합한 본 논문의 방법을 보여줍니다. 이 방법은 고품질의 일관된 이미지를 생성합니다. 중간은 순차적 초기 토큰 생성 없이 직접 병렬 예측을 수행한 결과를 보여줍니다. 이 경우, 불일치하는 전역 구조가 나타납니다. 하단은 인접 토큰의 병렬 예측 결과를 보여줍니다. 이 경우 국소적인 패턴이 왜곡되고 세부 정보가 손상됩니다.

read the caption

Figure 5: Qualitative comparison of parallel generation strategies. Top: Our method with sequential initial tokens followed by parallel distant token prediction produces high-quality and coherent images. Middle: Direct parallel prediction without sequential initial tokens leads to inconsistent global structures. Bottom: Parallel prediction of adjacent tokens results in distorted local patterns and broken details.

🔼 그림 6은 ImageNet [9] 데이터셋의 다양한 카테고리에 대해 PAR-4x 모델을 사용하여 생성한 이미지 결과를 추가적으로 보여줍니다. PAR-4x는 제안된 병렬화된 자기회귀 방식을 4배의 병렬 처리를 통해 수행한 모델입니다. 이 그림은 다양한 물체와 장면을 묘사하는 이미지들을 보여주어 모델의 시각적 생성 능력을 보다 자세히 보여줍니다. 이미지들의 다양성과 세부 묘사의 정확도는 모델의 성능을 시각적으로 평가하는 데 도움이 됩니다.

read the caption

Figure 6: Additional image generation results of PAR-4×\times× across different ImageNet [9] categories.

🔼 그림 7은 본 논문에서 제안하는 병렬화된 자기회귀 시각 생성 모델(PAR)의 16배속 병렬 처리(PAR-16x)를 사용하여 생성한 이미지 결과를 보여줍니다. 다양한 ImageNet [9] 카테고리에 걸쳐 생성된 이미지들의 다양성과 화질을 보여주는 추가적인 시각적 증거를 제공합니다. 이미지들은 모델의 성능과 다양한 카테고리에 대한 적응력을 시각적으로 보여줍니다.

read the caption

Figure 7: Additional image generation results of PAR-16×\times× across different ImageNet [9] categories.

🔼 그림 8은 제안된 병렬 오토 회귀 비디오 생성 방법의 성능을 UCF-101 데이터셋 [44]을 사용하여 보여줍니다. 각 행은 17프레임 시퀀스에서 샘플링된 프레임들을 보여주며, 해상도는 128x128입니다. PAR-1x는 기본적인 토큰 단위 생성 방법을, PAR-4x는 4개의 토큰을 병렬로 생성하는 방법을, PAR-16x는 16개의 토큰을 병렬로 생성하는 방법을 각각 나타냅니다. 서로 다른 동작 범주에 걸쳐 생성된 비디오의 시각적 결과를 비교하여 모델의 성능을 평가할 수 있습니다.

read the caption

Figure 8: Video generation results on UCF-101 [44]. Each row shows sampled frames from a 17-frame sequence at 128×128 resolution, generated by PAR-1×\times×, PAR-4×\times×, and PAR-16×\times× respectively across different action categories.

🔼 그림 9는 토큰의 조건부 엔트로피 맵을 시각화한 것입니다. 각 맵은 참조 토큰(파란색 정사각형)을 조건으로 했을 때 모든 토큰의 조건부 엔트로피를 보여줍니다. 더 어두운 빨간색은 더 낮은 조건부 엔트로피를 나타내며, 따라서 참조 토큰과의 강한 의존성을 나타냅니다. 시각화는 토큰이 공간적으로 가까운 이웃과는 강한 의존성을, 먼 지역과는 약한 의존성을 보임을 보여줍니다. 즉, 가까운 토큰일수록 서로의 영향을 많이 받고, 먼 토큰일수록 서로의 영향을 적게 받는다는 것을 시각적으로 보여주는 그림입니다.

read the caption

Figure 9: Visualization of token conditional entropy maps. Each map shows the conditional entropy of all tokens when conditioned on a reference token (blue square). Darker red indicates lower conditional entropy and thus stronger dependency with the reference token. The visualization shows that tokens exhibit strong dependencies with their spatial neighbors and weak dependencies with distant regions.

🔼 그림 10은 서로 다른 순서(제안된 순서와 래스터 스캔 순서)로 병렬 및 순차적 생성 간의 조건부 엔트로피 차이를 보여줍니다. (a)(d)는 제안된 순서와 래스터 스캔 순서에 대한 병렬(4개 토큰) 생성 전략과 (b)(e)는 순차적 생성 전략을 보여줍니다. 숫자는 각 순서의 생성 단계를 나타냅니다. (c)(f)는 각 순서에 대해 순차적 생성에서 병렬 생성으로 전환할 때 조건부 엔트로피 증가를 시각화합니다. 여기서 어두운 빨간색은 더 큰 엔트로피 증가와 따라서 더 높은 예측 난이도를 나타냅니다. 두 순서 모두 처음 4개의 토큰을 순차적으로 생성합니다(엔트로피 맵의 흰색 영역으로 표시). 서로 다른 공간 블록의 토큰을 병렬로 생성하는 제안된 순서는 연속적인 토큰을 동시에 생성하는 래스터 스캔 순서보다 엔트로피 증가가 더 작아 공간 블록 간의 병렬 생성이 인접 토큰을 동시에 생성하는 것보다 예측 난이도가 더 낮음을 나타냅니다.

read the caption

Figure 10: Conditional entropy differences between parallel and sequential generation in different orders. (a)(d) show parallel (4 tokens) generation strategies and (b)(e) show sequential generation strategies for our proposed order and raster scan order respectively. Numbers indicate generation step in each order. (c)(f) visualize the conditional entropy increase when switching from sequential to parallel generation for each order, where darker red indicates larger entropy increase and thus higher prediction difficulty. Both orders generate the first four tokens sequentially (shown as white regions in entropy maps). Our proposed order that generates tokens from different spatial blocks in parallel shows smaller entropy increases compared to raster scan order that generates consecutive tokens simultaneously, indicating parallel generation across spatial blocks introduces less prediction difficulty than generating adjacent tokens simultaneously.

🔼 표 2는 ImageNet 데이터셋을 사용하여 256x256 해상도의 이미지 생성 작업에 대한 다양한 모델들의 성능을 비교 분석한 표입니다. FID(Fréchet Inception Distance), IS(Inception Score), 정밀도, 재현율, 생성에 필요한 단계 수, 그리고 생성 시간을 측정하여 모델들의 이미지 생성 품질과 효율성을 평가합니다. ‘↓‘는 값이 낮을수록 좋고, ‘↑‘는 값이 높을수록 좋다는 것을 의미합니다. -re는 rejection sampling 기법을 사용했음을 나타내고, PAR-4x와 PAR-16x는 각각 한 번에 4개와 16개의 토큰을 병렬로 생성하는 PAR 모델의 변형을 의미합니다. 즉, 본 표는 제안된 PAR 모델의 다양한 설정과 기존의 다른 이미지 생성 모델들을 비교하여 성능을 정량적으로 보여주고 있습니다.

read the caption

Table 2: Class-conditional image generation on ImageNet 256×\times×256 benchmark. “↓↓\downarrow↓” or “↑↑\uparrow↑” indicate lower or higher values are better. “-re” means using rejection sampling. PAR-4×\times× and PAR-16×\times× means generating 4 and 16 tokens per step in parallel, respectively.

🔼 표 3은 UCF-101 벤치마크에서 클래스 조건부 비디오 생성 방법을 비교한 표입니다. FVD는 비디오 생성 품질을 측정하는 지표로, 값이 낮을수록 성능이 좋음을 의미합니다. PAR-1x는 본 논문에서 제안하는 방법의 토큰 단위 순차적 생성 기준 방식이고, PAR-4x와 PAR-16x는 병렬 생성 방식으로, 생성 속도 향상 비율이 다릅니다. 이 표는 경쟁력 있는 FVD 점수를 달성하면서 생성 단계와 처리 시간을 크게 줄인 병렬 생성 방식의 효과를 보여줍니다.

read the caption

Table 3: Comparison of class-conditional video generation methods on UCF-101 benchmark. FVD measures generation quality, where lower values (↓↓\downarrow↓) indicate better performance. PAR-1×\times× represents our token-by-token baseline, while PAR-4×\times× and PAR-16×\times× indicate our parallel generation variants with different speedup ratios, achieving competitive FVD scores with significantly reduced generation steps and wall-clock time.

🔼 이 표는 초기 토큰 순차 생성의 중요성을 보여줍니다. 초기 토큰들을 순차적으로 생성하는 것이 FID(Fréchet Inception Distance) 점수를 1.06만큼 향상시키는 반면, 생성 단계 수는 거의 변화가 없음을 보여줍니다. 즉, 이미지 생성의 전반적인 품질을 크게 개선하면서도 효율성을 유지할 수 있음을 시사합니다. 이는 모델이 전역 구조를 잘 파악하고 일관성 있는 이미지를 생성하는 데 초기 토큰의 순차적 생성이 중요함을 나타냅니다.

read the caption

(a) Importance of initial sequential token generation. Sequential generation of initial tokens improves FID by 1.06 with negligible step increase.

🔼 표 4(b)는 PAR-XXL 모델에서 병렬로 예측되는 토큰의 수(n)에 따른 성능 변화를 보여줍니다. n=1은 기존의 토큰 단위 순차적 생성 방식(baseline)을 나타냅니다. n=4로 설정하면 생성 단계가 4배 줄어들고 FID 점수는 2.35에서 2.34로 거의 변화가 없음을 보여줍니다. 반면에, n=16으로 설정하면 생성 단계는 11.3배 감소하지만 FID 점수는 0.67 증가하는 것을 확인할 수 있습니다. 이는 병렬 생성의 수준을 높일수록 생성 속도는 빨라지지만, 이미지 품질 저하 가능성이 존재함을 시사합니다.

read the caption

(b) Number of parallel predicted tokens (PAR-XXL). n=1 is the token-by-token baseline. n=4 reduces steps by 4×\times× with similar FID (2.35 vs. 2.34), while n=16 reduces steps by 11.3×\times× at the cost of 0.67 FID.

🔼 이 표는 병렬 토큰들 간의 어텐션 패턴의 영향을 보여줍니다. ‘전체 어텐션(full attention)‘은 이전 병렬 그룹들로부터 모든 컨텍스트에 접근할 수 있게 해주는 반면, ‘인과적 어텐션(causal attention)‘은 제한된 접근만 허용합니다. 전체 어텐션을 사용하면 FID가 1.03만큼 향상되는 것을 보여줍니다. 이는 병렬 처리를 효율적으로 하기 위해서는 이전에 생성된 모든 토큰에 접근하는 것이 중요하다는 것을 시사합니다.

read the caption

(c) Attention pattern between parallel tokens. Full attention allows complete context access from previous parallel groups (vs. causal attention’s limited access), bringing 1.03 FID improvement.

🔼 이 표는 단일 토큰 예측과 다중 토큰 예측에서 서로 다른 스캔 순서(래스터 스캔과 본 논문에서 제안하는 지역 기반 거리 순서)의 성능을 비교한 것입니다. 단일 토큰 예측에서는 두 스캔 순서 모두 유사한 성능을 보이지만(FID 2.62 대 2.64), 다중 토큰 예측에서는 지역 기반 거리 순서가 래스터 스캔 순서보다 훨씬 뛰어난 성능을 보입니다(FID 2.61 대 5.64). 이는 다중 토큰을 동시에 예측할 때 인접한 토큰 간의 강한 종속성으로 인해 래스터 스캔 순서에서 문제가 발생하지만, 지역 기반 거리 순서는 종속성이 약한 토큰들을 그룹화하여 이러한 문제를 해결하기 때문입니다.

read the caption

(d) Comparison of different scan orders under single-token and multi-token prediction. Our region-based distant ordering shows similar performance with raster scan in single-token setting, but significantly outperforms in multi-token prediction (2.61 vs. 5.64 FID).

🔼 이 표는 모델 크기가 증가함에 따라 (4배 병렬 처리) 이미지 생성 품질이 향상되는 것을 보여줍니다. 3억 4300만개의 파라미터를 가진 모델의 FID(Fréchet Inception Distance) 점수는 3.76인 반면, 31억개의 파라미터를 가진 모델의 FID 점수는 2.29로 훨씬 낮아집니다. FID 점수가 낮을수록 생성된 이미지의 품질이 실제 이미지와 더 유사함을 나타냅니다. 즉, 파라미터 수가 증가하면 생성 품질이 지속적으로 향상됨을 알 수 있습니다.

read the caption

(e) Scaling of model size (4×\times× parallel). Generation quality steadily improves with more parameters, from 343M (FID 3.76) to 3.1B (FID 2.29).

🔼 표 4는 이미지 생성 모델 설계에 대한 ablation 연구 결과를 보여줍니다. 각 ablation 연구는 모델의 성능에 미치는 영향을 평가하기 위해, 초기 순차적 토큰 생성 여부, 병렬 예측되는 토큰 수, 어텐션 패턴, 그리고 모델 크기 등의 요소들을 변화시켜 수행되었습니다. 각 실험 조건에 따른 FID(Fréchet Inception Distance), IS(Inception Score), 그리고 생성에 필요한 단계 수를 비교하여, 각 요소가 이미지 생성 품질 및 효율에 미치는 영향을 정량적으로 분석하였습니다.

read the caption

Table 4: Ablation studies on image generation model designs.