JEV 완전 분석: System One Decision Model부터 Visual JEV까지

분석 범위: 2026년 10월 19일 기준 공개된 원문, 기술 문서, 독립적인 평가 논문을 바탕으로 정리했습니다.

먼저 가장 중요한 결론부터 말하면, JEV의 핵심은 새로운 형태의 언어 생성 모델을 만드는 것이 아니라, LLM이 수행하던 의사결정을 직접적인 확률 예측 문제로 바꾸는 것입니다.

이 접근은 특히 VLN(Vision-Language Navigation), 자율주행, 로봇 제어처럼 매 순간 정해진 행동 후보 중 하나를 선택해야 하는 문제와 잘 맞습니다.

다만 연구 관점에서 구분해야 할 사실이 있습니다.

원래 JEV는 공개된 학술 논문이 아니라 TypeSafe AI가 출시한 상용 모델입니다. 모델 아키텍처와 학습 알고리즘의 상세 내용은 아직 공개되지 않았습니다. 반면 Visual Jev는 공개된 VLM을 이용해 동일한 의사결정 패러다임을 시각 입력으로 확장한 별도의 연구입니다.

따라서 논문 수준으로 이해하려면 관련 연구를 함께 살펴봐야 합니다.

1. 먼저 읽어야 할 논문과 자료

여기서 특히 주의할 점은 다음 세 가지가 서로 다른 시스템이라는 것입니다.

• JEV (TypeSafe AI): 원래의 text/structured-state decision 모델.
• Visual Jev (Yu & Yao): Qwen3-VL 기반의 시각적 의사결정 및 추론 효율화 연구.
• JEV-27B-VL (AutoTrust): 원래 상용 JEV와 별개로 개발된 open-weight multimodal decision 모델.

이 구분을 바탕으로 먼저 Original JEV를 분석하고, 이후 Visual Jev의 실제 구현과 실험 결과를 살펴보겠습니다.

2. Original JEV: 문제 정의와 핵심 아이디어

2.1 Motivation: 왜 생성 모델을 의사결정에 사용해야 하는가?

기존 LLM 기반 의사결정은 보통 다음과 같이 동작합니다.

예를 들어 자율주행 시스템에서 다음 네 가지 행동 중 하나를 선택한다고 가정하겠습니다.

[ \mathcal A = {\text{Keep},\text{Left},\text{Right},\text{Stop}} ]

기존 Generative LLM에서는 다음과 같은 입력을 사용합니다.

State:
- Ego speed: 5 m/s
- Pedestrian ahead
- Left lane is empty

Question:
Which action should the vehicle take?

Options:
A. Keep
B. Left
C. Right
D. Stop

Answer:

LLM은 D라는 토큰을 생성하고, 프로그램은 이 응답을 파싱하여 실제 행동으로 변환합니다.

문제는 우리가 원하는 출력이 네 가지 중 하나인데도 일반적인 언어 생성 문제로 처리하고 있다는 것입니다.

여기에는 세 가지 비효율이 있습니다.

첫째, 생성 모델은 가능한 모든 vocabulary에 대한 분포를 계산합니다. 그러나 실제로는 네 가지 선택지만 관심 대상입니다.

둘째, 모델이 단순히 D를 출력한다면 다른 행동에 대한 확률을 알기 어렵습니다. 물론 생성 모델의 logits를 직접 읽으면 해결할 수 있으므로, 이것이 반드시 새로운 모델 아키텍처를 요구하는 문제는 아닙니다.

셋째, 자유로운 텍스트 생성은 출력 형식 오류나 불필요한 reasoning·decoding 비용을 발생시킬 수 있습니다.

JEV는 이러한 상황에서 출력을 직접 다음과 같이 정의합니다.

[ f_\theta(s,q,\mathcal A) \rightarrow P(a\mid s,q,\mathcal A) ]

여기서

• (s): 현재 상태(State)
• (q): 수행할 의사결정(Question)
• (\mathcal A): 가능한 행동 또는 선택지
• (P(a\mid s,q,\mathcal A)): 각 선택지의 확률

입니다.

예를 들어 다음과 같은 출력을 직접 반환합니다.

{
  "choice": "Stop",
  "probabilities": {
    "Keep": 0.05,
    "Left": 0.10,
    "Right": 0.15,
    "Stop": 0.70
  }
}

여기서 핵심은 문자열 Stop을 생성하지 않아도 의사결정 결과를 얻을 수 있다는 것입니다.

또한 프로그램이 확률을 활용할 수 있습니다.

예를 들어 최대 확률이 0.6보다 낮으면 상위 시스템에 판단을 맡기는 방식입니다.

2.2 JEV의 세 가지 Decision Primitive

Original JEV는 세 종류의 질문을 지원합니다.

Choice

[ P(a_i\mid s,q,\mathcal A),\qquad \sum_{i=1}^{K}P(a_i\mid s,q,\mathcal A)=1 ]

Original JEV는 최대 255개의 선택지를 지원합니다. 다만 높은 cardinality에서는 추가적인 scoring 단계가 사용될 수 있으므로 모든 크기에서 정확히 동일한 단일 연산이 수행된다고 가정해서는 안 됩니다.

Score

Score는 단순한 연속값 regression과 다릅니다.

예를 들어 다섯 단계의 안전도 평가라면

[ P(r=k\mid s,q),\qquad k\in{1,\ldots,5} ]

를 계산하고

[ \mathbb E[r]=\sum_{k=1}^{5}kP(r=k\mid s,q) ]

와 같이 기대 점수를 산출할 수 있습니다.

실제 JEV는 2~10개의 ordinal level을 지원합니다.

Noul

[ P(y=\mathrm{True}\mid s,q) ]

Binary classification에 해당합니다.

예를 들어 Will the selected trajectory collide with a pedestrian?라는 질문에 대한 확률을 얻는 것입니다.

단, 이는 학습된 판단의 확률이지 실제 물리적 충돌 확률이 보장된다는 뜻은 아닙니다.

2.3 Shared State와 Parallel Decisions

JEV의 또 다른 중요한 특징은 여러 질문이 동일한 상태를 공유한다는 것입니다.

상태 (s)와 여러 질문 (q_1,\ldots,q_M)이 있을 때,

[ F_\theta(s,{q_j}{j=1}^{M}) \rightarrow {P_j}{j=1}^{M} ]

로 표현할 수 있습니다.

예를 들어 동일한 navigation state에 대해

Question 1:
Which trajectory should the robot follow?

Question 2:
Is the current scene dangerous?

Question 3:
Is the navigation goal already reached?

Question 4:
How much progress can the robot make?

를 요청할 수 있습니다.

각 질문은 다른 질문의 답을 참고하지 않고 독립적으로 평가됩니다.

따라서 여러 결정 사이의 복잡한 상호작용은 모델이 아니라 외부 코드에서 처리하도록 설계할 수 있습니다.

예를 들어

[ a^*= \arg\max_{a\in\mathcal A_{\mathrm{safe}}} P_{\mathrm{navigation}}(a\mid s) ]

처럼 구현할 수 있습니다.

여기서 (\mathcal A_{\mathrm{safe}})는 별도의 검증 절차로 안전하다고 판정된 행동 집합입니다.

JEV는 전체 planning 알고리즘을 대체한다기보다, 계획 과정에서 사용되는 판단 연산을 빠르고 구조화된 형태로 제공하는 모델에 가깝습니다.

3. Original JEV는 실제로 어떻게 학습되는가?

이 부분에서는 공개적으로 확인된 사실과 가능한 구현 방법을 구분해야 합니다.

3.1 TypeSafe의 RLCD

TypeSafe AI는 JEV 개발에 다음 요소를 사용했다고 설명합니다.

1. 의사결정에 특화된 모델 아키텍처
2. 여러 결정을 처리하는 parallel sampler
3. Reinforcement Learning for Calibrated Decisions(RLCD)

RLCD는 기존의 RLHF와 달리, 단순히 가장 선호되는 응답을 출력하는 대신 확률적인 결정의 정확성과 신뢰성을 최적화한다는 목표를 갖습니다.

그러나 RLCD의 구체적인 objective, reward 설계, policy optimization 알고리즘은 공개되어 있지 않습니다.

따라서 RLCD가 GRPO, PPO 또는 특정 scoring rule 기반 최적화라고 단정할 수 없습니다.

JEV의 실제 네트워크 구조 역시 공개되지 않았습니다.

공식 발표

3.2 공개 LLM으로 JEV를 구현하는 방법

다행히 JEV와 유사한 기능을 기존 LLM으로 구현하는 방법은 비교적 명확합니다.

대표적인 접근이 다음 논문입니다.

LLM-as-Jev: LLMs Are Already Jev-Style Decision Models—When and How to Fine-Tune Them

Li & Wagle, 2026.

이 논문이 중요한 이유는 JEV 스타일의 의사결정을 구현하기 위해 반드시 새로운 아키텍처가 필요하지 않다는 것을 실험적으로 보여주기 때문입니다.

방법 A: LM Head에서 Candidate Logits 읽기

기존 LLM의 마지막 hidden state가

[ h=f_\theta(s,q,\mathcal A) ]

라면 vocabulary logits는

[ z=W_{\mathrm{LM}}h ]

입니다.

이때 선택지 A, B, C, D에 해당하는 token logits만 추출합니다.

[ z_{\mathcal A}= [z_A,z_B,z_C,z_D] ]

이후

[ \boxed{ P(a_i\mid s,q,\mathcal A) = \frac{\exp(z_i/T)} {\sum_{j=1}^{K}\exp(z_j/T)} } ]

로 계산합니다.

(T)는 temperature입니다.

이렇게 하면 LLM의 구조를 변경하지 않고도 의사결정 모델을 구현할 수 있습니다.

중요한 점은 이 확률이 전체 vocabulary가 아닌 제공된 선택지 집합에서 재정규화된 확률이라는 것입니다.

따라서 선택지에 정답이 아예 포함되어 있지 않아도 특정 선택지의 확률이 매우 높을 수 있습니다.

방법 B: 별도의 Decision Head 학습

다른 방법은 새로운 head를 사용하는 것입니다.

[ z=W_{\mathrm{decision}}h+b ]

[ P(a_i)=\operatorname{softmax}(z)_i ]

그리고 다음과 같은 cross-entropy loss를 사용할 수 있습니다.

[ \mathcal L_{\mathrm{decision}} = -\log P(a_{\mathrm{GT}}\mid s,q,\mathcal A) ]

이는 일반적인 classification 학습과 비슷합니다.

차이는 candidate descriptions와 question을 입력에 포함하면, 하나의 모델이 다양한 decision task를 처리할 수 있다는 점입니다.

다만 고정된 (K)-dimensional head를 사용하면 선택지 개수가 바뀔 때 문제가 생길 수 있습니다.

3.3 Candidate 개수가 많다면?

여기서 이전에 논의했던 256개 trajectory anchor 문제가 등장합니다.

단순한 option-letter readout은 사용할 수 있는 token 수에 제약을 받습니다.

LLM-as-Jev는 이를 해결하기 위해 후보를 숫자로 표시합니다.

[1]
[2]
...
[256]

그리고 각 후보의 suffix token probability를 계산합니다.

[ s_k= \sum_{t=1}^{|c_k|} \log P_\theta(c_{k,t}\mid x,c_{k,<t}) ]

[ P(k\mid x)= \frac{\exp(s_k)} {\sum_j\exp(s_j)} ]

여기서 (c_k)는 후보 (k)의 token sequence입니다.

공통 prompt는 한 번 prefill하고 candidate suffix들을 trie 형태로 공유하며 평가할 수 있습니다.

따라서 후보 256개를 각각 독립적으로 LLM에 넣는 방식보다 효율적입니다.

이 논문은 학습 시에도 candidate trie를 활용한 listwise loss를 사용하며, 기존 언어 생성 능력의 저하를 막기 위해 KL regularization을 추가합니다.

[ \mathcal L = \mathcal L_{\mathrm{tree}} + \lambda\mathcal L_{\mathrm{anchor}} ]

이것은 256개 이상의 후보를 사용하는 연구에서 참고할 만한 구체적인 구현입니다.

단, 이것은 Original JEV의 내부 알고리즘이 아니라 공개 연구의 재현 방법입니다.

4. Original JEV의 성능은 실제로 좋은가?

이 질문은 독립적인 benchmark 논문으로 평가할 수 있습니다.

Evaluating and Benchmarking the System One Model Jev

연구진은 JEV 1.13.0을 37개 데이터셋, 총 346,009개의 요청에서 평가했습니다.

전체 평가의 API 비용은 10달러 미만이었습니다.

4.1 주요 결과

같은 입력을 사용해 candidate probability를 계산한 Qwen3.8-27B보다 37개 중 27개 데이터셋에서 높은 점수를 기록했습니다.

그러나 Qwen의 reasoning 기능은 비활성화된 상태였습니다.

따라서 이 결과만으로 JEV가 일반적인 추론 능력에서도 Qwen보다 우수하다고 주장할 수는 없습니다.

또한 JEV의 모델 크기와 학습 데이터가 공개되지 않았기 때문에 동일한 규모의 모델을 통제한 비교도 아닙니다.

4.2 Probability Calibration

JEV가 강조하는 특징 중 하나는 calibrated probability입니다.

좋은 calibration이란

[ P(\mathrm{correct}\mid \mathrm{confidence}=0.8) \approx 0.8 ]

이 성립하는 것입니다.

논문에서 Choice 질문의 pooled ECE(Expected Calibration Error)는 0.028이었습니다.

이는 상당히 양호한 결과입니다.

하지만 모든 질문 유형에서 calibration이 좋은 것은 아닙니다.

특히 여러 binary 질문을 동시에 평가하는 multi-label Noul에서 ECE는 0.168로 높아졌습니다.

UNFAIR-ToS 데이터셋에서는 threshold를 0.5로 고정하면 Micro-F1이 0.499였지만, 별도의 training split으로 threshold를 조정하면 0.748까지 올라갔습니다.

즉, JEV가 반환하는 확률을 그대로 신뢰하기보다 실제 적용 환경에 맞는 calibration과 threshold validation이 필요합니다.

이는 navigation이나 autonomous driving에서 특히 중요합니다.

Part II. Visual Jev

5. Visual Jev의 핵심 연구 질문

논문: Visual Jev: Accurate and Efficient Decisions from Shared Visual Context

저자: Guanxu Yu, Yuhang Yao (2026)

Original JEV는 기본적으로 text 또는 structured data를 입력받습니다.

반면 Visual Jev는 이미지 자체를 입력으로 사용하는 의사결정 시스템입니다.

하지만 논문의 핵심 연구 질문은 단순히 이미지를 추가하는 것이 아닙니다.

정확히는 다음과 같습니다.

동일한 이미지에 대해 여러 독립적인 의사결정을 수행할 때, 정확도를 유지하거나 개선하면서 계산을 얼마나 효율적으로 공유할 수 있는가?

예를 들어 하나의 장면에 대해 다음 질문들을 수행한다고 가정하겠습니다.

Image: Current robot camera observation

Q1. Is there a pedestrian?
Q2. Is the left path navigable?
Q3. Is the traffic light red?
Q4. Which direction is most promising?

기존 VLM 방식에서는 네 질문을 독립적으로 실행하면서 이미지 인코딩과 공통 context 계산을 반복할 수 있습니다.

Visual Jev는 이 계산을 공유합니다.

6. Visual Jev Architecture

논문은 Qwen3-VL-4B-Instruct를 주요 backbone으로 사용합니다.

8B 모델에 대한 추가 실험도 수행합니다.

모델의 핵심 구조는 다음과 같습니다.

                 Image I
                    │
                    ▼
              Vision Encoder
                    │
                    ▼
            Shared Visual Tokens
                    │
                    │
             Public Context S
                    │
                    ▼
          Shared Prefix Prefill
                    │
                    ▼
               KV Cache
                    │
        ┌───────────┼───────────┐
        │           │           │
        ▼           ▼           ▼
     Question 1  Question 2  Question 3
     Options     Options     Options
        │           │           │
        └───────────┼───────────┘
                    ▼
             Batched Suffix
                Execution
                    │
                    ▼
                LM Head
                    │
                    ▼
            Candidate Logits
                    │
                    ▼
             Softmax over K
                    │
                    ▼
            Typed Decisions

이 구조에서 중요한 부분은 크게 세 가지입니다.

6.1 Shared Visual Prefix

입력을 다음과 같이 나눕니다.

[ x_j= [\underbrace{I,S}{\text{Shared Prefix}}, \underbrace{q_j,\mathcal A_j}{\text{Question Suffix}}] ]

여기서 (I)는 이미지, (S)는 모든 질문이 공유하는 context입니다.

모든 질문이 동일한 prefix를 사용하므로 처음 한 번만 계산할 수 있습니다.

[ H_{\mathrm{shared}} = f_\theta(I,S) ]

이때 계산한 KV cache를 재사용합니다.

6.2 Question Isolation

각 질문은 서로 다른 batch row로 처리됩니다.

[ P_j= P_\theta(a\mid I,S,q_j,\mathcal A_j) ]

질문 (q_j)는 다른 질문의 suffix를 참조하지 않습니다.

이것이 중요한 이유는 질문들을 하나의 긴 sequence로 이어 붙이는 것과 다르기 때문입니다.

질문들을 하나의 sequence로 연결하면 앞선 질문과 답변이 뒤의 질문에 영향을 줄 수 있습니다.

Visual Jev는 이런 영향을 방지합니다.

또한 Qwen3-VL의 visual feature reinjection이 이미지 토큰 위치에서 수행되므로, 공유 prefix의 visual computation을 재사용할 수 있다는 구현상의 특징도 활용합니다.

6.3 LM-Head Readout

Visual Jev의 기본 시스템은 별도 decision head를 사용하지 않습니다.

각 질문의 마지막 readout position에서 기존 LM head를 사용합니다.

[ z_j= W_{\mathrm{LM}}h_j ]

후보 토큰의 logits만 추출해서

[ \boxed{ P(c_k\mid I,S,q_j) = \frac{\exp(z_{j,k})} {\sum_{\ell=1}^{K}\exp(z_{j,\ell})} } ]

로 계산합니다.

논문은 두 종류의 decision interface를 사용합니다.

Choice는 최대 16개의 candidate를 지원합니다.

Claim은 다음 세 가지 중 하나를 선택합니다.

[ {\text{Supported},\text{Contradicted}, \text{Not Determined}} ]

따라서 Original JEV의 Choice·Score·Noul 전체를 그대로 구현한 것은 아닙니다.

7. Visual Jev의 Training

이 부분이 중요합니다.

Visual Jev의 성능 향상은 새로운 prediction head를 학습해서 얻은 것이 아닙니다.

논문에서는 기존 VLM에 answer supervision을 적용하는 방법과 별도 decision head를 학습하는 방법을 직접 비교합니다.

7.1 Training Data

GQA는 객체, 속성, 관계 관련 질문을 제공합니다.

SNLI-VE는 이미지가 특정 문장을 뒷받침하는지 판단하는 데이터셋입니다.

반면 TextVQA와 TallyQA는 학습에 사용하지 않고 일반화 평가에 사용합니다.

7.2 Backbone Adaptation

Qwen3-VL의 vision encoder는 고정합니다.

[ \theta_{\mathrm{vision}}=\mathrm{Frozen} ]

Language tower에 LoRA를 적용합니다.

[ W’=W+BA ]

학습 설정은 다음과 같습니다.

7.3 Answer-Supervised Training

기본 모델은 기존 language modeling objective를 이용합니다.

[ \mathcal L_{\mathrm{SFT}} = -\log P_\theta(y_{\mathrm{token}}\mid I,S,q,\mathcal A) ]

즉, 정답 option을 나타내는 토큰을 예측하도록 학습합니다.

여기서 cross-entropy는 전체 vocabulary를 대상으로 계산됩니다.

반면 inference에서는 후보 토큰의 logits만 추출합니다.

7.4 Decision-Head Training

비교 모델에서는 별도의 head를 학습합니다.

[ P_{\mathrm{head}}(a) = \operatorname{softmax} (W_dh+b) ]

학습 objective는

[ \mathcal L_{\mathrm{head}} = -\log P_{\mathrm{head}}(a_{\mathrm{GT}}) ]

입니다.

두 방법의 데이터, backbone, 학습 step 및 readout 위치를 최대한 일치시켜 비교합니다.

이 실험으로 별도의 typed head가 반드시 필요한지를 확인합니다.

8. Visual Jev Experiments

8.1 Decision Accuracy

논문의 주요 결과입니다.

여기서 도출할 수 있는 결론이 세 가지 있습니다.

Finding 1. Post-training은 효과적이다

4B의 Macro Accuracy가

[ 0.706\rightarrow0.761 ]

로 증가합니다.

다만 대부분의 향상은 학습에 사용한 GQA와 SNLI-VE에서 발생합니다.

GQA에서는 3.7%p, SNLI-VE에서는 17.9%p 향상됩니다.

Finding 2. Held-out task로의 일반화는 제한적이다

TextVQA는 거의 변화가 없습니다.

[ 0.974\rightarrow0.975 ]

TallyQA 역시

[ 0.340\rightarrow0.345 ]

로 개선 폭이 매우 작습니다.

따라서 이 논문은 task adaptation의 효과를 보였지만, 범용 visual reasoning 능력이 크게 향상되었다는 근거는 부족합니다.

Finding 3. Specialized head는 필수적이지 않다

Answer SFT와 Decision CE 모두 Macro Accuracy가 0.761입니다.

세 seed에 걸친 결과도 서로 겹칩니다.

즉, 해당 설정에서는 별도의 decision head가 기존 LM head보다 일관되게 우수하지 않았습니다.

이는 JEV 스타일의 모델을 연구할 때 중요한 baseline을 제시합니다.

새로운 decision head를 제안한다면 단순히 학습된 head가 frozen LM보다 좋다는 비교만으로는 부족합니다. Answer SFT + LM-head readout과도 비교해야 합니다.

8.2 Inference Efficiency

이 논문에서 가장 강력한 결과는 inference efficiency입니다.

동일한 이미지에 대해 32개 질문을 수행하는 실험입니다.

따라서

[ \frac{50.7}{5.7}\approx8.9 ]

로 약 8.9배의 처리량 향상이 발생합니다.

여기서 중요한 점이 있습니다.

5.7ms는 개별 요청 하나의 latency가 아니라 32개 질문의 총 처리 시간을 32로 나눈 값입니다.

실제 32개 질문을 처리하는 전체 시간은 약 182ms입니다.

반면 질문이 하나뿐일 때는 shared prefix 방식이 오히려 느립니다.

[ T_{\mathrm{independent}}=48.1\text{ ms} ]

[ T_{\mathrm{shared}}=82.9\text{ ms} ]

이는 cache를 생성하고 관리하는 overhead 때문입니다.

또한 GPU 메모리도 증가합니다.

[ 8.40\text{ GiB}\rightarrow10.10\text{ GiB} ]

따라서 이 방법은 다수의 질문이 동일한 visual observation을 공유할 때 효과적입니다.

8.3 중요한 해석

Navigation에서는 매 순간 새로운 이미지가 들어옵니다.

[ I_1\rightarrow I_2\rightarrow I_3\rightarrow\cdots ]

따라서 이전 시간의 이미지에 대한 KV cache를 그대로 재사용할 수는 없습니다.

각 시점에 trajectory 256개 중 하나를 선택하는 질문이 단 하나만 존재한다면, 논문에서 제안한 shared-prefix multi-question batching의 이점이 거의 없을 수도 있습니다.

반면 하나의 관측에 대해

[ {\text{Action},\text{Safety},\text{Goal},\text{Progress}} ]

처럼 여러 decision을 수행한다면 효과적일 가능성이 높습니다.

이는 Visual Jev를 navigation에 적용할 때 반드시 고려해야 하는 부분입니다.

Part III. 다른 Visual JEV 모델

9. PixelJev: Few-Shot Adaptation과 Generalization

From Text Decisions to Pixels: A Study of Jev-Style Visual Choice Model

Zhou, Yang & Zhao, 2026.

PixelJev는 Visual Jev와 유사하지만 연구의 초점이 다릅니다.

Visual Jev는 shared computation과 효율적인 serving에 초점을 맞춥니다.

반면 PixelJev의 질문은 다음과 같습니다.

작은 VLM을 특정 visual classification task에 맞게 학습시켰을 때, 새로운 task와 후보 집합에서도 같은 decision interface를 사용할 수 있는가?

9.1 Architecture

PixelJev는 Qwen3.5-2B와 4B를 사용합니다.

입력은

[ (x,q,\mathcal C) ]

입니다.

여기서 (x)는 이미지, (q)는 질문, (\mathcal C)는 candidate schema입니다.

출력은

[ F_\theta(x,q,\mathcal C) = (a^*,\mathbf p,m) ]

입니다.

(m)은 모델 및 calibration 정보를 담는 metadata입니다.

Candidate가 주어지면 LM head에서 해당 후보의 token logits를 추출합니다.

이는 Visual Jev와 개념적으로 유사합니다.

다만 PixelJev는 최대 52개의 선택지를 지원하고, few-shot 학습 및 다양한 task로의 transfer에 더 초점을 맞춥니다.

9.2 학습 방법

PixelJev는 candidate-conditioned CE를 사용합니다.

[ \mathcal L = -\log P_\theta(y\mid x,q,\mathcal C) ]

학습에는 language-side LoRA를 적용합니다.

주요 설정은 LoRA rank 16, scaling 32, dropout 0.05, learning rate (10^{-4}), 3 epochs입니다.

64-shot 실험에서는 source class마다 64개 이미지를 사용합니다.

9.3 주요 실험 결과

여기서 Pets와 EuroSAT의 향상은 상당히 큽니다.

하지만 더 중요한 것은 비교 대상입니다.

DINOv2 기반의 64-shot classifier probe는 Pets에서 95.67%, EuroSAT에서 92.13%를 기록하여 PixelJev보다 높았습니다.

즉, 고정된 class를 예측하는 단순 recognition에서는 전문 visual representation이 여전히 유리할 수 있습니다.

반면 PixelJev의 장점은 inference에서 새로운 후보 설명을 입력받아 같은 interface를 사용할 수 있다는 점입니다.

9.4 Cross-Task Transfer

새로운 VQA task에서 다음 결과를 얻었습니다.

이 결과는 source classification에 대한 학습이 새로운 visual reasoning task에 일관되게 도움이 되는 것은 아니라는 점을 보여줍니다.

또한 같은 checkpoint에서 일반 생성과 candidate-logit readout을 비교하면, 성능 차이의 일부는 더 나은 reasoning이 아니라 출력 형식 오류를 방지한 결과였습니다.

PixelJev의 중요한 교훈은 decision interface의 재사용과 task competence의 일반화를 서로 구분해야 한다는 것입니다.

10. JEV-27B-VL: 공개된 Large Visual Decision Model

AutoTrust JEV-27B-VL

이 모델은 앞서 설명한 논문들과 달리 공개 가중치를 제공하는 모델입니다.

연구용 baseline으로 고려할 가치가 있습니다.

10.1 Architecture

JEV-27B-VL은 Qwen3.8-27B를 기반으로 합니다.

System 1과 System 2를 구분합니다.

System 1

이미지와 텍스트를 받아 구조화된 결정을 반환합니다.

[ (I,S,q,\mathcal A) \rightarrow P(a\mid I,S,q,\mathcal A) ]

별도 decision adapter와 head를 사용합니다.

중요하게도 이 모델의 System 1 adapter와 decision head는 텍스트 데이터로 학습되었고, vision encoder는 변경되지 않았다고 모델 카드에 명시되어 있습니다.

따라서 시각적 의사결정은 기존 backbone의 visual capability를 활용하는 zero-shot 방식입니다.

System 2

기존 Qwen3.8-27B의 언어 생성 및 reasoning 기능을 사용합니다.

따라서 어려운 의사결정에서는 System 2를 활용할 수 있지만, 그만큼 latency도 증가합니다.

10.2 주요 성능

모델 카드에 따르면 Jev Decision Index의 Vision 평가에서 다음 점수를 기록했습니다.

다만 이러한 수치는 모델 카드가 인용한 평가 결과이며, Visual Jev 논문과 동일한 실험 조건에서 비교된 것은 아닙니다.

흥미로운 점은 robotics 관련 실험입니다.

모델 카드에서는 ERQA에서 단일 decision pass로 53.8%, reasoning을 추가하면 61.5%를 기록했다고 보고합니다.

그러나 실제 제어 실험에서는 단순한 spatial decomposition의 중요성이 더 두드러집니다.

로봇 팔의 pick-and-place 문제에서 이미지로부터 좌우·상하 관계를 판단하는 방식은 20개 장면 중 15개에서 성공했습니다.

반면 8개 motor command를 직접 선택하도록 했을 때는 10개 장면 모두 실패했습니다.

이 결과는 모델 개발자의 실험이므로 독립적인 재현이 필요하지만, 시사점은 분명합니다.

시각적 decision 모델이 좋다고 해서 저수준의 연속적인 제어 행동을 직접 선택하는 능력까지 자동으로 확보되는 것은 아닙니다.

Action representation과 control hierarchy가 여전히 중요합니다.

Part IV. JEV를 Navigation에 적용한 실제 논문

11. NavJev: Efficient Vision-Language Navigation

NavJev: Efficient Vision-Language Navigation via Action-Centric Visual Compression and Discriminative Action-Semantic Memory

Sheng et al., 2026.

이 논문은 이전에 논의했던 JEV 기반 VLN 연구와 직접 연결됩니다.

가장 중요한 관련 연구라고 생각합니다.

11.1 Problem Formulation

일반적인 VLN-CE에서는 매 시점 (t)에 RGB-D observation을 받습니다.

[ \mathcal I_t = {I_{t,1},\ldots,I_{t,12}} ]

12개 view는 360도를 구성합니다.

이후 waypoint predictor가 이동 가능한 후보들을 생성합니다.

[ \mathcal W_t = {w_t^1,\ldots,w_t^{M_t}} ]

여기에 Stop을 추가합니다.

[ \mathcal A_t = \mathcal W_t\cup{\mathrm{Stop}} ]

NavJev는 다음의 선택 문제를 해결합니다.

[ a_t = \arg\max_{a\in\mathcal A_t} P_{\mathrm{Jev}}(a\mid s_t,\mathcal L) ]

여기서 (\mathcal L)은 navigation instruction입니다.

11.2 핵심 구조

         Panoramic RGB-D Observation
                       │
                       ▼
               Waypoint Predictor
                       │
                       ▼
             Candidate Waypoints
                       │
                       ▼
        Action-Centric Visual Compression
                      ACVC
                       │
          ┌────────────┴───────────┐
          ▼                        ▼
      BLIP Caption              RAM Tags
          │                        │
          └────────────┬───────────┘
                       ▼
        Discriminative Action-Semantic
                   Memory
                    DASM
                       │
                       ▼
              Structured State
                       │
                       ▼
             Original JEV API
                       │
                       ▼
              Waypoint Choice
                       │
                       ▼
              Robot Controller

이때 주목해야 할 점은 NavJev가 Visual Jev를 사용하지 않는다는 것입니다.

NavJev는 이미지 정보를 먼저 텍스트 형태로 압축한 뒤 Original JEV에 입력합니다.

11.3 Action-Centric Visual Compression

먼저 RGB-D로부터 waypoint를 생성합니다.

DINOv2와 depth encoder를 활용한 pretrained waypoint predictor를 사용하며, 최종적으로 최대 5개의 waypoint candidate를 추출합니다.

각 후보는

[ w_t^i=(\theta_t^i,d_t^i,I_t^i) ]

로 나타냅니다.

그다음 BLIP와 RAM을 사용해 각 후보의 시각적 정보를 압축합니다.

[ C_t^i=f_{\mathrm{BLIP}}(I_t^i) ]

[ R_t^i=f_{\mathrm{RAM}}(I_t^i) ]

최종 representation은

[ \boxed{ Z_t^i= (m_t^i,\theta_t^i,d_t^i,C_t^i,R_t^i) } ]

입니다.

즉, 움직임의 방향과 거리, 이미지 caption, semantic tags를 하나의 구조로 표현합니다.

이 방법의 장점은 JEV가 이미지를 직접 이해할 필요 없이 행동과 관련된 정보를 사용할 수 있다는 것입니다.

반면 caption이나 semantic tag에서 손실된 정보는 복원할 수 없습니다.

특히 거리, 방향, 미묘한 공간 관계를 텍스트로 압축하는 과정에서 문제가 발생할 가능성이 있습니다.

11.4 Discriminative Action-Semantic Memory

DASM은 후보 사이에 공통으로 등장하는 semantic tag를 분리합니다.

예를 들어 세 후보에서

Left:    hallway, door, wall, plant
Forward: hallway, door, wall, chair
Right:   hallway, door, wall, stairs

가 발견되었다고 가정하겠습니다.

세 후보의 공통 태그는

[ G_t=\bigcap_i R_t^i ]

입니다.

따라서

[ G_t={\text{hallway, door, wall}} ]

을 얻습니다.

후보별 discriminative tag는

[ \widetilde R_t^i=R_t^i\setminus G_t ]

로 계산합니다.

그러면

Left:    plant
Forward: chair
Right:   stairs

만 남게 됩니다.

이 정보를 현재 후보별 state에 활용합니다.

또한 실행한 action과 관련된 semantic 정보를 navigation history에 추가합니다.

[ \mathcal H_{t+1} = \mathcal H_t\oplus\phi(a_t) ]

최종 decision state는

[ \mathcal S_t= \left( \mathcal H_t, G_t, {D_t^i}_{i=1}^{M_t} \right) ]

가 됩니다.

즉, NavJev의 temporal memory는 별도의 학습된 recurrent latent state라기보다, 과거 행동과 관련 semantic 정보를 구조화하여 유지하는 형태입니다.

11.5 Navigation Results

논문에서는 R2R-CE val-unseen의 100개 episode를 평가했습니다.

NavJev의 평균 inference time은 0.65초/step입니다.

Open-Nav의 약 27초/step과 비교하면 매우 빠릅니다.

그러나 navigation 성능에서는 P2DNav와 상당한 차이가 있습니다.

따라서 NavJev를 최고 성능의 VLN 모델이라고 해석해서는 안 됩니다.

이 논문의 장점은 정확도보다 효율성에 있습니다.

11.6 Ablation Study

DASM을 추가하면 SR이 6%p 향상됩니다.

하지만 이 실험은 공통 태그 제거와 temporal history의 효과를 완전히 분리한 factorial ablation은 아닙니다.

따라서 성능 향상 중 어느 정도가 memory에서 나오고 어느 정도가 semantic filtering에서 나오는지는 추가 검증이 필요합니다.

11.7 Failure Analysis

개인적으로 이 논문에서 가장 중요한 부분입니다.

100개 episode 중 73개가 실패했습니다.

그중 60개, 즉 약 82.2%는 잘못된 waypoint selection에서 발생했습니다.

대표적인 실패는 다음과 같습니다.

• 계단 왼쪽의 통로로 이동해야 하는 경우
• 여러 통로가 비슷한 semantic 정보를 갖는 경우
• 순서가 있는 landmark를 정확히 구분해야 하는 경우

이 문제는 단순히 더 빠른 decision model로 해결되지 않습니다.

정확한 spatial grounding이 필요합니다.

또한 학습된 visual representation과의 직접적인 연결이 부족하다는 점도 문제일 수 있습니다.

결국 NavJev는 JEV 기반 navigation이 가능하다는 것을 보여주었지만, 강한 visual-spatial decision model을 구현했다는 증거로 보기는 어렵습니다.

Part V. 논문들을 종합하면 무엇을 알 수 있는가?

12. JEV 계열 모델의 핵심 비교

여기서 기술적으로 가장 중요한 관찰은 다음과 같습니다.

12.1 JEV의 개념 자체는 완전히 새로운 학습 패러다임이 아니다

JEV는 language-conditioned classification, candidate scoring, probabilistic inference를 조합한 decision interface로 이해할 수 있습니다.

물론 Original JEV가 사용하는 실제 architecture와 RLCD가 새로운 기술적 요소를 포함할 가능성은 있습니다.

하지만 그것을 검증할 수 있는 공개 정보는 부족합니다.

반면 Visual Jev나 PixelJev 같은 공개 연구에서는 기존 VLM과 일반적인 loss로 JEV 스타일의 동작을 구현합니다.

따라서 논문에서 단순히

We formulate navigation as a Jev-style decision problem.

이라고 주장하는 것은 novelty 측면에서 약합니다.

12.2 Direct decision과 visual understanding은 다른 문제다

기존 VLM의 hidden representation이 충분히 좋은 경우에는 LM head에서 직접 logits를 추출하는 것만으로도 좋은 성능을 얻을 수 있습니다.

하지만 visual encoder가 공간 정보를 충분히 표현하지 못한다면 decision head를 변경해도 한계가 있습니다.

이것은 PixelJev와 NavJev 결과에서도 드러납니다.

즉, visual decision model 연구에서는 출력 방식뿐 아니라 어떤 visual representation으로 어떤 종류의 action discrimination을 수행하는가가 중요합니다.

12.3 Probability는 자동으로 calibrated되지 않는다

JEV 계열 모델은 확률을 직접 반환합니다.

그러나

[ P(a_i\mid s,\mathcal A) ]

와

[ P(\text{successful execution}\mid a_i,s) ]

는 서로 다른 값입니다.

예를 들어 특정 trajectory가 0.9의 선택 확률을 받았다고 해서, 그 trajectory를 실행했을 때 90%의 확률로 안전하게 목적지에 도달한다는 의미는 아닙니다.

이는 imitation learning 기반 action distribution을 실제 planning score 또는 outcome probability처럼 사용하는 경우 발생하는 문제입니다.

자율주행에서는 특히 주의해야 합니다.

Part VI. VLN 및 자율주행 연구에 대한 해석

13. 256개 Trajectory Anchor를 사용하는 JEV

이전에 논의했던 아이디어로 돌아가겠습니다.

256개의 trajectory anchor가 고정되어 있다고 가정하겠습니다.

[ \mathcal A= {\tau_1,\tau_2,\ldots,\tau_{256}} ]

각 anchor는 고정된 trajectory codebook에서 가져옵니다.

따라서 anchor ID의 의미는 모든 장면에서 동일합니다.

이 경우 action selection은

[ P_\theta(k\mid I_t,g_t,h_t,\mathcal A) ]

를 학습하는 문제로 표현할 수 있습니다.

여기서 (g_t)는 goal, (h_t)는 temporal state입니다.

최종 행동은

[ k^*=\arg\max_kP_\theta(k\mid I_t,g_t,h_t,\mathcal A) ]

[ \tau^=\tau_{k^} ]

입니다.

이전 논의와 연결해서 중요한 점은 여기서는 선택지가 장면마다 새로 생성되는 것이 아니라 고정된 anchor codebook이라는 것입니다.

따라서 후보마다 trajectory 좌표를 매번 자연어로 설명해야 하는 것은 아닙니다.

고정된 anchor 의미를 학습시키거나 candidate embedding을 사용하면 됩니다.

다만 256개 후보를 어떻게 표현하고 학습할지는 설계해야 합니다.

예를 들어 Visual Jev의 기본 구현은 16개 후보까지만 지원하므로 그대로 사용할 수 없습니다.

별도의 256-way head, candidate-conditioned trajectory scorer, 또는 arbitrary-cardinality readout이 필요합니다.

13.1 그런데 이 접근은 얼마나 새로운가?

여기서는 약간 비판적으로 볼 필요가 있습니다.

고정된 trajectory anchor를 정의하고 가장 좋은 것을 선택하는 구조는 이미 여러 planning 방법에서 사용합니다.

결국 가장 단순한 구현은

[ h_t=f_\theta(I_t,g_t) ]

[ p_t=\operatorname{softmax}(Wh_t) ]

에 해당합니다.

이 경우 JEV 스타일의 interface를 사용한다고 해서 본질적으로 다른 모델이 되는 것은 아닙니다.

단순한 trajectory classification을 JEV라고 부르는 것만으로는 새로운 연구 기여라고 보기 어렵습니다.

새로운 contribution이 나오려면 decision paradigm이 기존 anchor-based planning보다 추가적인 이점을 제공해야 합니다.

예를 들어 다음과 같은 연구 질문이 가능합니다.

특히 첫 번째 질문과 다섯 번째 질문은 JEV의 특성을 살릴 수 있는 방향입니다.

반면 단순한 trajectory 선택에서는 기존 classifier와 차별화하기 어렵습니다.

14. 연구로 발전시킨다면 어떤 실험이 필요한가?

제가 중요하게 생각하는 것은 JEV interface 자체의 효과와 visual representation, 학습 방식, candidate design의 효과를 분리하는 것입니다.

Experiment 1. Output Representation Ablation

동일한 visual backbone과 training data를 사용합니다.

이 실험으로 JEV 스타일의 output interface가 실제로 기존 classification 또는 scoring 방법보다 어떤 장점이 있는지 확인합니다.

가능한 경우 candidate description과 parameter count, 학습 예산을 맞춰야 합니다.

Experiment 2. Goal Generalization

Training에서 특정 goal distribution을 사용하고, evaluation에서는 새로운 goal distribution을 적용합니다.

[ g_{\mathrm{train}}\sim P_{\mathrm{train}}(g) ]

[ g_{\mathrm{test}}\sim P_{\mathrm{test}}(g) ]

단순히 원래 seen goal에서 높은 SR을 얻는 것보다, 새로운 goal이나 instruction에서 성능이 유지되는지를 확인하는 것이 중요합니다.

Experiment 3. Closed-Loop Navigation

Offline trajectory accuracy만으로는 충분하지 않습니다.

[ \mathrm{ADE} = \frac{1}{T} \sum_{t=1}^{T} |\hat p_t-p_t^{GT}|_2 ]

와 같은 open-loop metric과 함께

[ \mathrm{SR},\quad \mathrm{SPL},\quad \mathrm{Collision},\quad \mathrm{GoalProgress} ]

등을 평가해야 합니다.

추가로 candidate coverage도 확인해야 합니다.

즉, 주어진 256개 anchor 중 실제 정답에 가까운 행동이 존재하는지를 평가해야 합니다.

이 항목을 분리하지 않으면 anchor codebook의 표현력 부족을 decision model의 실패로 잘못 해석할 수 있습니다.

Experiment 4. Confidence-aware Decision

JEV의 중요한 특징인 probabilistic output을 실제로 활용하는 실험입니다.

예를 들어

[ \max_kP_\theta(k\mid s)<\delta ]

라면 추가적인 관측을 수행하거나, 더 느리지만 정확한 reasoning model을 호출하도록 설계합니다.

그러나 실제로 confidence를 사용하려면 다음 관계가 검증되어야 합니다.

[ P(\mathrm{failure}\mid \mathrm{confidence}) ]

특히 calibration과 selective risk를 함께 평가해야 합니다.

이 실험을 통해 단순한 imitation policy가 아니라, 불확실성을 활용하여 의사결정 비용과 실패 위험을 조절하는 모델로 발전시킬 수 있습니다.

15. JEV와 JEPA의 차이

마지막으로 용어가 헷갈릴 수 있으므로 구분하겠습니다.

JEV와 JEPA는 서로 다른 개념입니다.

JEPA에서는 일반적으로

[ \hat z_{t+1} = f_\theta(z_t,a_t) ]

처럼 미래 latent state를 예측할 수 있습니다.

반면 JEV는

[ P_\theta(a_t\mid s_t,\mathcal A) ]

를 반환합니다.

따라서 JEPA 기반 world model과 JEV 스타일 decision model을 결합하는 것은 가능하지만, 두 개념이 본래 같은 것은 아닙니다.

16. 최종 평가

지금까지의 논문들을 종합하면 다음과 같이 평가할 수 있습니다.

연구 관점에서 가장 중요한 결론

첫째, JEV의 강점은 범용 의사결정 interface입니다.

새로운 질문과 후보 집합을 제공하여 여러 task를 처리할 수 있다는 점이 가장 매력적입니다.

둘째, Visual Jev의 핵심 contribution은 새로운 visual reasoning 방법이 아니라 효율적인 shared-context execution입니다.

새로운 visual understanding 능력을 학습시키는 접근으로 이해하면 논문의 기여를 과대평가하게 됩니다.

셋째, Navigation에 직접적으로 적용한 NavJev가 이미 존재합니다.

따라서 JEV를 navigation에 적용하는 것 자체는 더 이상 충분한 novelty를 제공하기 어렵습니다.

넷째, 256개 trajectory anchor selection은 좋은 출발점이지만 연구 기여를 위해서는 추가적인 문제가 필요합니다.

특히 기존 anchor-based planning과 구분되는 일반화, temporal reasoning, calibrated decision 또는 계산 효율성의 장점을 명확하게 검증해야 합니다.

개인적으로 가장 흥미롭게 보는 방향

이전에 논의했던 temporal memory 및 goal-conditioned navigation 연구와 결합한다면 다음과 같은 문제 설정이 유망하다고 생각합니다.

[ \boxed{ P_\theta \left( a_t \mid I_t, g_t, m_t, \mathcal A \right) } ]

여기서

• (I_t): 현재 visual observation
• (g_t): language instruction 또는 navigation goal
• (m_t): 장기적인 temporal memory
• (\mathcal A): 고정된 trajectory anchor codebook

입니다.

이 방향의 핵심은 action을 생성하지 않고 선택하는 것 자체가 아니라, visual observation과 temporal memory로부터 goal에 적합한 행동을 효율적으로 결정하면서 새로운 환경에서도 일반화하는 것입니다.

다만 이것도 기존 VLA의 discrete action head와 구조적으로 비슷할 수 있기 때문에, 단순한 구조 제안보다 일반화 성능과 closed-loop 효율성에서 명확한 결과를 확보하는 것이 중요합니다.

가장 먼저 깊이 읽을 논문을 두 개만 고른다면 Visual Jev와 NavJev를 추천합니다. 전자는 실제 구현과 효율성 측면에서, 후자는 navigation 적용과 그 한계를 이해하는 측면에서 가장 직접적인 참고 자료입니다.