Large Language Models

ModernBERT: 빠르고 메모리 효율적인 장문 컨텍스트 미세 조정 및 추론을 위한 최첨단 양방향 인코더!

RAG-RewardBench: RAG 환경에서 보상 모델 평가를 위한 최초의 벤치마크 제시!

AntiLeak-Bench: 자동화된 벤치마킹으로 LLM 데이터 오염 방지

DateLogicQA: LLM의 시간적 추론 편향 벤치마크 제시! 토큰화, 표상 및 논리 수준 편향 분석으로 시간적 데이터 처리 개선 방안 제시!

Whisper-GPT: 하이브리드 음성 및 음악 LLM으로, 연속 오디오와 이산 토큰을 결합하여 향상된 성능을 제공합니다.

오픈소스 LLM, 폐쇄형 LLM 대비 투명성과 접근성은 높지만, 성능은 낮음. 하이브리드 전략이 미래.

Self-play with refinement boosts instruction-following in LLMs.

SepLLM은 특수 토큰의 중요성을 활용하여 LLM 추론을 가속화하고 긴 시퀀스를 효율적으로 처리합니다.

소형 언어 모델이 더 나은 명령 생성자!

Evalica: 벤치마킹을 쉽고 빠르고 신뢰할 수 있게 만드는 툴킷

SCBench는 멀티턴 및 멀티리퀘스트 시나리오에서 장문 맥락 메서드를 평가하는 새로운 벤치마크입니다.

LLM에서 LAM으로: 실제 작업을 수행하는 AI 에이전트 구축.

BLT: 바이트 기반 LLM, 토큰보다 패치 우선.

Phi-4: 140억 매개변수 언어 모델은 데이터 품질에 중점을 둔 훈련 레시피로 개발되어 추론 능력을 대폭 향상시켰습니다.

GREATER는 추론에 대한 그레이디언트를 활용하여 소규모 언어 모델의 프롬프트를 최적화하여 대규모 LLM 없이도 성능을 향상시킵니다.

Smaller language models reason better with fine-tuned training recipes.

NeuZip dynamically compresses neural network weights, achieving memory-efficient training and inference without performance loss, significantly reducing the memory footprint of large language models.

LLM의 개성을 정량적으로 평가하는 새로운 벤치마크 TRAIT 제시: 신뢰성 및 타당성 높은 8,000개의 질문으로 구성, LLM 개성의 독특성과 일관성 규명, 모델 정렬 과정의 영향 분석 및 제한점 제시.