Natural Language Processing

SepLLM은 특수 토큰의 중요성을 활용하여 LLM 추론을 가속화하고 긴 시퀀스를 효율적으로 처리합니다.

RetroLLM: 검색과 생성을 통합한 RAG 시스템

소형 언어 모델이 더 나은 명령 생성자!

Evalica: 벤치마킹을 쉽고 빠르고 신뢰할 수 있게 만드는 툴킷

SCBench는 멀티턴 및 멀티리퀘스트 시나리오에서 장문 맥락 메서드를 평가하는 새로운 벤치마크입니다.

LLM에서 LAM으로: 실제 작업을 수행하는 AI 에이전트 구축.

BLT: 바이트 기반 LLM, 토큰보다 패치 우선.

Phi-4: 140억 매개변수 언어 모델은 데이터 품질에 중점을 둔 훈련 레시피로 개발되어 추론 능력을 대폭 향상시켰습니다.

GREATER는 추론에 대한 그레이디언트를 활용하여 소규모 언어 모델의 프롬프트를 최적화하여 대규모 LLM 없이도 성능을 향상시킵니다.

Smaller language models reason better with fine-tuned training recipes.

NeuZip dynamically compresses neural network weights, achieving memory-efficient training and inference without performance loss, significantly reducing the memory footprint of large language models.

LLM의 개성을 정량적으로 평가하는 새로운 벤치마크 TRAIT 제시: 신뢰성 및 타당성 높은 8,000개의 질문으로 구성, LLM 개성의 독특성과 일관성 규명, 모델 정렬 과정의 영향 분석 및 제한점 제시.