Large Language Models

BoostStep: 단계별 추론으로 LLMs의 수학적 능력 향상!

ToolHop: 대규모 언어 모델의 다중 단계 도구 사용 능력을 엄격히 평가하는 새로운 벤치마크

테스트 시간 컴퓨팅을 활용하여 대규모 언어 모델의 추론 능력을 시스템 1 사고에서 시스템 2 사고 수준으로 향상시키는 방법을 제시하는 획기적인 연구!

부동 소수점 양자화 훈련의 새로운 scaling law 발견: 지수, 맨티사 비트 및 스케일링 인자 계산 정밀도가 LLM 성능에 미치는 영향을 정량적으로 규명

개인화된 그래프 기반 검색 증강 생성(PGraphRAG) 프레임워크를 통해 희소 데이터 문제를 해결하고, LLM의 개인화 성능을 크게 향상시켰습니다.

70억 개 매개변수를 가진 메타유전체 기반 대규모 언어 모델(METAGENE-1)이 폐수 데이터로 훈련되어 병원균 탐지 및 유전체 서열 임베딩 작업에서 최첨단 성능을 달성했습니다.

AUTO-RT: 자동화된 재밍 전략 탐색으로 LLM 취약점 효율적으로 발견!

단위 테스트의 수를 늘려 코드 보상 모델의 정확성을 높이는 방법을 제시하는 연구!

CODEELO 벤치마크: 인간 수준의 Elo 등급으로 LLM의 경쟁적 코드 생성 능력 평가

BoxingGym: LLM 기반 과학적 에이전트의 실험 설계 및 모델 발견 능력 종합 평가 벤치마크

TAPE(conTextualized equivAriant Position Embedding) 프레임워크를 통해 문맥 정보를 활용한 동적 위치 인코딩으로 트랜스포머의 위치 기반 주소 지정 성능을 향상시켰습니다.

심층 신경망의 장기 의존성을 모델링하는 구조적 상태 공간 모델(SSM)의 한계를 극복! 최신 연구에서 SSM의 최근 편향(recency bias) 및 과도한 평활화(over-smoothing) 문제를 규명하고, 이를 해결하는 **극성화 기법(polarization)**을 제시하여 장기 토큰 상관관계 정확도를 높였습니다.

HunyuanProver: 대규모 언어 모델 기반의 확장 가능한 데이터 합성 프레임워크와 안내 트리 탐색을 통해 최첨단 자동 정리 증명 성능 달성!

LLM의 점진적 추론 및 문제 해결 능력을 평가하기 위한 새로운 벤치마크 HumanEval Pro, MBPP Pro, BigCodeBench-Lite Pro 제시!

LEP(Learned Embedding Propagation)는 적은 양의 학습 데이터만으로도 다국어 대규모 언어 모델을 효율적으로 적응시키는 새로운 기법입니다.

Dynasor은 LLM 추론 프로그램의 자원 사용을 최적화하는 시스템으로, certaindex라는 새로운 지표를 활용하여 어려운 질의에는 더 많은 연산을, 간단한 질의에는 적은 연산을 할당하고, 전망이 없는 질의는 조기에 종료함으로써 정확도, 지연 시간 및 비용을 균형 있게 맞춥니다.

대규모 언어 모델의 과도한 연산 문제 해결: 효율적인 추론을 위한 새로운 지표 및 자기 학습 전략 제시

Xmodel-2: 12억 매개변수의 추론 전문 대규모 언어 모델로, 효율적인 설계와 훈련 전략을 통해 최첨단 성능 달성!

미세 조정으로 안전성이 저하된 LLM의 성능을 향상시키는 동시에 안전성을 유지하는 간편하고 효과적인 모델 결합 방법 제시!

토큰 예산 인식 LLM 추론 프레임워크(TALE)를 통해 LLM 추론의 토큰 비용을 크게 줄이면서 성능 저하를 최소화했습니다!