[Paper Review] NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models

1. 논문 제목 : NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models
2. 원문 링크 : arxiv.org/abs/...
3. 인용 수 : 54회 (~2024.12.31)
4. 요약
Decoder only 기반 새로운 접근 방식의 text embedding 모델 제안.
sequence 전체의 중요한 정보를 학습하기 위해 Latent attention layer와 bidirectional attention을 적용하여 모델 개선.
Two-stage contrastive instruction-tuning 통해 non-retrieval 성능 개선.