Multi-Vector (Late Interaction) Embedding Models with Sentence Transformers
Bild från huggingface.co
Multi-vector-modeller är ett alternativ till vanliga AI-modeller som komprimerar text till en enda vektor.
Istället sparar de en liten vektor för varje ord, vilket gör att sökresultaten blir bättre — särskilt när man letar efter något specifikt eller har många krav samtidigt. Nackdelen är att indexet blir mycket större, men med komprimering kan storleken bli jämförbar med vanliga modeller. Hugging Face visar hur man använder dessa modeller med verktyget Sentence Transformers.
A multi-vector model keeps one vector per token and scores query against document with the MaxSim operator. That preserves token-level matching information that a single vector has to average away, which usually means stronger retrieval at the cost of a bigger index.
Läs hela hos Hugging Face →
Sammanfattningen är skriven av Vibekollen utifrån källans egen publicering. Innehållet tillhör Hugging Face.