De meeste RAG-systemen die vandaag draaien hebben twee blinde vlekken: ze begrijpen alleen Engels en ze zien alleen tekst.
Wat de klassieke tests niet meten
De ranglijst MTEB meet maar één ding: zoeken naar Engelse tekst in een databank met Engelse tekst. In werkelijkheid werken ondernemingen met documenten in het Nederlands, met afbeeldingen en met tabellen.
Milvus heeft de test CCKM gemaakt, die het meertalig zoeken, het multimodaal zoeken en het zoeken in lange documenten (32 000 tekens) meet.
Uitkomsten bij meertalige RAG
- Gemini Embedding 2: 99,7 %
- Qwen3-VL-2B (open source): 98,8 %
- OpenAI text-embedding-3-large: 96,7 %
- Lichte modellen (nomic-embed-text, mxbai-embed-large): 12-15 %
- Op uitdrukkingen: 3 %
Alleen Gemini haalde een volmaakte score op het uitlijnen van Chinese en Engelse uitdrukkingen.
Uitkomsten bij multimodaal zoeken
- Qwen3-VL-2B: 94,5 %
- Gemini: 92,8 %
De « modality gap » geeft de doorslag: Qwen (0,25) tegenover Gemini (0,73).
Wat dit betekent voor Nederlandstalige kmo's
De keuze van het embeddingmodel bepaalt of uw AI uw documenten begrijpt of ze negeert. AS3P gebruikt Milvus voor BrainDup, een open source vectordatabank die meertaligheid en multimodaliteit van huis uit aankan.
Er bestaat meer dan het Engels in de wereld van de AI. En er bestaat meer dan tekst.
Bron: Milvus, test CCKM.