Vad är tokenization – och varför räknar AI ord så konstigt?

Du kanske har märkt att AI-verktyg ibland räknar ord på ett märkligt sätt. När du kopierar in en text får du höra att den är 847 ”tokens”, inte ord. Eller att du har 8 000 tokens kvar i ditt kontextfönster. Vad betyder det egentligen – och varför kan inte AI bara räkna ord som vanligt…

Läs mer →