Du sitter och chattar med en AI-assistent. Det går bra ett tag, men plötsligt verkar den ha glömt vad ni pratade om för tio minuter sedan. Den upprepar sig, missar en detalj du förklarade tidigare, eller svarar som om ni precis börjat konversationen från scratch. Det är frustrerande — och det beror nästan alltid på något som kallas kontextfönstret.
Kontextfönstret är enkelt uttryckt den mängd text som en AI-modell kan hålla i minnet vid ett givet tillfälle. Tänk dig ett bord där du lägger ut papper med information. Bordet har en viss storlek. Allt som ryms på bordet kan AI:n ”se” och ta hänsyn till när den svarar. Det som faller utanför kanten — det finns inte längre, för modellen.
Den här gränsen mäts vanligtvis i något som kallas tokens. En token är ungefär fyra tecken, eller lite drygt ett halvt ord på svenska. En lång artikel på tusen ord är alltså ungefär 1 500 tokens. Moderna modeller har kontextfönster som rymmer allt från några tusen tokens upp till hundratusentals — och gränserna har ökat dramatiskt de senaste åren. Men oavsett hur stort fönstret är, finns det alltid en gräns.
Det som räknas in i kontextfönstret är hela konversationen: dina frågor, AI:ns svar, eventuella instruktioner du gett i början, och all text du klistrat in. Allt tar plats. Klistrar du in ett långt dokument och sedan ställer frågor om det, fylls fönstret snabbt upp. Är konversationen lång nog, börjar de allra tidigaste delarna försvinna ur ”synfältet”.
Varför spelar det här roll i praktiken? Jo, för att det påverkar hur du bör använda AI-verktyg. Ett vanligt misstag är att man kör igång en väldigt lång session och förväntar sig att modellen ska komma ihåg precis allt man sagt — som en kollega med fotografiskt minne. Så funkar det inte. När fönstret fylls börjar modellen förlora tråden, och du kan märka det på att svaren blir lite mer generella eller att den missar saker du tagit upp.
Det finns några enkla saker du kan göra för att jobba smartare med det här. En är att hålla sessionerna fokuserade: i stället för att ha en lång konversation om tio olika ämnen, starta en ny chatt när du byter uppgift. En annan är att sammanfatta viktiga punkter och klistra in dem i början av en ny session om du behöver fortsätta där du slutade. Då ger du modellen det den behöver, utan att bränna upp kontexten med gammalt brus.
Om du jobbar med långa dokument — säg att du vill analysera en rapport eller redigera ett långt manus — är det värt att tänka på storlek. Delar du upp ett långt dokument i avsnitt och arbetar med ett i taget, får modellen bättre förutsättningar att ge precisa svar. Det kan kännas omständligt, men resultatet brukar bli märkbart bättre.
Kontextfönstret förklarar också varför AI-verktyg som är byggda för specifika uppgifter — som att analysera kod eller sammanfatta möten — ofta fungerar bättre än att be om allt på en gång i en generell chatt. De är designade för att hantera informationen på ett effektivt sätt inom just de ramarna.
Nästa gång en AI-assistent verkar ha tappat tråden, behöver det alltså inte vara ett fel eller en nyck. Det är ganska enkelt: bordet är fullt. Och nu när du vet det kan du planera därefter.