Vad är kvantisering i AI – och varför kan din dator plötsligt köra kraftfulla modeller?
För bara några år sedan var det självklart: ville du köra en avancerad AI-modell behövde du kraftfull hårdvara, helst med specialiserade grafikkort som kostade tiotusentals kronor. Men plötsligt började folk rapportera att de kunde köra imponerande språkmodeller på vanliga laptops, till och med på mobiler. Hemligheten? En teknik som heter kvantisering. Kvantisering handlar i grunden…