Законите на мащабирането: какво наистина знаем

01Какво измериха

През 2020 г. екип от OpenAI обучава десетки езикови модели с различен размер и измерва колко често всеки от тях бърка следващата дума. Променят три неща: броя параметри, обема текст и изчисленията за обучение. Резултатът е изненадващо подреден: в логаритмичен мащаб грешката пада почти по права линия^¹.¹ Бележка
„Логаритмичен мащаб“ значи, че всяко деление е 10 пъти повече от предишното.

Това превръща „по-голям модел“ от надежда в инженерна прогноза: може да се пресметне колко ще спечелиш, преди да похарчиш парите.

02Поправката Chinchilla

През 2022 г. DeepMind преизмерва същия въпрос с повече точки и стига до друга рецепта. При фиксиран изчислителен бюджет размерът на модела и броят токени трябва да растат еднакво^¹. Моделът Chinchilla, по-малък, но обучен с повече текст, надминава по-големи предшественици.¹ Бележка
„Токен“ е парче текст — дума или част от дума.

03Къде е границата

Кривата описва грешката при предсказване на текст, а не способности като разсъждение или надеждност. Извън измерения обхват тя е екстраполация.Ограничение
Резултатът е за един тип модел (трансформър) и един тип данни (текст).