Законите на мащабирането: какво наистина знаем

Една графика от 2020 г. промени индустрията. Обясняваме какво точно показва тя и какво не.

С две думи

Учените видели, че колкото по-голям е компютърният модел и колкото повече текст прочете, толкова по-рядко бърка. Това става толкова равномерно, че може да се предскаже. Но никой не знае докъде продължава.

Подходящо за всички

01Какво измериха

През 2020 г. екип от OpenAI обучава десетки езикови модели с различен размер и измерва колко често всеки от тях бърка следващата дума. Променят три неща: броя параметри, обема текст и изчисленията за обучение. Резултатът е изненадващо подреден: в логаритмичен мащаб грешката пада почти по права линия^¹.¹ Бележка
„Логаритмичен мащаб“ значи, че всяко деление е 10 пъти повече от предишното.

Това превръща „по-голям модел“ от надежда в инженерна прогноза: може да се пресметне колко ще спечелиш, преди да похарчиш парите.

02Къде е границата

Кривата описва грешката при предсказване на текст, а не способности като разсъждение или надеждност. Извън измерения обхват тя е екстраполация.Ограничение
Резултатът е за един тип модел (трансформър) и един тип данни (текст).

Присъда · доказано / недоказано

по източник [1]

✓ Това е доказано

В измерения обхват грешката намалява по степенен закон

✕ Това още не е доказано

~По-големите модели използват данните по-ефективно — за този тип модели
Че кривата продължава безкрайно
Че по-ниска грешка значи „по-умен“ модел

1 · Само идея
2 · Твърдение
3 · Още не е доказано
4 · Доказано
5 · Потвърдено от други

Как работи · за всички

1Различни размери

Учените правят малки, средни и големи модели.

2Еднакъв тест

Всички познават следващата дума в един и същ текст.

3Права линия

Грешките падат равномерно с размера.

Как работи · схемата е илюстративна, не е истински резултат

Източници

[1]Kaplan J., McCandlish S., Henighan T. и др. (2020). Scaling Laws for Neural Language Models. arXiv · arXiv:2001.08361