Малкият модел, който хората предпочетоха

Как човешката обратна връзка направи модел със 100 пъти по-малко параметри по-полезен.

С две думи

Хора гласували кои отговори на компютъра са най-полезни. Компютърът се учил от гласовете. Малък, но добре научен модел се оказал по-харесван от огромен.

Подходящо за всички

01Какво направиха

Модел, обучен само да продължава текст, не е непременно полезен събеседник. Методът InstructGPT добавя три стъпки: примери от хора, модел на наградата от човешки класирания и дообучаване спрямо тази награда.Бележка
Методът е известен като RLHF — обучение с подсилване от човешка обратна връзка.

02Как се проверява

Хора сравняват отговори, без да знаят кой модел ги е дал. Отговорите на малкия дообучен модел печелят^¹ срещу 100 пъти по-големия оригинал.

Присъда · доказано / недоказано

по източник [1]

Доказано

Човешката обратна връзка подобрява оценяваната полезност

Още не

Частично Размерът не е единственият фактор за качеството
Че моделът „разбира“ човешките ценности
Че методът работи за системи, по-способни от оценяващите ги хора

1 · Само идея
2 · Твърдение
3 · Още не е доказано
4 · Доказано
5 · Потвърдено от други

Как работи · за всички

1Отговори

Моделът дава няколко отговора на един въпрос.

2Гласуване

Хора подреждат отговорите от най-добър до най-лош.

3Учене

Моделът се учи да дава като най-добрите.

Как работи · схемата е илюстративна, не е истински резултат

Източници

[1]Ouyang L., Wu J., Jiang X. и др. (2022). Training language models to follow instructions with human feedback. NeurIPS 2022 · arXiv:2203.02155