Речник на една невронна мрежа

Отделните неврони не значат нищо ясно. Комбинациите им — понякога да.

С две думи

Вътре в компютърния модел всичко е смесено като цветове в кална вода. Учените намериха начин да разделят сместа на отделни „моливи“. Така виждат кой молив за какво служи.

Подходящо за всички

01Проблемът

Един неврон в езиков модел често реагира на несвързани неща — на програмен код, на корейски текст и на цитати едновременно. Това прави директното „четене“ на модела почти невъзможно.

02Решението

Екип на Anthropic обучава втори, малък модел, който пресъздава сигналите на първия като сума от малко на брой признаци. Получените признаци са по-тесни и по-разбираеми от отделните неврони^¹.¹ Ограничение
„Разбираем“ тук е оценка на хора и на друг модел, не формално доказателство.

През 2024 г. методът е приложен към голям производствен модел. Някои признаци, когато се усилят изкуствено, променят поведението на модела по предвидим начин.

Присъда · доказано / недоказано

по източник [1]

✓ Това е доказано

Разредени признаци могат да бъдат извлечени
Усилването на признак променя изхода

✕ Това още не е доказано

~Много признаци са тълкуеми — по оценка на хора
Че признаците покриват всичко, което моделът „знае“
Че методът гарантира безопасност

1 · Само идея
2 · Твърдение
3 · Още не е доказано
4 · Доказано
5 · Потвърдено от други

Как работи · за всички

1Смес

Сигналите в модела са смесени.

2Разделяне

Втори модел ги разделя на отделни признаци.

3Име

Хората дават име на всеки признак.

Как работи · схемата е илюстративна, не е истински резултат

Източници

[1]Bricken T., Templeton A., Batson J. и др. (2023). Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. Transformer Circuits Thread
[2]Templeton A., Conerly T., Marcus J. и др. (2024). Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. Transformer Circuits Thread