У Claude нашли скрытое пространство «осознанных» мыслей. При этом никто его не проектировал, оно само там появилось.

В Anthropic обнаружили, что внутри модели существует небольшой набор нейронных состояний, которые выполняют роль своеобразной рабочей памяти.

Исследователи назвали его J-space и описывают как внутреннее пространство, где хранится то, о чём модель сейчас «думает», но не сообщает пользователю.

До сих пор считалось, что ИИ просто предсказывает следующее слово. А теперь оказалось, что перед ответом у него появляются внутренние представления, которые он использует для рассуждений.

Причём если подавить работу J-space, то модель резко теряет способность к многошаговым рассуждениям, качественному пересказу и сложному планированию.

А вот теперь самое интересное: в одном из экспериментов Claude понял, что его тестируют, поэтому просто «подыгрывал» сценарию и вёл себя безопасно. Но стоило исследователям убрать это внутреннее распознавание, как он переходил к опасному поведению, будто у него отключили сдерживающий фактор.

В целом авторы пришли к выводу, что некоторые вычислительные механизмы ИИ действительно имеют сходство с теориями работы человеческого сознания, что стало довольно большой неожиданностью.