Нейросети мозга, ведущие себя одинаково, могут иметь разную структуру и по-разному учиться
Исследователи из Хайфского Техниона показали, что за одинаковым поведением нейронных сетей мозга может скрываться разная внутренняя структура, но ее можно выявить, если заставить сеть учиться.
Обучение в мозге сводится к изменению связей между нейронами, но проявляется оно в поведении системы в целом. Как множество локальных перестроек складывается в новую функцию? На этот вопрос постарались ответить ученые Техниона. Работа размещена на сайте arXiv.
Авторы изучали рекуррентные нейронные сети низкого ранга. Эти модели часто используют, чтобы описать, как мозг обрабатывает информацию. В результате ученые выделили два разных класса переменных. Первые – полностью определяют активность сети и ее выход. Вторые – на текущую работу никак не влияют, но управляют тем, как сеть будет учиться дальше. Если наблюдать только поведение сети, эти скрытые свойства увидеть нельзя.
В одном из примеров две сети с разным устройством одинаково отвечали на одни и те же сигналы. Но при дальнейшем обучении их траектории разошлись: одна сеть надолго остановилась на плато, другая равномерно улучшалась. То есть обучение высветило различия, которые не видны по текущему состоянию.
Кроме того, скрытые переменные способны хранить память о прошлом. Сети, которые сначала обучили разным задачам, а потом общей, достигали одинакового качества, но по скрытым параметрам можно было восстановить историю обучения каждой сети.
"В изученных нами сетях понимания того, как система ведет себя сегодня, недостаточно, чтобы описать, как она будет учиться в будущем, – говорит соавтор работы профессор Омри Барак. – Но то, как сеть меняется при обучении, может выявить ее скрытые параметры, которые при текущем поведении не видны".
Пока результаты получены на моделях и в компьютерных симуляциях, но авторы предлагают проверить их на живых системах. Если выводы подтвердятся, это изменит сам подход к изучению мозга: чтобы понять нейронную систему, мало знать, что она делает, нужно смотреть, как она учится. Касается это не только биологии. Если две обученные модели искусственного интеллекта работают одинаково, это еще не значит, что они одинаково устроены и одинаково поведут себя при дообучении. А это важно для всех, кто адаптирует большие нейросети к новым задачам.