Исследователи Google разработали инновационный метод машинного обучения —"вложенное обучение". Этот подход позволяет моделям сохранять навыки, приобретенные ранее, при освоении новых задач. Он решает проблему "катастрофического забывания", когда добавление новых данных приводит к утрате старых знаний.
Большие языковые модели, несмотря на значительные достижения, сталкиваются с трудностями непрерывного обучения. В отличие от человеческого мозга, который способен адаптироваться, сохраняя старые знания при освоении новых, существующие модели имеют ограничения. Они ограничены контекстным окном или статистической информацией.
Попытки обновлять параметры модели новыми данными часто приводят к «катастрофическому забыванию». Ранее исследователи пытались решить эту проблему путем доработки архитектуры или улучшения алгоритмов обучения. Однако архитектура модели и алгоритмы оптимизации рассматривались отдельно, что затрудняло создание единой и эффективной системы.
Вложенное обучение представляет модель как набор взаимосвязанных задач оптимизации. Архитектура и алгоритм обучения в этом случае являются разными уровнями одного процесса. Каждый уровень обладает своим потоком контекста и обновляется с разной частотой.
Это напоминает ассоциативную память: модель учится связывать новые данные с уже известными, сохраняя старые знания. Ключевые компоненты, такие как механизм внимания в трансформерах, помогают находить связи между элементами информации. В результате модель адаптируется к новым задачам, не теряя старых навыков.
Для проверки концепции была создана архитектура Hope. В отличие от предыдущих моделей, Hope использует неограниченное количество уровней контекстного обучения. Ее память организована по принципу Continuum Memory Systems: не два фиксированных блока, а спектр слоев, каждый из которых обновляется с разной скоростью. Архитектура самостоятельно оптимизирует свои знания и масштабируется до больших контекстных окон.
Эксперименты показали, что Hope точнее и стабильнее справляется с длинными последовательностями информации, чем существующие модели. Она успешно решает задачи «Needle-In-Haystack» разной сложности, где требуется найти небольшую деталь в большом объеме текста, превосходя современные архитектуры, такие как Titans, Samba и стандартные трансформеры.
Исследователи считают, что этот метод приблизит возможности ИИ к гибкости человеческого мозга. Вложенное обучение может стать основой для нового поколения самосовершенствующихся моделей.