Phase Structure of Deterministic Text Generation in GPT-2

Мы исследуем структуру детерминированной генерации текста в языковой модели GPT-2, анализируя её пространство вложений с помощью контролируемых фазовых деформаций. Варьируя состояние вложений в ортогональных двумерных подпространствах, сохраняя при этом подсказку неизменной, мы наблюдаем, что генерация текста организуется в конечное множество стабильных и воспроизводимых режимов.

Сопоставление этих режимов с несколькими фазовыми плоскостями выявляет дискретный фазовый ландшафт, состоящий из областей притяжения, разделенных резкими, зависящими от направления границами. В то время как вблизи исходной конфигурации вложения доминирует один базовый режим, достаточно сильные фазовые деформации вызывают резкие переходы в альтернативные стабильные режимы. Расположение этих переходов сильно варьируется в зависимости от направления в пространстве вложения, что указывает на выраженную анизотропию лежащей в основе геометрии.

Анализ распределения вероятностей первого токена показывает, что альтернативные режимы часто связаны с более резкими распределениями выходных данных, хотя энтропия изменяется немонотонно с фазовой деформацией и не определяет строгий параметр порядка. В целом, наши результаты показывают, что детерминированная генерация в языковых моделях трансформеров может рассматриваться как фазоподобный динамический процесс со сложной анизотропной структурой, которая не может быть описана простыми мерами сходства в пространстве вложений.