Published November 24, 2025
| Version v1
Preprint
Open
Modèle de langage GP-VAE à autorégressivité latente
Authors/Creators
Description
Nous étudions un schéma d’autorégressivité entièrement latente fondé sur un processus gaussien (GP) intégré dans un auto-encodeur variationnel (VAE). Dans ce cadre, la dynamique séquentielle est transférée du plan des observations vers un espace latent continu, tandis que la génération linguistique demeure parallèle grâce à un décodeur non-autorégressif. Nous proposons une formulation méthodologique complète, incluant un prior GP causal, un posterior amorti structuré et un protocole d’apprentissage basé sur une ELBO régularisée. L’évaluation empirique, menée dans un cadre volontairement limité de preuve de concept (POC), montre que le modèle peut être entraîné de manière stable et que les variantes séquentielle et parallèle produisent des résultats cohérents. Ce travail suggère qu’une partie de la structure temporelle d’un modèle de langage peut être prise en charge par la géométrie probabiliste du latent plutôt que par des opérations neuronales explicites.
Files
LA_GP_VAE-7.pdf
Files
(3.6 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:0db0f35e81e65c422a141b189e7e5bac
|
3.6 MB | Preview Download |