Automated Extraction of Life Scripts from Russian Literature Using Large Language Models (LLMs): Methodology and Limits of Applicability
Authors/Creators
- 1. Autonomous Non-Profit Organization "Center for Scientific Research in Career Guidance and Occupational Psychology
Description
The article presents a methodology for the automated extraction of life scripts, worldviews, and evaluations of lived life from Russian-language literature of 1800–2025 using a multi-agent LLM pipeline. The architecture includes four independent agents (socio-situational, behavioral, psychological, and sociocultural), each of which works with the full text of a book in a single context window according to a two-stage scheme (formation of an observation log → discrete digitization), and a fifth synthesizer agent that performs cross-validation and calculates an integral reliability index. Ten measurable scales divided into four semantic blocks are proposed, along with an expert validation protocol with a typology of discrepancies (“insight,” “error,” “disputed case”). A pilot study on six cases, including two “crash tests” (a non-human character and a text outside the training sample), showed that the core of the script vector is reproduced reliably (≥80% agreement on four scales), 50% of discrepancies prove diagnostically valuable, and the system automatically recognizes invalid profiles. Systematic discrepancies associated with the one-dimensional operationalization of multidimensional constructs were identified, and calibration of the prompt architecture v2.0 was proposed. The limits of applicability, a plan for the main study on 10,000 texts, and practical application—the praxeological model of “Script Contrast” for adolescent career guidance—are discussed.
Abstract (Russian)
В статье представлена методология автоматизированного извлечения жизненных сценариев, картин мира и оценок прожитой жизни из русскоязычной литературы 1800–2025 гг. с помощью многоагентного LLM-пайплайна. Архитектура включает четыре независимых агента (социально-ситуационный, поведенческий, психологический, социокультурный), каждый из которых работает с полным текстом книги в едином контекстном окне по двухэтапной схеме (формирование журнала наблюдений → дискретная оцифровка), и пятый агент-синтезатор, проводящий кросс-валидацию и вычисляющий интегральный индекс надёжности. Предложены 10 измеримых шкал, разделённых на четыре семантических блока, и протокол экспертной валидации с типологией расхождений («инсайт», «ошибка», «спорный случай»). Пилотное исследование на шести кейсах, включая два «краш-теста» (нечеловеческий персонаж и текст вне обучающей выборки), показало, что ядро сценарного вектора воспроизводится надёжно (совпадение ≥ 80% по четырём шкалам), 50% расхождений оказываются диагностически ценными, а система автоматически распознаёт невалидные профили. Выявлены систематические расхождения, связанные с одномерной операционализацией многомерных конструктов, и предложена калибровка промпт-архитектуры v2.0. Обсуждаются границы применимости, план основного исследования на 10 000 текстов и практическое применение — праксиологическая модель «Сценарного контраста» для профориентации подростков.
Files
Smirnov. Automated Extraction of Life Scripts from Russian Literature.pdf
Additional details
Additional titles
- Translated title (Russian)
- Автоматизированное извлечение жизненных сценариев из русской литературы с помощью больших языковых моделей (LLM): методология и границы применимости
Related works
- Is supplemented by
- Dataset: 10.5281/zenodo.22824280 (DOI)
References
- Цифровые гуманитарные исследования : коллективная монография / под ред. Г. В. Можаевой. — Красноярск : СФУ, 2023.
- Орехов, Б. В. Текст и знание в аспекте больших языковых моделей / Б. В. Орехов // Историческая информатика. — 2023. — № 4. — С. 104–113. — DOI: 10.7256/2585-7797.2023.4.44180. — URL: https://nbpublish.com/library_read_article.php?id=44180 (дата обращения: 18.09.2026).
- Пряжников, Н. С. Модели обоснования состоявшейся жизни в профессиональном и личностном самоопределении / Н. С. Пряжников, Е. В. Камнева, Е. Б. Моргунов, А. А. Полиматиди, Н. Ф. Родичев // Организационная психология. — 2026. — Т. 16, № 2. — С. 264–288.
- Пучковская, А. А. Digital Humanities: анализ применения цифровых технологий в гуманитарной сфере / А. А. Пучковская, А. О. Третьяков // Культура и искусство. — 2018. — № 10. — С. 1–9. — DOI: 10.7256/2454-0625.2018.10.27277. — URL: https://nbpublish.com/library_read_article.php?id=27277 (дата обращения: 18.09.2026).