Einfache Möglichkeiten
die Reproduzierbarkeit der eigenen Analysen zu steigern
Computative Reproduzierbarkeit
Definition
Computative Reproduzierbarkeit
ist nicht selbstverständlich
Computative Reproduzierbarkeit
im Forschungsalltag
Computative Reproduzierbarkeit
Voraussetzungen
Kompatibel mit der Softwareversion der Kolleg:innen?
Software potenziell kostenfrei installierbar?
Welche Rechnungen entsprechen welchen Hypothesen im Manuskript?
Logik des Umgangs mit Ausreißern?
Version der Paket-Erweiterungen eindeutig?
Computative Reproduzierbarkeit
Möglichkeiten
➀
Kostenfreie Software
R, JASP, JAMOVI, Python, PSPP, …
Niederschwelliger Übergang von SPSS
JAMOVI
JASP
➁
Literate programming
Verbindet Input, Output und ergänzenden Text in einer Datei
Hier klicken für ein Beispiel.
Quarto Markdown,
RMarkdown,
jupyter Notebooks
Kompiliert als
HTML, PDF, Word, …
“Add Notes” & “Edit Title”
in JASP und jamovi
➂
Kontrolle der
Paket- und Softwareversion
Paketmanagement in R
Softwareumgebung durch “Container”
Beispiel
Wo und wie anfangen?
Wo und wie anfangen?
OER
Unabhängige Forschende, die
dieselben Daten und Analyseverfahren verwenden,
gelangen zu identischen Resultaten
dieselben Daten und Analyseverfahren verwenden,
gelangen zu identischen Resultaten
“In principle, all reported evidence should be reproducible” (Nosek et al. 2022, S. 721)
Problemlos integrierbar in Ihren bestehenden, gewohnten Workflow!
Nutzer:in 1
renv::init() # 1x zu Beginn des R-Projekts
renv::snapshot() # Dokumentation der genutzten Pakete
# (nur nötig nach Installation neuer Pakete)Nutzer:in 2
renv::restore() # um die Paketversionen von Nutzer:in 1 herzustellenrenv::init() generiert u.a. …
- einen Projekt-spezifischen Ordner für genutzte Pakete
- eine Datei, in der Informationen über die Pakete dokumentiert werden (z. B. Version)
renv::init() ist Äquivalent zu:
Wie üblich
- Pakete installieren
- R-Code (Ihre Datenanalyse) schreiben
Dann renv::snapshot() ausführen, um z. B.
- genutzte Pakete
- deren Version
- deren Abhängigkeiten automatisch festzuhalten
Holepunch stellt passende Softwareumgebung her (z. B. R-Version):
(benötigt GitHub)
Nutzer:in 1
library(holepunch)
write_install() # Writes install.R with all your dependencies
write_runtime() # Writes the date your code was last modified.
generate_badge() # Generates a badge you can add to your README. Clicking badge will launch the Binder.
# Now push to GitHubNutzer:in 2
Generell
- Daten und Analysen teilen
- In “Projekten” arbeiten, relative Pfade nutzen
- Klare Ordnerstruktur und Readme-Dateien nutzen
Software
Literate Programming
Paket- & Softwareversion
Wie teilen?
Kommentierung des Outputs (“Add Note”, “Edit Title”)
keine
.jasp bzw. .omv Datei (E-Mail, github, Supplement)
Input-Output-Dokument via Quarto oder RMarkdown
keine
Input-Output-Dokument als HTML oder PDF (E-Mail, github, Supplement)
keine
Versionskontrolle via renv/ groundhog
Projektordner (E-Mail, github, OSF, zenodo)
Vielen Dank!
Jürgen Schneider
References
Artner, Richard, Thomas Verliefde, Sara Steegen, Sara Gomes, Frits Traets, Francis Tuerlinckx, and Wolf Vanpaemel. 2021. “The Reproducibility of Statistical Results in Psychological Research: An Investigation Using Unpublished Raw Data.” Psychological Methods 26 (5): 527–46. https://doi.org/10.1037/met0000365.
Batinovic, Lucija, and Rickard Carlsson. 2023. “Why Your Code Doesn’t Reproduce: Lessons Learned from Meta-Psychology.” In Unconference 2023: Open Scholarship Practices in Education Research.
Nosek, Brian A., Tom E. Hardwicke, Hannah Moshontz, Aurélien Allard, Katherine S. Corker, Anna Dreber, Fiona Fidler, et al. 2022. “Replicability, Robustness, and Reproducibility in Psychological Science.” Annual Review of Psychology 73 (1): 719–48. https://doi.org/10.1146/annurev-psych-020821-114157.
Ziemann, Mark, Pierre Poulain, and Anusuiya Bora. 2023. “The Five Pillars of Computational Reproducibility: Bioinformatics and Beyond.” Briefings in Bioinformatics 24 (6): bbad375. https://doi.org/10.1093/bib/bbad375.