Comparing EMI university reading materials with students' reading proficiency: Implications for admission testing

Abstract

This study investigated to what extent the complexity of EMI university reading materials matches EMI students’ reading proficiency. Text complexity and student proficiency were compared utilizing the Lexile© Framework for Reading text measures and reading scores based on reading test results, student questionnaire responses, and interviews with EMI lecturers. The results of the study indicate that, on average, Lexile text measures of EMI reading materials match students’ Lexile reading scores well. However, the analyses also show that there are wide disparities between texts in terms of difficulty and students in terms proficiency. The questionnaire and interview data show that factors such as students’ topical knowledge, text length, and text structure and organization are relevant aspects of perceived text complexity beyond word frequency and sentence length. In terms of assessment practices in EMI contexts, the findings of the study suggest that (1) EMI language admission tests should consider reading ability separately; (2) integrated reading/speaking and reading/writing tasks are authentic; (3) language admission tests in EMI settings should also consider text length; and (4) texts in admission tests should vary in terms of Lexile scores to reflect real-world EMI contexts.

Abstract (German)

In dieser Studie wurde untersucht, inwieweit die Komplexität von Lesematerialien in EMI-Universitäten der Lesekompetenz der Studierenden entspricht. Textkomplexität und Lesekompetenz wurden anhand des Lexile©-Frameworks sowie auf Grundlage von Lesetestergebnissen, Antworten der Studierenden auf einen Fragebogen, und Interviews mit EMI-Dozenten verglichen. Die Ergebnisse der Studie zeigen, dass die Lexile-Werte der EMI-Lesematerialien im Durchschnitt gut mit den Lexile-Profilen der Studierenden übereinstimmen. Die Analysen zeigen jedoch auch, dass es große Unterschiede zwischen den Texten in Bezug auf den Schwierigkeitsgrad und den Studierenden in Bezug auf die Lesefertigkeit gibt. Die Fragebogen- und Interviewdaten zeigen, dass neben der Worthäufigkeit und Satzlänge auch das thematische Wissen der Studierenden, die Textlänge, sowie die Textstruktur und -organisation eine Rolle für wahrgenommene Textkomplexität spielen. Im Hinblick auf die Beurteilungspraxis in EMI-Kontexten legen die Ergebnisse der Studie nahe, dass (1) EMI-Sprachzulassungstests die Lesefähigkeit separat berücksichtigen sollten; (2) integrierte Lese-/Sprech- und Lese-/Schreibaufgaben authentisch sind; (3) Sprachzulassungstests in EMI-Kontexten auch die Textlänge berücksichtigen sollten; und (4) Texte in EMI-Zulassungstests in Bezug auf Lexile-Werte variieren sollten, um reale EMI-Kontexte zu reflektieren.