|

Literale Kompetenzen in empirischen Disziplinen – Erprobung einer Methode zur Messung des Lernzuwachses in schreibintensiven Praktika der Biologie

1 Kommentar schreiben zu Absatz 1 3 Nils Cordes & Anne-Kathrin Warzecha (Universität Bielefeld)

2 Kommentar schreiben zu Absatz 2 1 Eine Herausforderung in der Lehre besteht darin, herauszufinden, ob Studierende durch den Besuch einer Veranstaltung im gewünschten Ausmaß etwas lernen. Evaluationen und Klausuren können nur zum Teil Antworten darauf liefern, da sie oft subjektive Momentaufnahmen darstellen, die von vielen Faktoren beeinflusst werden können. Daher wird außerdem eine Methode benötigt, um den Lernzuwachs zu messen. Dies gilt vor allem für Kompetenzen, die üblicherweise über mehrere Semester hinweg erworben werden – wie die Fertigkeit, wissenschaftlich zu schreiben.


Zusammenfassung

3 Kommentar schreiben zu Absatz 3 2 Im Rahmen dieser Studie nutzen wir die Veränderung von Selbsteinschätzungen, um den Lernzuwachs (im Sinne von „normalized gain“ nach Hake (1998)) bei der Entwicklung literaler Kompetenzen im Biologiestudium zu messen. Dafür gaben Studierende über einen Zeitraum von einem Jahr zu drei verschiedenen Zeitpunkten Selbsteinschätzungen zu verschiedenen Kompetenzen ab, die als zentral für das Verfassen wissenschaftlicher Arbeiten in empirischen Disziplinen erachtet werden. Um zu prüfen, wie zuverlässig diese Selbsteinschätzung für den tatsächlichen Lernzuwachs ist, wurden dieselben Kompetenzen außerdem an zwei Zeitpunkten anhand der von Studierenden angefertigten Texte bewertet. Wir verglichen die Veränderungen in der Qualität der Texte anschließend mit den Veränderungen in den Selbsteinschätzungen der Studierenden, um herauszufinden, ob aus der Veränderung von Selbsteinschätzungen auf tatsächliche Entwicklungen geschlossen werden kann.

4 Kommentar schreiben zu Absatz 4 0 Wir konnten eine eindeutige Korrelation zwischen Veränderungen in Selbsteinschätzungen und Veränderungen in den Bewertungen der Texte zeigen. Die große Varianz in den Daten suggeriert jedoch, dass die Methode zur Einschätzung individueller Lernprozesse ungeeignet ist. Auf Kursebene hingegen stellt der so gemessene Lernzuwachs unserer Meinung nach eine Bereicherung für die Lehrevaluation dar und kann konkrete Ansatzpunkte für die Weiterentwicklung von (schreibintensiven) Lehrveranstaltungen liefern.


Einleitung

5 Kommentar schreiben zu Absatz 5 2 Das Rückgrat eines jeden naturwissenschaftlichen Studiums muss die Fähigkeit sein, wissenschaftlich zu denken, zu analysieren und zu kommunizieren. Der Bachelor of Science sollte diese Kompetenzen vermitteln, weshalb oft bereits in den ersten Semestern Schreibaufträge feste Bestandteile des Studiums sind. Das Formulieren und Begründen von Fragestellungen, das Auswerten und Interpretieren von Daten, das Erstellen von Diagrammen und der Umgang mit wissenschaftlicher Literatur sind wesentliche Bestandteile von Forschung, ohne die es kaum möglich ist, theoretische Fachinhalte zu bewerten und zu anzuwenden (Bao et al., 2009; Coil et al., 2010).

6 Kommentar schreiben zu Absatz 6 5 Evaluationen und Klausuren sollen in der Regel überprüfen, inwieweit Studierende Fachwissen und Kompetenzen zu einem bestimmten Zeitpunkt besitzen. Weil literale Kompetenzen aber auf dem Weg zur Abschlussarbeit über mehrere Semester hinweg erworben und gefestigt werden, ist es hilfreich, den Lernzuwachs (learning gain) beurteilen zu können (Caspersen et al., 2017) – ein Maß, das bislang weder von Klausuren noch von Evaluationen adäquat aufgenommen werden kann. Klausurfragen bilden die Lernziele des Curriculums ohnehin meist nur indirekt ab; und Evaluationen helfen nur bedingt dabei, zu überprüfen, was Studierende gelernt haben, da sie auf Selbsteinschätzungen beruhen, die selten in einem realistischen Verhältnis zum tatsächlichen Lernerfolg stehen (Clayson, 2009; Uttl et al., 2017). Faktoren wie das Lehrformat, die Dozierenden und die eigene Wahrnehmung beeinflussen Bewertungen der Veranstaltungen und die Einschätzungen des eigenen Lernerfolgs (Wachtel, 1998; Kruger & Dunning, 1999; Griffin, 2001; Carpenter et al., 2013; Deslauriers et al., 2019).

7 Kommentar schreiben zu Absatz 7 1 Wie misst man, ob Studierende etwas über einen bestimmten Zeitraum gelernt haben? Basierend auf Cohen’s Maß der Effektgröße (effect size, Cohen, 1977), entwickelte Hake (1998) eine Methode, die das Verständnis für konkrete Konzepte der Physik mit Hilfe von Prä-/Post-Tests bestimmt. Der sogenannte normalized gain, ein in der Physik weit verbreitetes Maß für die Effektivität eines Kurses, teilt den tatsächlichen Lernzuwachs durch den maximal möglichen Lernzuwachs. Diese Standardisierung soll helfen, auch unterschiedliche Lernziele miteinander zu vergleichen. Darauf aufbauend entwickelten sich ähnliche Konzepte wie normalized change (Marx & Cummings, 2007), individual gain (Raupach et al., 2011; Schiekirka et al., 2013) und averaged individual gain (Von Korff et al., 2016; Nissen et al., 2018).

8 Kommentar schreiben zu Absatz 8 2 In der Physik lassen sich Fachwissen und Fertigkeiten gut mit Konzeptinventaren (Savinainen & Scott, 2002) messen. Komplexe, disziplinübergreifende Kompetenzen wie das wissenschaftliche Schreiben, Denken und Argumentieren waren bislang aber nur schwer zu quantifizieren (Lauer & Hendrix, 2009; Timmerman et al., 2011; Caspersen et al., 2017). Ohne ein möglichst objektives Maß für die Kenntnisse von Studierenden zu einem bestimmten Zeitpunkt scheint es unrealistisch, den Lernzuwachs bestimmen zu können. Rubrics (Anson & Dannels, 2002; Timmerman et al., 2011) sind eine Methode, um Kompetenzen auf spezifische, messbare Kriterien herunterzubrechen. Doch aufgrund ihres großen Zeitaufwandes wäre es wünschenswert, Lernzuwachs nicht über die Bewertung von Texten, sondern im Rahmen von regelmäßigen Kursevaluationen zu messen (Mager, 1984). Für die Messung des Lernzuwachses bei einfach zu bewertenden Kernkompetenzen des Medizinstudiums übertrugen deshalb Raupach et al. (2011) Hakes Formel von Prüfungen auf Selbsteinschätzungen und zeigten, dass der Lernzuwachs zuverlässig sowohl an konkreten Fragestellungen in einer Umfrage gemessen werden kann als auch an der Leistung bei praktischen Prüfungen.

9 Kommentar schreiben zu Absatz 9 0 Ziel dieser Studie ist es, am Beispiel von Studiengängen in der Biologie zu überprüfen, ob dieses Maß des Lernzuwachses auch auf das wissenschaftliche Schreiben und Auswerten übertragen werden kann. In den empirischen Wissenschaften gibt es das Format des Versuchsprotokolls oder Praktikumsberichts (Lab Report), einem standardisierten Textformat bestehend aus Einleitung, Methoden, Ergebnissen und Diskussion (Rosenthal, 1987; Lerner, 2007; Cargill & O’Connor, 2013; Cordes, 2016). Unsere Frage ist, ob der Lernzuwachs basierend auf Selbsteinschätzungen zuverlässig den tatsächlichen Lernzuwachs beim Anfertigen von Versuchsprotokollen wiedergibt, und ob diese Methode in den empirischen Wissenschaften zukünftig genutzt werden könnte, um den Erfolg von Kursen zu evaluieren.


Methoden

10 Kommentar schreiben zu Absatz 10 2 Die Studie verlief über die ersten zwei Fachsemester von Studienanfänger*innen der Biologie an der Universität Bielefeld. Das Wintersemester begann im Oktober 2018, das Sommersemester endete im Juli 2019. Alle an der Studie teilnehmenden Studierenden nahmen an den verpflichtenden Praktika des Basismoduls Praxis I und II teil. In diesen Praktika ließen wir die Studierenden an drei verschiedenen Zeitpunkten (T1, T2, T3) eine Umfrage ausfüllen, in der sie ihre Fähigkeiten zum Anfertigen wissenschaftlicher Texte einschätzen sollten. Außerdem verfassten die Studierenden für die Praktika wissenschaftliche Texte in Form von Versuchsprotokollen. Diese Versuchsprotokolle dienten als Grundlage für die späteren Berechnungen des Lernzuwachses in dieser Studie. Studierende erhielten für Winter- und Sommersemester eines von 4 bzw. 5 Themen, zu denen sie im Laufe des Semesters das Versuchsprotokoll schrieben. Die Verteilung der Themen lief zufällig und zielte darauf ab, dass alle Themen gleichmäßig auf die Studierenden verteilt waren. Studierende wurden dann gebeten, die Versuchsprotokolle der einzelnen Semester (P1 und P2) anonymisiert auf einen Universitätsserver zu laden, damit diese für eine Textanalyse von drei Gutachter*innen bewertet werden konnten. So ergaben sich fünf definierte Zeitpunkte, an denen Studierende für die Studie unterschiedliche Leistungen erbringen mussten (Abb. 1).

11 Kommentar schreiben zu Absatz 11 2 Abb. 1: Ablauf der Studie. Umfragen wurden zu drei verschiedenen Zeitpunkten im Studium durchgeführt, T1-T3. Dazwischen wurden von Studierenden Versuchsprotokolle geschrieben, und zwar in den Zeiträumen P1 und P2.

12 Kommentar schreiben zu Absatz 12 0

13 Kommentar schreiben zu Absatz 13 0 Umfragen

14 Kommentar schreiben zu Absatz 14 0 Umfragen wurden zu Beginn des ersten Semesters (T1), am Ende des ersten Semesters (T2) und am Ende des zweiten Semesters (T3) jeweils in den Praktika am Smartphone ausgefüllt (Abb. 1). Die Online-Fragebögen dafür wurden mit der Software EvaSys® (Electric Paper, Lüneburg, Deutschland) generiert und die Ergebnisse nach Ablauf der Umfrage in Tabellenform gespeichert. Der Zugang zur Umfrage war nicht passwortgeschützt, wurde aber nach Ablauf der Erhebungsphase geschlossen. Einmal abgeschickte Fragebögen konnten von Studierenden nicht überarbeitet werden.

15 Kommentar schreiben zu Absatz 15 0 Die einzelnen Fragebögen wurden durch einen Selbstgenerierten Identifikationscode (SGIC) anonym immer denselben Studierenden zugeordnet. Jede Umfrage bestand aus Selbsteinschätzungen zu sieben Fähigkeiten des wissenschaftlichen Schreibens, die als operationalisierte Lernziele (Doran, 1981) formuliert wurden (Tab. 1). Studierende gaben ihre Selbsteinschätzung auf einer sechsstufigen Skala von 1 (trifft vollständig zu) bis 6 (trifft gar nicht zu) an.

16 Kommentar schreiben zu Absatz 16 6 Tab. 1: Sieben operationalisierte Lernziele der Studierenden in den ersten zwei Fachsemestern. Die Lernziele sind dem SMART-Prinzip (Doran, 1981) folgend so formuliert, dass Studierende sie eindeutig einschätzen können.

17 Kommentar schreiben zu Absatz 17 0 Lernziel 0 („Abschnitte“) dient als Positivkontrolle. Wir betrachteten die Fähigkeit, alle Abschnitte eines Versuchsprotokolls korrekt zu benennen, als fundamentale Voraussetzung für das Schreiben in der Biologie. Die von uns als essenzielle Abschnitte festgelegten waren der Abstract, die Einleitung, die Methoden, die Ergebnisse, die Diskussion und das Literaturverzeichnis. Wir erwarteten, dass alle Studierenden in der Lage sein sollten, innerhalb der ersten zwei Semester dieses Lernziel zu erreichen. Die übrigen sechs Lernziele 1-6 waren die Untersuchungskriterien, anhand derer wir evaluieren wollten, ob sie mit der Methode zuverlässig einzuschätzen waren.

18 Kommentar schreiben zu Absatz 18 0 Bewertung von Versuchsprotokollen

19 Kommentar schreiben zu Absatz 19 0 Alle Versuchsprotokolle wurden von drei Gutacher*innen gelesen: zwei studentische Hilfskräfte aus dem 6. Semester, die sich über ihr Studium intensiv mit dem Schreiben wissenschaftlicher Texte auseinandergesetzt hatten, und ein wissenschaftlicher Mitarbeiter, der als Schreibberater der Fakultät tätig ist. Deren Aufgabe war es, die Lernziele (Tab. 1) möglichst gut einzuschätzen. Lernziel 0 galt hier ebenfalls als Positivkontrolle.

20 Kommentar schreiben zu Absatz 20 3 Da die Anwendung einer Fähigkeit im Vergleich zur relativ simplen Selbsteinschätzung zusätzliche Variation schafft, und um die Zuverlässigkeit der einzelnen Bewertungen zu erhöhen, formulierten wir für jedes Lernziel eine Reihe spezifischer Fragen (insgesamt 14, siehe Tab. 3 in den Ergebnissen), die von den Gutachter*innen mit Hilfe einer einfachen Rubric beantwortet wurden. Es gab in der Regel nur 2-3 Antwortmöglichkeiten, um Subjektivität zu minimieren. Vor Beginn der Bewertung wurden die Fragen und die Rubric an sechs Übungsversuchsprotokollen getestet und darauf optimiert, dass alle Gutachter*innen eine möglichst ähnliche Vorstellung der Fragen hatten. Die separaten Bewertungen der drei Gutachter*innen wurden für die weitere Analyse gemittelt.

21 Kommentar schreiben zu Absatz 21 0 Die Antworten auf die einzelnen Fragen wurden für jedes Lernziel summiert und auf die Skala der Umfrage übertragen; von 1 (trifft vollständig zu) bis 6 (trifft gar nicht zu). Dabei wählten wir einige der Fragen so, dass sie für verschiedene Lernziele eine Rolle spielten. Zum Beispiel war die Antwort auf die Frage „Werden Abbildungen/Tabellen im Text in Worten beschrieben?“ ebenso relevant dafür, zu beurteilen, ob eine Studentin die Funktion des Ergebnisteils verstanden hat („Funktionen“), als auch, ob sie in der Lage war, in der Diskussion ihre Daten zu erklären („Beantwortung der Frage“).

22 Kommentar schreiben zu Absatz 22 0 Auswertung

23 Kommentar schreiben zu Absatz 23 0 Für die Auswertung der Selbsteinschätzungen zu den jeweiligen Zeitpunkten nutzten wir alle Studierende, die einen Fragebogen ausgefüllt hatten. Für die Berechnung des Lernzuwachses jedoch nutzten wir ausschließlich Studierende, die mindestens zwei Fragebögen ausgefüllt haben (vgl. Tab. 2 im Ergebnisteil). Außerdem wurden sieben Studierende entfernt, deren SGIC nicht übereinstimmte und nicht aus dem Kontext hergeleitet werden konnte.

24 Kommentar schreiben zu Absatz 24 2 Die statistische Auswertung erfolgte mit der Software R (R Core Team, 2016). Um die Zuverlässigkeit der Bewertungen der Versuchsprotokolle zu bestimmen, berechneten wir den Intraclass Correlation Coefficient (ICC) (Gamer et al., 2019). Wir analysierten die Varianz mit Hilfe eines Linearen Modells und dem lme4-Paket, Befehl „lmer“ (Bates et al., 2015).

25 Kommentar schreiben zu Absatz 25 2 Die Berechnung des Lernzuwachses für die sechs Untersuchungslernziele folgt der Formel für „individual gain (%)“ aus Raupach et al. (2011). Wir berechneten für alle Studierenden individuell den Lernzuwachs, und zwar sowohl für die Selbsteinschätzung als auch für die Bewertung von Versuchsprotokollen. In beiden Fällen galt dieselbe Formel, jeweils bestehend aus einem zeitlich früheren Wert (prä) und einem späteren Wert (post), um die zeitliche Veränderung über den Semesterverlauf als Prozentsatz zwischen -100 % und + 100 % angeben zu können. Je nachdem, ob die Veränderung über diesen Zeitraum positiv oder negativ war, wurden verschiedene Formeln benutzt. Wenn prä − post < 0 , galt

26 Kommentar schreiben zu Absatz 26 0 Wenn prä − post > 0, galt

27 Kommentar schreiben zu Absatz 27 0 In dem Fall, dass es keine Veränderung in Selbsteinschätzung bzw. Bewertung gab, wurde der Lernzuwachs mit 0 kategorisiert.

28 Kommentar schreiben zu Absatz 28 0 Für die Darstellung der Selbsteinschätzung (Abb. 2) und der Bewertung der Versuchsprotokolle (Abb. 3, Tab. 3) im Ergebnisteil rechneten wir alle aufgenommenen Daten zur besseren Veranschaulichung in die Skala 0 (sehr schlecht) bis 1 (sehr gut) um. Damit entspricht die Skala besser der des berechneten Lernzuwachses (Abb. 4-6).


Ergebnisse und Diskussion

29 Kommentar schreiben zu Absatz 29 6 Im Wintersemester 2018/19 waren für die Praktika, in denen die Befragung stattfand, 333 Studierende eingeschrieben. Im Mittel über die drei Befragungszeitpunkte haben davon 147 Studierende die Umfragen ausgefüllt und 46 Studierende Versuchsprotokolle zur Analyse eingereicht. Entscheidend für die Auswertung ist jedoch die Anzahl der Studierenden, die wiederholt an der Studie teilnahmen. Dadurch ergibt sich eine Stichprobe von 64 Studierenden, die alle drei Umfragen ausgefüllt haben und 32 Studierenden, die beide Versuchsprotokolle eingereicht haben. Letztendlich waren es 22 Studierende, die sowohl alle Fragebögen ausgefüllt haben als auch beide Versuchsprotokolle eingereicht haben (Tab. 2).

30 Kommentar schreiben zu Absatz 30 1 Tab. 2: Anzahl Studierender, die an den einzelnen Teilaspekten der Studie (Teilnahme an Umfrage und Abgabe der einzelnen Versuchsprotokolle) teilgenommen haben.

31 Kommentar schreiben zu Absatz 31 0

32 Kommentar schreiben zu Absatz 32 0 Selbsteinschätzungen der Studierenden

33 Kommentar schreiben zu Absatz 33 0 Die Studierenden bewerteten sich grundsätzlich zum Zeitpunkt T1 (Beginn erstes Semester) schlechter als zu den darauffolgenden Zeitpunkten T2 und T3 (Ende von Semester 1 bzw. 2) (Abb. 2). Am besten bewerteten sie sich dabei, aus ihren Daten Diagramme erstellen zu können (Lernziel „Diagramme“). Nach zwei Semestern (Zeitpunkt T3) pendelte sich die Selbsteinschätzung bei allen Lernzielen bis auf „Abschnitte“ im Mittel über alle Studierenden auf Werte zwischen 0,6 und 0,7 ein (Abb. 2).

34 Kommentar schreiben zu Absatz 34 0 Bei der Kontrolle „Abschnitte“ erwarteten wir, dass annähernd alle Studierende zwischen Zeitpunkt T1 und T2 die Fähigkeit, alle vier Abschnitte eines Versuchsprotokolls zu benennen, erwerben sollten. Überraschenderweise schätzten sich Studierende im Mittel auch zu Zeitpunkten T2 und T3 noch schlechter ein, als wir erwartet hatten. 66 von 83 Studierenden gaben sich allerdings zum Zeitpunkt T3 die Höchstbewertung von 1.

35 Kommentar schreiben zu Absatz 35 4 Abb. 2: Mittlere Selbsteinschätzung von Studierenden zu den sieben Lernzielen (siehe Methoden), auf 1 normiert (1= sehr gut, 0=sehr schlecht) für die Zeitpunkte T1 bis T3. Fehlerbalken kennzeichnen Standardfehler des Mittelwertes, N(T1)=176, N(T2)=91, N(T3)=176.

36 Kommentar schreiben zu Absatz 36 0 Bewertungen der Versuchsprotokolle

37 Kommentar schreiben zu Absatz 37 2 Wir bewerteten die 22 Versuchsprotokolle der Studierenden, die neben der Abgabe ihrer beiden Versuchsprotokolle P1 und P2 außerdem alle drei Umfragen ausgefüllt hatten, plus zusätzlich 18 zufällig ausgewählte Versuchsprotokolle aus dem Zeitraum P1 (insgesamt 62 Versuchsprotokolle).

38 Kommentar schreiben zu Absatz 38 0 Zur Bewertung der Übereinstimmung zwischen den einzelnen Gutachter*innen nutzten wir den Intraclass Correlation Coefficient (ICC). Dieser gab eine Übereinstimmung zwischen den Gutachter*innen von 0,678 an (95-%-Konfidenzintervall: 0,649-0,707), was als moderat zuverlässig interpretiert werden sollte (Koo & Li, 2016). Dabei schwankt die Übereinstimmung je nach Frage. Die Fragen mit der größten Abweichung zwischen den drei Gutachten sind „Ist das Versuchsziel klar und verständlich?“; „Sind Abbildungen/Tabellen vollständig und korrekt beschriftet?“; „Werden die Daten der Abbildungen/Tabellen in der Diskussion aufgegriffen und interpretiert?“ (Tab. 3).

39 Kommentar schreiben zu Absatz 39 3 Tab. 3: Übereinstimmung der Gutachter*innen bei 14 inhaltlichen Fragestellungen in 62 Versuchsprotokollen. Angegeben sind die auf 1 normierten Mittelwerte pro Fragestellung (1= sehr gut, 0=sehr schlecht) sowie die Standardabweichung und der Intraclass Correlation Coefficient (ICC).

40 Kommentar schreiben zu Absatz 40 3 Im Gegensatz zu den deutlichen Unterschieden in den Selbsteinschätzungen zwischen Zeitpunkt T1 und T2, wurden bei den Bewertungen der Versuchsprotokolle im Mittel nur wenige Unterschiede zwischen erstem und zweiten Fachsemester gefunden (Abb. 3). Es gab minimale Veränderungen, jedoch sowohl in positiver als auch negativer Richtung. Eine Abnahme der Bewertung bedeutet, dass die Studierenden im Mittel bei einigen Lernzielen („Funktionen“, „Beantwortung der Frage“) im zweiten Semester mehr Schwierigkeiten hatten als im ersten.

41 Kommentar schreiben zu Absatz 41 2 Die Kontrolle „Abschnitte“, ein Lernziel mit 100%-iger Übereinstimmung unter den Gutachter*innen (vgl. Tab. 3), zeigte, dass beim Schreiben der Versuchsprotokolle fast alle Studierenden die richtigen Begriffe benutzten (Abb. 3), ein leichter Widerspruch zu den relativ vorsichtigen Selbsteinschätzungen dazu. Gerade mal fünf der 62 bewerteten Versuchsprotokolle aus beiden Fachsemestern wiesen kleine Fehler in der Benennung der Abschnitte auf. Nur 21 der 62 Versuchsprotokolle enthielten einen Abstract, was aber nicht überrascht, da ein Abstract zwar wünschenswert aber in den Richtlinien zum Schreiben im ersten Semester noch nicht als notwendig kommuniziert wurde.

42 Kommentar schreiben zu Absatz 42 2 Überraschend war, dass Abbildungen größtenteils korrekt und ausführlich beschriftet wurden („Diagramme“), sogar schon im ersten Semester, und dass auf diese Abbildungen in der Diskussion Bezug genommen wurde („Beantwortung der Frage“). Die größten Schwierigkeiten hatten Studierende beim Abschätzen, welche Auswirkungen Fehler auf die Ergebnisse hatten („Fehlerdiskussion“). Das Lernziel „Referenzen“ wurde aus unserer Sicht überraschend positiv bewertet, was aber in erster Linie darauf zurückzuführen war, dass wir die Anzahl der benutzten Quellen nicht berücksichtigten. In der Regel gaben Studierende ein paar wenige Quellen an, konnten diese aber in der Mehrzahl richtig in den Text integrieren (Abb. 3). In einem Drittel der Versuchsprotokolle tauchten bei den Referenzen auch schon einzelne gute, wissenschaftliche Primärquellen auf.

43 Kommentar schreiben zu Absatz 43 0

44 Kommentar schreiben zu Absatz 44 1 Abb. 3: Mittlere Bewertung der Versuchsprotokolle zu den sieben Lernzielen (siehe Methoden), auf 1 normiert (1= sehr gut, 0=sehr schlecht) für Zeitraum P1 (1. Semester, helle Säule, N=40) und Zeitraum P2 (2. Semester, dunkle Säule, N=22). Fehlerbalken kennzeichnen Standardfehler des Mittelwertes.

45 Kommentar schreiben zu Absatz 45 0 Lernzuwachs basierend auf Selbsteinschätzungen

46 Kommentar schreiben zu Absatz 46 0 Sowohl Selbsteinschätzungen als auch Bewertungen sind davon geprägt, dass sie subjektiv und abhängig von einer Vielzahl von Faktoren sind (Wachtel, 1998), die als unerklärte Varianz in die Messwerte einfließen. Der Lernzuwachs kann einen Teil dieser Varianz auffangen, indem nur die Veränderungen der Selbsteinschätzungen bzw. Bewertungen in Betracht gezogen werden (Raupach & Schiekirka, 2017).

47 Kommentar schreiben zu Absatz 47 0 Der Lernzuwachs war, wie Abbildung 2 bereits suggeriert, zwischen Zeitpunkt T1 und T2 (1. Fachsemester) deutlich größer als zwischen T2 und T3 (2. Fachsemester). Basierend auf den Selbsteinschätzungen lernten die Studierenden demnach in allen sechs Kriterien (plus der Kontrolle) über die ersten zwei Fachsemester dazu, allerdings in unterschiedlich starkem Maße (Abb. 4).

48 Kommentar schreiben zu Absatz 48 0 Der Lernzuwachs im zweiten Fachsemester war erheblich geringer als im ersten. Dies ist auf eine Schwierigkeit bei der Interpretation zurückzuführen, die in Abb. 4 gut deutlich wird: Wenn keine Veränderung im Lernzuwachs stattfindet, wirkt sich dies stark auf den Lernzuwachs der Stichprobe (in der Regel der Mittelwert des Kurses, „CSA gain“ in Raupach et al., 2011) aus. Das wie erwartet stärkste Lernziel „Abschnitte“ zeigt, dass die Verbesserung der befragten Studierenden (N=90) im Mittel 80 % betrug. Das bedeutet, dass von der noch möglichen Verbesserung nach Selbsteinschätzungen zum Zeitpunkt T1 80 % zum Zeitpunkt T2 erreicht wurden. Hätten sich alle Studierende zum Zeitpunkt T2 als perfekt eingeschätzt, wäre dieser Anstieg direkt bei 100 %, und zwar unabhängig davon, ob sich jemand zum Zeitpunkt T1 als 0 (sehr schlecht) oder 80 (gut) einschätzte. Was hier verloren geht ist die Information, dass 62 (von 90) Studierende sich zum Zeitpunkt T2 als perfekt einschätzten. Die geringe Verbesserung zwischen T2 und T3 kommt deshalb daher, dass nur noch 27 Studierende überhaupt eine Möglichkeit zur Verbesserung basierend auf den vorherigen Selbsteinschätzungen hatten. Dies zieht den Mittelwert zwangsläufig nach unten.

49 Kommentar schreiben zu Absatz 49 2 Abb. 4: Mittlerer Lernzuwachs (in %) für alle sieben Lernzielebasierend auf Selbsteinschätzungen (grüne Säulen) und den Bewertungen von Versuchsprotokollen (orange Säulen) bei sieben Lernzielkategorien (siehe Methoden). Untersuchte Zeiträume für die Selbsteinschätzungen waren T1-T2, T2-T3 sowie der gesamte Zeitraum der Studie (die ersten zwei Fachsemester, T1-T3), N(T1-T2)=90, N(T2-T3)=63, N(T1-T3)=81; Lernzuwachs bei den Versuchsprotokolle fand über den Zeitraum P1-P2 statt, N=22. Fehlerbalken kennzeichnen Standardfehler des Mittelwertes. Siehe Methoden für genauere Beschreibung der Zeiträume.

50 Kommentar schreiben zu Absatz 50 0 Ein weiterer Grund, warum der Lernzuwachs in der Regel zwischen T1 und T2 höher war als zwischen T2 und T3, ist, dass viele dieser Lernziele Fähigkeiten repräsentieren, die Studierende kaum aus der Schule kennen. Die Möglichkeit, in den ersten Wochen des Studiums viel zu lernen ist einfach deutlich größer als zu späteren Zeitpunkten, vor allem bezogen auf die von uns festgelegten Kriterien, die Lernziele der erste zwei Semester darstellen.

51 Kommentar schreiben zu Absatz 51 2 Am wenigsten Lernzuwachs erreichten die Studierenden nach eigenen Angaben bei der Formulierung von Versuchszielen, dem Erstellen von Diagrammen und dem Schreiben der Diskussion zur Beantwortung der Forschungsfrage. Interessanterweise war der Lernzuwachs beim Erstellen von Diagrammen im zweiten Fachsemester größer als im ersten (Abb. 4) – kein überraschendes Ergebnis, da ein wesentliches Lernziel vieler Kurstage im zweiten Semester die Erstellung von Diagrammen ist.

52 Kommentar schreiben zu Absatz 52 0 Vergleich des Lernzuwachses nach Selbsteinschätzung und Bewertung der Versuchsprotokolle

53 Kommentar schreiben zu Absatz 53 0 Lernzuwachs basierend auf Versuchsprotokollen und Lernzuwachs basierend auf Selbsteinschätzungen unterscheiden sich über den Erhebungszeitraum. Anders als bei dem Lernzuwachs auf Selbsteinschätzungen zwischen T1 und T3 zeigte sich bei den Versuchsprotokollen die stärkste Verbesserung beim Anfertigen und Beschriften von Diagrammen. Im Hinblick auf alle anderen Lernziele mit Ausnahme der Kontrolle verbesserten sich die Studierenden kaum oder verschlechterten sich sogar (Abb. 4, orange Säulen). Bei der Kontrolle war der Lernzuwachs auf Basis der Versuchsprotokolle zwar hoch, aber deutlich niedriger als bei der Selbsteinschätzung.

54 Kommentar schreiben zu Absatz 54 0 Es hat also den Anschein, dass der Lernzuwachs über den Studienzeitraum davon abhängt, ob man Selbsteinschätzungen (T1-T3) oder tatsächlich erbrachte Leistungen (die Versuchsprotokolle, P1-P2) als Grundlage nimmt. Der Schein trügt jedoch. Entscheidend bei dieser Frage ist nämlich, dass man vergleichbare Zeiträume untersucht. Bei einem Schreibauftrag kann man nicht wie bei Klausuren davon ausgehen, dass man einen Wissensstand zu einem definierten Zeitpunkt überprüft, denn der Schreibprozess selbst trägt erheblich dazu bei, dass Studierende lernen (Anderson et al., 2015). Dies trifft vor allem für unser Kontroll-Lernziel zu, da die Fähigkeit, alle Abschnitte zu kennen und richtig im Text zu nutzen, erst beim Schreiben des Textes (spätestens bei der letzten Kontrolle vor der Abgabe) erworben wird. Die überprüften Fähigkeiten zum Zeitpunkt P1 sollten demnach nicht das geringe Fachwissen von Studierenden zu Studienbeginn (T1) widerspiegeln, sondern viel näher an den abgefragten Fähigkeiten zum Ende des ersten Semesters (T2) sein. Um den Lernzuwachs beider Berechnungen zu vergleichen, müsste man demnach die Zeiträume T2-T3 und P1-P2 heranziehen.

55 Kommentar schreiben zu Absatz 55 0

56 Kommentar schreiben zu Absatz 56 0 Abb. 5: Vergleich des mittleren Lernzuwachses (in %) für die sechs untersuchten Lernziele basierend auf Selbsteinschätzungen zu Zeitpunkten T2-T3 (x-Achse) und Bewertung der Versuchsprotokolle (y-Achse) (N=22). Die Mittelwerte korrelieren mit r=0,86 (p=0,027). Die gestrichelte Linie stellt die zu erwartende Korrelation dar, wenn der Lernzuwachs von Selbsteinschätzungen und Versuchsprotokollen identisch wäre.

57 Kommentar schreiben zu Absatz 57 0 Schaut man sich nur die Studierenden an, die sich sowohl an den Umfragen T2-T3 beteiligt haben als auch alle Versuchsprotokolle verfasst und eingereicht haben, korreliert der Lernzuwachs von T2-T3 und P1-P2 im Kursmittel sehr stark (r=0,86, Abb. 5). Die Verschiebung der Regressionsgerade entlang der x-Achse besagt jedoch, dass der Lernzuwachs basierend auf Selbsteinschätzungen grundsätzlich größer ist als der aus den Bewertungen. Wir interpretieren dies so, dass wir bei den Bewertungen einiger Kriterien kritischer waren als die Studierende bei ihren Selbsteinschätzungen. Die kritischen Bewertungen ermöglichen anscheinend nicht den Raum für Verbesserungen, den die Selbsteinschätzungen liefern können.

58 Kommentar schreiben zu Absatz 58 0 Dennoch zeigt die starke Korrelation, dass bei den Berechnungen auf eine tatsächliche Entwicklung bezüglich der wissenschaftlichen Schreibkompetenzen geschlossen werden kann. Der berechnete Lernzuwachs gibt offenbar den Lernerfolg der Studierenden über den Zeitraum P1 zu T3 realistisch wieder. Auf Kursebene erscheint die Methode daher als effektives Maß für den Erfolg der Veranstaltung. Im direkten Vergleich der individuellen Bewertungen und Selbsteinschätzungen würde man eine ähnlich starke Korrelation erwarten, doch nur für zwei der sechs Untersuchungskriterien lässt sich ein deutlicher Zusammenhang finden (Abb. 6).

59 Kommentar schreiben zu Absatz 59 0 Abb. 6: Vergleich des individuellen Lernzuwachses (in %) für jedes der sechs untersuchten Lernziele basierend auf Selbsteinschätzungen zu Zeitpunkten T2-T3 (x-Achse) und Bewertung der Versuchsprotokolle (y-Achse) (N=22). Die Mittelwerte korrelieren für „Funktion“ mit r=0,59 (p<0,01) und für „Referenzen“ mit r=0,61 (p<0,01); alle weiteren Lernziele zeigen keine signifikanten Korrelationen (p>0,05).

60 Kommentar schreiben zu Absatz 60 0 Dies bedeutet vor allem, dass es auf mindestens einer der beiden Achsen starke Abweichungen gibt. Varianz ist primär in den Daten der Versuchsprotokollbewertung zu erwarten, da Rubrics wie unsere zwar helfen, die Bewertung zu standardisieren, Unterschiede in der Einschätzung aber dennoch eine Rolle spielen. Nimmt man typische Faktoren wie die unterschiedlichen Themen, zu denen in dieser Studie geschrieben wurde, oder die unterschiedlichen Zeitpunkte heraus, bleibt immer noch ein beträchtlicher Anteil an unerklärter Varianz übrig (76 %, Tab 4).

61 Kommentar schreiben zu Absatz 61 0 Tab. 4: Varianzverteilung auf die einzelnen Faktoren bei der Bewertung der Versuchsprotokolle. Zugrunde liegt ein lineares, gemischtes Modell, in dem die Bewertung durch Gutachter*innen abhängt von a) dem jeweiligen zu begutachtenden Lernziel (Fester Effekt) und b) den Individuen, c) dem zu bearbeitenden Thema und d) dem Zeitpunkt, zu dem das Versuchsprotokoll angefertigt wurde, d.h. im ersten oder zweiten Semester (Zufallseffekte).

62 Kommentar schreiben zu Absatz 62 0


Allgemeine Diskussion

63 Kommentar schreiben zu Absatz 63 3 Unsere Daten zeigen, dass die Methode des Lernzuwachses grundsätzlich einen guten Hinweis darauf gibt, ob Studierende über einen definierten Zeitraum etwas dazulernen oder nicht. Auf Kursebene korrelieren Selbsteinschätzungen und Bewertungen der Versuchsprotokolle, so dass der Lernzuwachs als Maß für den Erfolg eines Kurses ein wertvolles Werkzeug der Evaluation sein kann. Dies deckt sich mit Erfahrungen aus dem Medizinstudium, in denen objektive Maße und Selbsteinschätzungen auf Kursebene ähnlich stark korrelierten (Schiekirka et al., 2013).

64 Kommentar schreiben zu Absatz 64 2 Ebenfalls hilft der Lernzuwachs, Diskussionen vom Kursablauf, den Rahmenbedingungen und den Dozierenden weg und auf Lernziele und Lernerfolg zu lenken. Abb. 5 zeigt, dass Studierende im Anfertigen von Diagrammen in den Basismodulen relativ starke Fortschritte gemacht haben, während das Formulieren von Versuchszielen in der kleinen Stichprobe eher schlechter wurde. Tatsächlich waren beide Aspekte Schwerpunkte Lernziele des Basismoduls 2 im Sommersemester. Man könnte daraus schließen, dass die Studierenden eines der beiden Lernziele besser erreichten als das andere. Was verursacht diese Unterschiede? Wie stehen diese beiden Lernziele im Zusammenhang zu dem, was im ersten Semester thematisiert wurde? Welche anderen Aspekte haben geholfen oder waren hinderlich dabei, das eine Lernziel stärker zu erreichen als das andere? Dies sind die Fragen, die man nach einer Kursevaluation stellen sollte, die jedoch ohne eine Kenntnis des Lernzuwachses kaum möglich sind.

65 Kommentar schreiben zu Absatz 65 0 Was die Methode offensichtlich nicht leisten kann, ist den Lernerfolg von Individuen realistisch abzubilden (Lam, 2009; Schiekirka et al., 2013). Wie bei Klausuren, Evaluationen oder Selbsteinschätzungen spielen zu viele Variablen in die Ergebnisse, als dass ein individuelles Ergebnis ein realistisches Bild der Person wiedergeben könnte.

66 Kommentar schreiben zu Absatz 66 0 Es ist wichtig, sich bei der Interpretation der Ergebnisse klar zu machen, dass die Veränderung in der Selbsteinschätzung keinen Hinweis darauf gibt, wie gut die Studierenden tatsächlich bei einem Lernziel sind (Caspersen et al., 2017). Es kann schnell passieren, dass man einen Lernzuwachs von 10 % so interpretiert, dass ein Kurslernziel nicht erreicht wurde. In manchen Fällen mag das auch stimmen, doch im Fall dieser Studie (s. Abb. 4) ist der erwartet geringe Lernzuwachs für „Abschnitte“ in T2-T3 lediglich darauf zurückzuführen, dass die Studierende im ersten Semester bereits sehr viel dazugelernt haben (80 %). Genauso verhält es sich mit dem relativ geringen Lernzuwachs auf Basis der Versuchsprotokolle: Beim Schreiben des ersten (P1) haben Studierende die Abschnitte bereits erlernt, so dass sie sich beim zweiten (P2) nur geringfügig verbessern konnten. Mit Kenntnis des curricularen Kontexts eines jeden Lernziels lässt sich der Lernzuwachs wesentlich besser interpretieren.

67 Kommentar schreiben zu Absatz 67 1 Der Lernzuwachs ist daher in erster Linie als eine Evaluation des Lernerfolgs einer Kohorte über einen definierten Zeitraum zu sehen. Dieser kann einen indirekten Zusammenhang zur Effektivität einer Veranstaltung liefern und hilfreiche Ansätze dafür liefern, in welche Richtung zukünftige Entwicklungen von Veranstaltungen oder Curricula gehen sollten (Evans et al., 2018). Dabei müssen eigentlich dieselben Lernziele wiederholt für verschiedene Kohorten gemessen werden. Abweichungen für einzelne Lernziele von einem Wintersemester zum nächsten können dann, wie Raupach & Schiekirka (2017) argumentieren, auf Veränderungen in der Lehre zurückzuführen sein und Stärken oder Schwächen in diesen Veranstaltungen offenbaren. Unsere weiteren Ziele sind, den Lernzuwachs aus der Biologie mit denen anderer Disziplinen zu vergleichen (derzeit laufen Studien in der Physik und der Psychologie) und die Veränderungen im Lernzuwachs über die Zeit zu verfolgen. Es wäre zudem interessant, herauszufinden, welche Rolle die Stichprobengröße dabei spielt, ob Korrelationen auch auf der Ebene einzelner Studierenden zu finden sind.

68 Kommentar schreiben zu Absatz 68 0 Solange uns die Grenzen eines Wertes wie dem Lernzuwachs bewusst sind, betrachten wir ihn als ein weiteres hilfreiches Mittel in der Lehre. In den Naturwissenschaften ist er als eine Möglichkeit, Veränderungen im Lernen zu messen, ein verbreiteter Bestandteil der Lehre (Smith & Tanner, 2010; Nissen et al., 2018). Inwieweit nun Selbsteinschätzungen dazu Beiträge leisten können, bleibt mit bislang zu wenigen Untersuchungen eine offene Frage, insbesondere für komplexe Kompetenzen wie wissenschaftliches Schreiben. Wie bei jeder Form der Evaluation kann auch der Lernzuwachs, vorausgesetzt er basiert auf klar formulierten Kriterien, nur Ausschnitte liefern. Doch mit seinem lernziel- und fortschrittsorientierten Blick sind diese Ausschnitte aus unserer Sicht eine Bereicherung für lernzielorientierte Evaluationen, die nötige Diskussionen lostreten und konkrete Ansatzpunkte für die Weiterentwicklung von Lehrveranstaltungen liefern können.


Literaturverzeichnis

69 Kommentar schreiben zu Absatz 69 0 Anderson, P., Gonyea, R.M., Anson, C.M., Paine, C. & Students, F. 2015. The Contributions of Writing to Learning and Development: Results from a Large-Scale Multi-institutional Study. Res. Teach. English 50: 199–235.

70 Kommentar schreiben zu Absatz 70 0 Anson, C.M. & Dannels, D.P. 2002. Developing Rubrics for Instruction and Evaluation. In: Strategies for Teaching First-Year Composition (D. Roen, V. Pantoja, L. Yena, S. K. Miller, & E. Wagonner, eds), pp. 387–401. National Council of Teachers of English, Urbana, Ill.

71 Kommentar schreiben zu Absatz 71 0 Bao, L., Cai, T., Koenig, K., Fang, K., Han, J., Wang, J., et al. 2009. Physics: Learning and Scientific Reasoning. Science (80-. ). 323: 586–587.

72 Kommentar schreiben zu Absatz 72 0 Bates, D., Maechler, M., Bolker, B. & Walker, S. 2015. Fitting Linear Mixed-Effects Models Using lme4. J. Stat. Softw. 67: 1–48.

73 Kommentar schreiben zu Absatz 73 0 Cargill, M. & O’Connor, P. 2013. Writing Scientific Research Articles. Wiley-Blackwell, Oxford.

74 Kommentar schreiben zu Absatz 74 0 Carpenter, S.K., Wilford, M.M., Kornell, N. & Mullaney, K.M. 2013. Appearances Can Be Deceiving: Instructor Fluency Increases Perceptions of Learning Without Increasing Actual Learning. Psychon. Bull. Rev. 20: 1350–1356.

75 Kommentar schreiben zu Absatz 75 0 Caspersen, J., Smeby, J.C. & Olaf Aamodt, P. 2017. Measuring Learning Outcomes. Eur. J. Educ. 52: 20–30.

76 Kommentar schreiben zu Absatz 76 0 Clayson, D.E. 2009. Student Evaluations of Teaching: Are They Related to What Students Learn?: A Meta-analysis and Review of the Literature. J. Mark. Educ. 31: 16–30.

77 Kommentar schreiben zu Absatz 77 0 Cohen, J. 1977. Statistical Power Analysis for the Behavioral Sciences. Lawrence Erlbaum Associates, Inc.

78 Kommentar schreiben zu Absatz 78 0 Coil, D., Wenderoth, M.P., Cunningham, M. & Dirks, C. 2010. Teaching the Process of Science: Faculty Perceptions and an Effective Methodology. CBE–Life Sci. Educ. 9: 524–535.

79 Kommentar schreiben zu Absatz 79 0 Cordes, N. 2016. Schreiben im Biologiestudium. Verlag Barbara Budrich/utb, Opladen/Toronto.

80 Kommentar schreiben zu Absatz 80 0 Deslauriers, L., McCarty, L.S., Miller, K., Callaghan, K. & Kestin, G. 2019. Measuring Actual Learning Versus Feeling of Learning in Response to Being Actively Engaged in the Classroom. Proc. Natl. Acad. Sci. 116: 19251–19257.

81 Kommentar schreiben zu Absatz 81 0 Doran, G.T. 1981. There’s a S.M.A.R.T Way to Write Management’s Goals and Objectives. Manage. Rev. 70: 36–36.

82 Kommentar schreiben zu Absatz 82 0 Evans, C., Howson, C.K. & Forsythe, A. 2018. Making Sense of Learning Gain in Higher Education. High. Educ. Pedagog. 3: 1–45. Routledge.

83 Kommentar schreiben zu Absatz 83 0 Gamer, M., Lemon, J., Fellows, I. & Singh, P. 2019. irr: Various Coefficients of Interrater Reliability and Agreement. R package v. 0.84.1. http://www.r-project.org.

84 Kommentar schreiben zu Absatz 84 0 Griffin, B.W. 2001. Instructor Reputation and Student Ratings of Instruction. Contemp. Educ. Psychol. 26: 534–552.

85 Kommentar schreiben zu Absatz 85 0 Hake, R.R. 1998. Interactive-engagement Versus Traditional Methods: A Six-thousand-student Survey of Mechanics Test Data for Introductory Physics Courses. Am. J. Phys. 66: 64–74.

86 Kommentar schreiben zu Absatz 86 0 Koo, T.K. & Li, M.Y. 2016. A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. J. Chiropr. Med. 15: 155–163.

87 Kommentar schreiben zu Absatz 87 0 Kruger, J. & Dunning, D. 1999. Unskilled and Unaware of it: How Difficulties in Recognizing One’s Own Incompetence Lead to Inflated Self-assessments. J. Pers. Soc. Psychol. 77: 1121–1134.

88 Kommentar schreiben zu Absatz 88 0 Lam, T.C.M. 2009. Do Self-Assessments Work to Detect Workshop Success. Am. J. Eval. 30: 93–105.

89 Kommentar schreiben zu Absatz 89 0 Lauer, T. & Hendrix, J. 2009. A Model for Quantifying Student Learning via Repeated Writing Assignments and Discussions. Int. J. Teach. Learn. High. Educ. 20: 425–433.

90 Kommentar schreiben zu Absatz 90 0 Lerner, N. 2007. Laboratory Lessons for Writing and Science. Writ. Commun. 24: 191–222.

91 Kommentar schreiben zu Absatz 91 0 Mager, R.F. 1984. Developing Attitude Toward Learning. The Center for Effective Performance, Atlanta.

92 Kommentar schreiben zu Absatz 92 0 Marx, J.D. & Cummings, K. 2007. Normalized Change. Am. J. Phys. 75: 87–91.

93 Kommentar schreiben zu Absatz 93 0 Nissen, J.M., Talbot, R.M., Thompson, A.N. & Dusen, B. Van. 2018. Comparison of Normalized Gain and Cohen’s d for Analyzing Gains on Concept Inventories. Phys. Rev. Spec. Top. – Phys. Educ. Res. 14: 1–12.

94 Kommentar schreiben zu Absatz 94 0 R Core Team. 2016. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing. http://www.R-project.org., Vienna, Austria.

95 Kommentar schreiben zu Absatz 95 0 Raupach, T., Münscher, C., Beißbarth, T., Burckhardt, G. & Pukrop, T. 2011. Towards Outcome-based Programme Evaluation : Using Student Comparative Self-assessments to Determine Teaching Effectiveness. Med. Teach. 33: e446–e453.

96 Kommentar schreiben zu Absatz 96 0 Raupach, T. & Schiekirka, S. 2017. Handreichung zur Lernerfolgsevaluation. Electric Paper Evaluationssysteme GmbH.

97 Kommentar schreiben zu Absatz 97 0 Rosenthal, L.C. 1987. Writing Across the Curriculum: Chemistry Lab Reports. J. Chem. Educ. 64: 996–998.

98 Kommentar schreiben zu Absatz 98 0 Savinainen, A. & Scott, P. 2002. The Force Concept Inventory: A Tool for Monitoring Student Learning. Phys. Educ. 37: 45–52.

99 Kommentar schreiben zu Absatz 99 0 Schiekirka, S., Reinhardt, D., Bei, T., Anders, S., Pukrop, T. & Raupach, T. 2013. Estimating Learning Outcomes From Pre- and Posttest Student Self-Assessments: A Longitudinal Study. Acad. Med. 88: 369–375.

100 Kommentar schreiben zu Absatz 100 0 Smith, J.I. & Tanner, K. 2010. Approaches to Biology Teaching and Learning The Problem of Revealing How Students Think: Concept Inventories and Beyond. CBE–Life Sci. Educ. 9: 1–5.

101 Kommentar schreiben zu Absatz 101 0 Timmerman, B.E., Strickland, D.C., Johnson, R.L. & Paynec, J.R. 2011. Development of a “Universal” Rubric for Assessing Undergraduates’ Scientific Reasoning Skills Using Scientific Writing. Assess. Eval. High. Educ. 36: 509–547.

102 Kommentar schreiben zu Absatz 102 0 Uttl, B., White, C.A. & Gonzalez, D.W. 2017. Meta-analysis of Faculty’s Teaching Effectiveness: Student Evaluation of Teaching Ratings and Student Learning are not Related. Stud. Educ. Eval. 54: 22–42. Elsevier Ltd.

103 Kommentar schreiben zu Absatz 103 0 Von Korff, J., Archibeque, B., Gomez, K.A., Heckendorf, T., McKagan, S.B., Sayre, E.C., et al. 2016. Secondary Analysis of Teaching Methods in Introductory Physics: A 50 k-student Study. Am. J. Phys. 84: 969–974.

104 Kommentar schreiben zu Absatz 104 0 Wachtel, H.K. 1998. Student Evaluation of College Teaching Effectiveness: A Brief Review. Assess. Eval. High. Educ.23: 191–212.

Quelle:https://schreibenlehren.de/literale-kompetenzen-in-empirischen-disziplinen-erprobung-einer-methode-zur-messung-des-lernzuwachses-in-schreibintensiven-praktika-der-biologie/