Einführung
 
  Evaluationsprozess
 
  Evaluationskriterien
 
Evaluationsmethoden
 
     
 

Evaluationsmethoden

Welche Methoden kann man einsetzen, um bei einer Evaluation an die gewünschten Informationen zu kommen? Bestimmte Punkte können von den EntwicklerInnen selbst gut beurteilt werden (z.B. Integrierbarkeit in ein bestehendes Lernsetting), andere können nur durch Fremdevaluation (ExpertInnen und Personen aus der Zielgruppe) untersucht werden.
Bei der Fremdevaluation muss man den zu befragenden Personen Zugang zum zu evaluierenden E-Learning-Angebot verschaffen. Ihnen muss unbedingt erklärt werden, dass Kritik sehr erwünscht und dringend notwendig ist, um durch die Evaluation eine qualitative Verbesserung zu erreichen.
Es ist sinnvoll, zuerst InhaltsexpertInnen zu befragen, die sich mit dem Thema (inklusive Fachdidaktik) des E-Learning-Angebots auskennen. Dadurch können inhaltlich-fachliche Fehler gefunden werden und die didaktische Aufbereitung kann überprüft werden. Danach ist die Zielgruppe (die potentiellen Lernenden) an der Reihe: sie können Auskünfte über inhaltliche Verständlichkeit, Usability etc. geben und in Tests demonstrieren, ob Lernerfolge, Wissenszuwächse etc. aufgetreten sind.
Folgende Methoden können eingesetzt werden:

  • Fragebögen: für Analysen, bei denen von vielen Personen anonym viel Information erfragt werden soll.
  • Standardisierte Interviews: für die Befragung von einzelnen Personen und wenn eine persönliche Atmosphäre wichtig ist.
  • Beobachtung: wenn den Befragten die relevanten Informationen nicht bewusst sind oder wenn zu erwarten ist, dass bei Befragungen Falschinformationen gegeben werden.
  • Leistungstests: zum Testen von Lernerfolgen oder Wissenszuwachs.

Bei Usability-Tests ist es auch sinnvoll, nicht beobachtbare Denkprozesse durch folgende Methoden zu erforschen:

  • Methode des lauten Denkens: Die Testpersonen verbalisieren während des Usability-Tests all ihre Handlungen und Gedanken und der Versuchsleiter oder die Versuchsleiterin fertigt ein Protokoll dieser ausgesprochenen Gedanken an.
  • Blickbewegungsaufzeichnung (Eye Tracking): Mit einer speziellen technischen Ausstattung wird festgestellt, welche Elemente auf dem Bildschirm von einer Versuchsperson wann, wie lange und in welcher Reihenfolge fokussiert werden.
 

Praxistipp zu Evaluationsmethoden

Strukturierte Interviews und die Methode des lauten Denkens bringen in der Praxis oft die meisten Verbesserungsvorschläge. Die beteiligten Personen können dann einfach erzählen, was ihnen besonders positiv oder negativ aufgefallen ist und müssen nichts extra aufschreiben. Problematisch wird es, wenn InterviewerInnen die befragte Person gut kennen. Dann kann es vorkommen, dass die Befragten sich nicht trauen, Kritik am Produkt zu üben. In diesem Fall sind anonyme Fragebögen vorzuziehen.

 
 
Weiterlesen...

Kapitel 20, 21 aus:
Niegemann, H.M., Hessel, S., Hochscheid-Mauel, D., Aslanski, K., Deimann, M. & Kreuzberger, G. (2004) Kompendium E-Learning. Berlin, Heidelberg: Springer.

Kapitel 19 aus:
Smith, P.L. & Ragan, T.J. (1999) Instructional Design (2. Aufl.). New York: Wiley.

Klassischer Artikel zur Evaluation von Trainingsmaßnahmen im Unternehmen:
Kirkpatrick, D.L. (1978) Evaluating In-House Training Programs. Training and Development Journal, September 1978, S. 6-9.