Die Auswertung festlegen

Im Tab Auswertung festlegen können Sie Variablen erstellen und verwalten. Diese Variablen dienen zur Auswertung des Tests und berechnen, je nach gewählter Berechnungsmethode unterschiedliche Kennwerte auf Basis der Eingaben der Testperson.

Jede Variable benötigt eine Abkürzung (Kurzbezeichnung), die als Referenz beim Einrichten der Ergebnisberichtselemente angezeigt wird, sowie einen vollständigen Namen (Beschreibung), der dann im Ergebnisbericht erscheint.

Auf der rechten Seite Ihrer Variable sehen Sie einen Kopieren-Button (dargestellt durch zwei einander überlappende Seiten), einen Einstellungen-Button (dargestellt durch ein Zahnrad) und einen Löschen-Button (symbolisiert durch einen Papierkorb).

Nachdem Sie eine Variable erstellt haben, müssen Sie festlegen, wie jede Variable berechnet wird (Berechnungsmethode), den Subtest (siehe: Einen Test gestalten) angeben, für den die Variable berechnet werden soll (Subtest), und angeben, welche Fragen des Subtests zur Bewertung beitragen (Einstellungen-Button). Standardmäßig gehen alle Fragen eines Subtests in die Auswertung ein, was durch die Angabe Alle Seiten auf der rechten Seite angezeigt wird. Sofern nur ein Subtest verwendet wird, wird dieser standardmäßig zur Berechnung verwendet und es muss kein Subtest für die Berechnung ausgewählt werden.

Dieser Leitfaden erläutert zunächst die verfügbaren Berechnungsmethoden, beschreibt anschließend die Erstellung von Skalen und gibt schließlich eine Reihe von Beispielen, wie unterschiedliche Bewertungen für gängige Arten von Fragebögen und Tests eingerichtet werden können.

Berechnungsmethoden

Es stehen verschiedene Berechnungsmethoden zur Verfügung. Diese sind:

• Anzahl richtig beantworteter Seiten

• Bearbeitungszeit

• Anzahl beantworteter Seiten

• Anzahl richtiger Antworten (in %)

• Gewichtete Summe

• Mittelwert

Anzahl richtig beantworteter Seiten

Diese Methode berechnet die Anzahl an Seiten, bei denen die Testperson alle richtigen Antwortoptionen ausgewählt hat. Wenn mehrere Antwortoptionen für eine Frage korrekt sind, müssen von der Testperson alle ausgewählt werden, um als richtig zu zählen. Wenn eine Frage so eingestellt ist, dass sie keine richtigen/falschen Antworten hat, kann sie mit dieser Berechnungsmethode nicht ausgewertet werden. Die Auswertung erfolgt dabei anhand jener Seiten, die zur Auswertung über den Einstellungen-Button ausgewählt wurden (standardmäßig über alle Seiten eines Subtests).

Bearbeitungszeit

Diese Methode berechnet die Gesamtzeit, die der Teilnehmer benötigt hat, um die auf der Einstellungsseite ausgewählten Seiten zu beantworten.

Anzahl beantworteter Seiten

Diese Methode gibt aus, wie viele der ausgewählten Fragen bzw. Seiten tatsächlich vom Teilnehmer beantwortet wurden. Wenn ein Teilnehmer eine Frage überspringt, indem er auf die Schaltfläche 'Weiter' klickt, ohne eine Antwort einzugeben, wird diese Frage als übersprungen gezählt und erhöht den Wert nicht.

Anzahl richtiger Antworten (in %)

Diese Methode berechnet den Prozentsatz der ausgewählten Fragen, bei denen der Teilnehmer alle korrekten Antwortoptionen gewählt hat. Wenn eine Frage so eingestellt ist, dass sie keine richtigen/falschen Antworten hat, kann sie hier nicht mitberücksichtigt werden.

Gewichtete Summe

Diese Methode ermöglicht es Ihnen, jeder Antwortoption auf einer Single-/Multiple-Choice oder einer Matrixeingabe Seite eine spezifische Zahl, d. h. ein Gewicht zuzuweisen. Die Variable wird berechnet, indem die Gewichte der ausgewählten Antworten auf den relevanten Seiten summiert werden. Mögliche Anwendungsfälle umfassen zum Beispiel:

Teilpunkte: Sie können zum Beispiel jeder richtigen Antwortmöglichkeit einen Punkt (= Gewichtung 1) und den falschen Antworten null Punkte (= Gewichtung 0) zuweisen (siehe Screenshot unterhalb). Diese Methode gibt einen besseren Einblick in die Leistung des Teilnehmers, auch wenn er nicht alle richtigen Antworten für eine Frage auswählt (z. B. 2 von 3 richtigen Antworten).

Bei der Berechnung von Teilpunkten kann es der Übersicht halber erforderlich werden, für jede Frage, die so ausgewertet werden soll, eine eigene Variable zu erstellen.

Ratingsskalen: Zur Auswertung von Ratingskalen können Gewichte verwendet werden. Diese können den unterschiedlichen Grad der Zustimmung oder subjektiven Wichtigkeit der verschiedenen Antwortmöglichkeiten angeben, z. B. 0 für „trifft gar nicht zu“ und 4 für „trifft vollkommen zu“ mit verschiedenen Abstufungen dazwischen (siehe Screenshot unterhalb).

Mittelwert

Diese Methode berechnet anhand der Gewichte der Antwortoptionen einen Mittelwert. Dafür wird die Summe der Gewichte der gewählten Antwortoptionen durch die Anzahl der gewählten Antwortoptionen dividiert. Die Gewichte werden dabei wie bei der Berechnungsmethode gewichtete Summe beschrieben gesetzt (siehe Die Auswertung festlegen | Gewichtete Summe). Mögliche Anwendungsfälle umfassen zum Beispiel:

Skalenmittelwerte: Sie verwenden Ratingskalen (z. B. mit Antwortoptionen von „trifft gar nicht zu“ bis „trifft zu“, wobei jeder Antwortoption ein Gewicht (z. B. 0 für „trifft gar nicht zu“) zugewiesen ist. Wählt eine Person z. B. über drei Seiten hinweg Antworten mit den Gewichten 1, 1 und 3 so kann anhand der Berechnungsmethode der Mittelwert über diese drei Seiten gebildet werden (Mittelwert = (1+1+3) / 3 = 1.67).

Skalen

Standardmäßig sind alle Testseiten innerhalb eines Subtests in die Variablenberechnung einbezogen. Wenn nur manche der Fragen bzw. Testseiten für die Berechnung einer Variable relevant sind, können Sie diejenigen, die nicht relevant sind, in den Einstellungen der Variable abwählen. Für eine bessere Übersicht empfehlen wir, Ihre Testseiten im Tab Test gestalten in dem Feld Seitenbezeichnung zu benennen. Ein Beispiel dafür findet sich im Screenshot unterhalb.

Im Beispiel oberhalb sind zwei Testseiten vorhanden (Seite 1/3 ist eine Instruktionsseite und wird daher nicht bei den Variableneinstellungen angezeigt). Für die Variable, die „Zielstrebigkeit“ erfasst, wurde nur die Seite 2 zur Auswertung ausgewählt, die auch den entsprechenden Inhalt hat.

Durch die Auswahl der Option Ausgewählte Seiten sind bei der Konfiguration der Tests als Skala auswählbar am unteren Rand der Variableneinstellungen wird die Skala bei der Konfiguration der Testvorgabe im VTS auswählbar. Diese Option ermöglicht es, z. B. nur bestimmte Fragen bzw. Testseiten vorzugeben. Im Beispiel oben könnte im Testablauf z. B. nur die Frage zur „Zielstrebigkeit“ vorgegeben werden, aber die Frage zur „Aktivität“ nicht.

Auswertungsbeispiele

Korrekte / Inkorrekte Antworten: Wissenstest Vorlage

Unsere Wissenstest-Testvorlage umfasst 10 Seiten: 6 Textseiten, 1 Beispielaufgabe und 3 Testaufgaben. Die Aufgaben haben jeweils eine richtige Antwort. In diesem Beispiel zur Auswertung haben wir zwei Variablen erstellt. Die Variable „WT“ misst die Zeit, die der Teilnehmer benötigt, um alle drei Testseiten zu bearbeiten, indem die Berechnungsmethode Bearbeitungszeit auf alle Seiten angewendet wird. Die Variable „CORR“ gibt an, wie viele der drei Fragen in der Testphase richtig beantwortet wurden, indem die Berechnungsmethode Anzahl richtig beantworteter Seiten auf alle Seiten angewendet wird. Dies ist im Screenshot unterhalb dargestellt:

Persönlichkeitsfragebogen mit dichotomen Antwortformat

Sie haben einen Test mit 12 Single-Choice Seiten erstellt, die vier Persönlichkeitseigenschaften (z. B.: „Geselligkeit“, „Kreativität“, „Selbstständigkeit“ und „Gewissenhaftigkeit“) durch die Selbsteinschätzung der Testperson erfassen sollen. Jede Seite besteht aus einer Aussage und der Möglichkeit, ihr zuzustimmen oder nicht zuzustimmen. Jede Frage ist auf Keine richtigen/falschen Antworten und Single-Choice eingestellt. In diesem Beispiel wird jede Persönlichkeitseigenschaft durch drei Fragen erfasst (in einem echten Test wären eventuell mehr Fragen nötig, um eine ausreichende Messgenauigkeit sicherzustellen).

Zur Auswertung erstellen Sie für jede der vier Skalen (den erfassten Eigenschaften) eine Variable und wählen als Berechnungsmethode Gewichtete Summe. Über die Variableneinstellung geben Sie 0 als Gewichtung für „stimme nicht zu“ und 1 als Gewichtung für „stimme zu“ ein und drücken auf „Anwenden“.

Anschließend heben Sie im Einstellungen-Fenster für jede Variable die Auswahl aller Seiten auf und wählen nur jene Seiten aus, die für Ihre Skalenvariable relevant sind, z. B. nur die 3 Seiten, die für die Gewissenhaftigkeit relevant sind.

Optional ist es möglich, die Skalen auswählbar zu machen (Checkbox Ausgewählte Seiten sind bei der Konfiguration der Tests als Skala auswählbar) um ggf. die Testvorgabe nach Bedarf anzupassen (z. B. nur die Fragen zur „Gewissenhaftigkeit“ und „Selbstständigkeit“ vorzugeben).

Für Fragen, bei denen die Polarität umgekehrt ist (z. B. „Ich bevorzuge es, allein zu sein“ für „Geselligkeit“), müssen Sie die Gewichtung manuell ändern (Stimme zu → 0; Stimme nicht zu → 1). Zur besseren Übersicht bei der Gewichtung der einzelnen Fragen empfiehlt es sich, die Seiten eindeutig zu kennzeichnen z. B. ein - für negativ gewichtet bei der Seitenbezeichnung zu verwenden.

Persönlichkeitsfragebogen mit Likert-Skala

Sie haben einen Test mit 12 Single-Choice Seiten erstellt, die vier Persönlichkeitseigenschaften (z. B.: „Geselligkeit“, „Kreativität“, „Selbstständigkeit“ und „Gewissenhaftigkeit“) durch die Selbsteinschätzung der Testperson erfassen sollen.  Auf jeder Testseite wird eine Eigenschaft (z. B. „Ich lerne gerne neue Leute kennen“) beschrieben und die Testperson soll sich selbst auf einer Skala von „Trifft überhaupt nicht zu“ bis „Trifft vollkommen zu“ einschätzen. Jede Frage ist auf Keine richtigen/falschen Antworten und Single-Choice eingestellt.

Sie legen für jede der vier erfassten Persönlichkeitseigenschaften eine Variable an und wählen als Berechnungsmethode „Gewichtete Summe“. Über die Variableneinstellung geben Sie z. B. 0 als Gewicht für „Trifft überhaupt nicht zu“ bis 5 für „Trifft vollkommen zu“ ein und drücken auf Anwenden. Anschließend heben Sie die Auswahl aller Seiten auf und wählen nur jene Seiten aus, die für Ihre Skalenvariable relevant sind (z. B. nur die Seiten, die für „Gewissenhaftigkeit“ relevant sind). Ein Beispiel ist im Screenshot unterhalb zu sehen. Wie oben beschrieben, ist es auch hier optional möglich, die Skalen bei der Konfiguration auswählbar zu machen.

Für Fragen, bei denen die Polarität umgekehrt ist (z. B. „Ich bevorzuge es, allein zu sein“ für Geselligkeit), müssen Sie diese manuell entsprechend anpassen, z. B. für „Trifft vollkommen zu“ → 0, „Trifft eher zu“ → 1, „Teils / Teils“ → 2, „Trifft eher nicht zu“ → 3; „Trifft nicht zu“ → 4. Ein Beispiel dafür ist im Screenshot unterhalb.

Ratingskala auf Basis der Matrixeingabe

Sie haben einen Test auf Basis des Seitentyps Matrixeingabe erstellt. Auf jeder Seite gibt es 4 Aussagen zur eigenen Persönlichkeit (wobei jede eine andere Eigenschaft erfasst) und 5 Antwortmöglichkeiten von 1 (Trifft nicht zu) bis 5 (Trifft sehr zu), siehe das Beispiel im Screenshot unten.

Sie legen für jede der vier erfassten Eigenschaften eine Variable an und wählen als Berechnungsmethode Gewichtete Summe. Über die Variableneinstellung geben Sie 1 als Gewicht für 1, 2 für 2 und so weiter bis 5 für 5 ein und drücken auf Anwenden.

Anschließend heben Sie die Auswahl aller Seiten auf und wählen nur die Antworten (nicht die ganzen Seiten) aus, die für Ihre Skalenvariable relevant sind (z. B. „Ich treffe gerne neue Leute“ auf Seite 1 und „Ich komme schnell mit andern ins Gespräch“ auf Seite 3 für Geselligkeit).

Bitte beachten Sie, dass bei Seiten mit Matrixeingabe die Gewichte für jede Frage auf der Seite immer gleich sind. Für die Auswertung können Sie daher die Gewichtung nicht für einzelne Fragen (z. B. einzelne negativ gepolte Fragen) individuell anpassen. Daher empfiehlt es sich auf Seiten mit Matrixeingabe ausschließlich gleich gepolte Fragen je Seite zu verwenden (sofern per Berechnungsmethode „Gewichtete Summe“ ausgewertet wird).