Hinweise zur Auswertung und Interpretation

Allgemeine Hinweise zur Auswertung

Durch die Verwendung der SFS Test Solutions profitieren Anwender und Anwenderinnen von einem gemeinsamen Ergebnisbericht, der die Testergebnisse aller in der Testsequenz enthaltenen Tests in einem Ergebnis zusammenfasst. Diese integrierte Auswertung ermöglicht eine effiziente und transparente Interpretation, da alle Testergebnisse auf einen Blick zugänglich sind.

Die Ergebnisse der einzelnen Tests sollten dennoch durch die Anwenderinnen und Anwender inspiziert und bei der Interpretation berücksichtigt werden, da sich auf diesen zusätzliche Informationen befinden können, die die Interpretation beeinflussen (z. B. relevante Nebenvariablen die Auskunft über die Anzahl der Fehler bei der Bearbeitung des Tests geben). Im WTS können Sie dazu einfach zwischen den unterschiedlichen Arten der Ergebnisdarstellung umschalten (siehe den folgenden Screenshot).

Es ist zu beachten, dass einer Veränderung der vordefinierten Testsequenz oder der Ergänzung um Tests, die nicht Teil der SCHUHFRIED Selection sind, dieser gemeinsamen Ergebnisbericht nicht mehr automatisiert zur Verfügung steht. Die untere Abbildung zeigt einen Warnhinweis der bei entsprechender Konfiguration ausgegeben wird.

Erweiterte Auswertung mit Gesamtbewertung

Für bestimmte Test Solutions steht im gemeinsamen Ergebnisbericht eine ergänzende Gesamtbewertung zur Verfügung. Die Gesamtbewertung gibt die Passung der Testperson zu einem Idealprofil an. Jene Test Solutions, die über eine solche Gesamtbewertung verfügen, sind durch dieses Icon: gekennzeichnet (für weitere Informationen siehe: Hinweise zur Durchführung).

Die Gesamtbewertung stellt eine allgemeine, dimensionsübergreifende Beurteilung dar, welche sich aus den Ergebnissen der vorgegebenen Einzeltests berechnet. Dafür werden die Ergebnisse in den Hauptvariablen z-standardisiert, gewichtet und zu einem Gesamtmaß aggregiert. Höhere Prozentränge in den Einzeltests führen dabei immer zu einer höheren Passung zum Idealprofil.

Die Gewichtungen der Einzeltests basieren auf empirischen Studien bzw. wissenschaftlichen Erkenntnissen zur Relevanz der erfassten Dimensionen für den jeweiligen Anwendungsfall (die zu beantwortende diagnostische Fragestellung). Zusätzlich werden bei bestimmten Anwendungsfällen internationale oder fachliche Leitlinien bei der Festlegung der Relevanz der einzelnen Dimensionen berücksichtigt. Die Gewichtungen für die einzelnen Dimensionen unterscheiden sich dabei je nach Anwendungsfall. Welche Gewichte verwendet werden und wie diese festgelegt wurden wird in der Dokumentation der einzelnen Test Solutions beschrieben (siehe: Test Solutions).

Die Gesamtbewertung wird in Form einer Grafik für einen schnellen Überblick veranschaulicht. In der Mitte der Grafik befindet sich die Passung zum Idealprofil (angegeben als Prozentwert), wobei höhere Werte für eine bessere Passung sprechen. Das Ausmaß der Passung wird in der Grafik dargestellt.

Zusätzlich wird für eine einfache Interpretation die Gesamtbewertung, d. h. die Passung zum Idealprofil, über eine Kategorisierung (“Sternebewertung”) ausgegeben. Insgesamt sind drei Kategorien möglich (1, 2, oder 3 Sterne). Die Kriterien für die jeweilige Kategorie sind in der Tabelle unterhalb angegeben. Um 3 Sterne zu erreichen, muss der Gesamtwert der Testperson beispielsweise über 89 (d. h. 90% oder mehr) liegen.

Die gewählten Grenzwerte für die drei Kategorien orientieren sich dabei an den gängigen Durchschnittsbereichen für die Interpretation von Einzeltestergebnissen im Bereich der Eignungsdiagnostik. Die Grenzwerte für 3 Sterne entsprechen dabei einer Gesamtbewertung von 90. Dieser Wert wurde so gewählt, dass er ungefähr einer durchschnittlichen Ausprägung der Prozentränge in allen in die Gesamtbewertung eingehenden Dimensionen von 75 entspricht. Demgemäß wurde der Grenzwert für 1 Stern so gewählt, dass er einer durchschnittlichen Ausprägung der Prozentränge in allen in die Gesamtbewertung eingehenden Dimensionen von 25 entspricht.

Allgemeine Interpretationshinweise

Testergebnisse werden üblicherweise mittels Prozenträngen (PR) interpretiert. Der Prozentrang gibt an, wie viel Prozent einer bestimmten Vergleichsgruppe eine geringere bzw. gleich hohe Ausprägung in diesem Leistungs- oder Persönlichkeitsmerkmal aufweisen. Als Vergleichs­gruppe wird generell eine repräsentative Stichprobe aus der Gesamtbevölkerung herangezogen. Falls dies nicht der Fall ist, wird bei der Auswertung explizit darauf hingewiesen. Ein Prozentrang von PR = 76 bedeutet beispielsweise, dass 76% der Testpersonen aus der repräsentativen Normstichprobe eine geringere bzw. gleich hohe und 24% eine höhere Ausprägung in diesem Leistungs- oder Persönlichkeitsmerkmal aufweisen.

1. Ein Prozentrang bis 24 weist auf eine unterdurchschnittliche Ausprägung des betreffenden Leistungs- oder Persönlichkeitsmerkmals im Vergleich zur repräsentativen Normstichprobe hin.

2. Bei einem Prozentrang von 25 bis 75 kann davon ausgegangen werden, dass das betreffende Leistungs- oder Persönlichkeitsmerkmal im Vergleich zur repräsentativen Normstichprobe durchschnittlich ausgeprägt ist.

3. Ein Prozentrang ab 76 weist auf eine überdurchschnittliche Ausprägung des betreffenden Leistungs- oder Persönlichkeitsmerkmals im Vergleich zur repräsentativen Normstichprobe hin.

In Test Solutions wird zusätzlich mittels eines einfachen Farbschemas (Ampelsystem: rot-gelb-grün) das Abschneiden in den Einzeltests gekennzeichnet.

• Eine rote Kennzeichnung eines Testergebnisses kennzeichnet ein deutlich unterdurchschnittliches Abschneiden einer Testperson. Der Grenzwert entspricht dabei einem Prozentrang von 15.

  

• Eine gelbe Kennzeichnung einer Dimension kennzeichnet ein leicht unterdurchschnittliches Abschneiden einer Testperson. Der Grenzwert entspricht dabei einem Prozentrang von 25.

  

• Grün gekennzeichnete Dimensionen weisen auf ein durchschnittliches Abschneiden der Testperson hin. Hier erreichte die Testperson einen Prozentrang im Bereich von 25 bis 100.

  

Zusätzlich zum Vergleich der Testergebnisse mit der Normstichprobe sollte bei der Interpretation aller Testbatterien das individuelle Profil berücksichtigt werden, um individuelle Stärken und Entwicklungsbereiche zu identifizieren.

Zusätzlich können bei der Interpretation Konfidenzintervalle berücksichtigt werden. Das Konfidenzintervall berücksichtigt die Messgenauigkeit (Reliabilität) eines Tests und ist ein festgelegter Bereich (um den gemessenen Testwert) innerhalb dessen der wahre Wert des Leistungs- oder Persönlichkeitsmerkmals mit einer bestimmten Wahrscheinlichkeit (normalerweise 95%) liegt. Die Konfidenzintervalle werden im Ergebnisbericht standardmäßig ausgegeben.

Die standardmäßige Auswertung der SFS Test Solutions bietet einen gemeinsamen Ergebnisbericht. Dieser zeigt jedoch nicht alle Details an, die in den Einzeltestergebnissen verfügbar sind. Warnhinweise und detaillierte Informationen, die in den Testprotokollen ausgegeben werden, werden in der aggregierten Übersicht z. B. nicht angezeigt. Deshalb sollten stets auch die Einzeltestergebnisse und das entsprechende Testprotokoll bei der Interpretation der Ergebnisse berücksichtigt werden.

Auf Ebene der Einzeltestergebnisse lässt sich prüfen, ob die Testung erwartungsgemäß durchgeführt wurde, oder ob sich z. B. Auffälligkeiten in der Bearbeitung zeigten. Diese könnten z. B. eine überdurchschnittlich hohe Anzahl an Fehlern sein, die einen Hinweis auf Verständnisschwierigkeiten bei der Aufgabenbearbeitung sein könnten oder auch sehr kurze oder lange Bearbeitungszeiten bzw. auffällige Antwortmuster.

Um dies zu prüfen stellt das Testprotokoll der Einzeltestergebnisse Informationen auf Aufgabenebene bereit. So lässt sich nachverfolgen, welche Antwortalternativen gewählt wurden, wie dieses bewertet sind (z. B. richtig oder falsch) und die Bearbeitungszeiten.

Rückmeldung an die Testperson

Ziel des Rückmeldegesprächs ist eine angemessene Information der Betroffenen über die Ergebnisse des diagnostischen Prozesses in einer transparenten, wertschätzenden und objektiven Art. Die Rückmeldung sollte daher Auskunft geben über die Ziele der Testung, die verwendeten Verfahren sowie ggf. über zusätzliche Informationen die in das abschließende Urteil einfließen. Die Methodik der angewandten Verfahren sollte nachvollziehbar erklärt und die erhobenen Inhalte und ggf. die relevanten Theorien für Laien verständlich erläutert werden. Die Ergebnisse der Begutachtung sollten objektiv und wertfrei erläutert werden. Alle (Rück-) Fragen der Kandidatinnen und Kandidaten sollten hinreichend beantwortet werden. Zudem sollte die Rückmeldung der Testperson zur Testung berücksichtigt werden (z. B. ob alle Aufgabenstellungen verständlich waren).

Aus diesem Grund sollte ausreichend Zeit für das Rückmeldegespräch eingeplant werden. Aus der Praxis empfiehlt sich, bei der Rückmeldung durch einleitende Worte für ein offenes und vertrauensvolles Gesprächsklima zu sorgen. Auch unterdurchschnittlichen Testergebnisse sollten offen, aber mit dem nötigen Feingefühl kommuniziert werden, so könnten etwa intraindividuelle Stärken aber auch Entwicklungsbereiche hervorgehoben werden. Zudem sollten die Testpersonen über mögliche Einflussfaktoren, die sich auf die Testergebnisse auswirken können, wie z. B. die Tagesverfassung (Müdigkeit), Nervosität bei der Testung oder ähnliches aufgeklärt werden.

In der Personalauswahl empfiehlt es sich nicht in allen Fällen, die Ergebnisse unkommentiert in schriftlicher Form an die Testpersonen weiterzugeben, da die Ergebnisse falsch interpretiert werden könnten. Auch wenn die Ergebnisberichte beispielsweise für die Kandidatin oder den Kandidaten umfangreiche Informationen und Erläuterungen enthalten, könnten dennoch Fragen aufgeworfen werden. Die Kandidatin oder der Kandidat sollte darauf hingewiesen werden, dass er oder sie sich beim Rückmeldegespräch gerne Notizen machen kann. Bei Potentialanalysen kann es hingegen sinnvoll sein, eine schriftliche, verbalisierte Zusammenfassung der Ergebnisse der Kandidatin oder dem Kandidaten mitzugeben.