Fragen zur Testkonstruktion

Können Sie uns ein paar Daten erzählen zu den Kosten der Erarbeitung eines neuen Tests? Wie teuer ist die Erarbeitung eines Items?
Darüber können wir zurzeit keine Angaben machen. Multicheck ist ein klassisches Kleinunternehmen, das seine Energie bisher vor allem in die Entwicklung von Eignungsabklärungen investierte. Der Aufbau von Management- und Kosteninformationssystemen steckt noch in den Kinderschuhen.

Wie viele Items braucht es mindestens pro Skala, um aussagekräftige Daten zu gewinnen?
Bei den Persönlichkeitsfragebogen werden wir in der Regel mit 15 Items pro Skala in die Testphase gehen mit dem Ziel, dies auf 10 Items zu reduzieren (tiefer sollte die Zahl unseres Erachtens nicht sein). Bei den Multichecks variiert die Anzahl von 10 bis 80 pro Gebiet (abhängig von der Art der Aufgaben).

Wie lange dauert die Phase von der Testidee bis zum fertigen Testprodukt?
Von der Idee bis zur Einführung ist bei den Multichecks jeweils ca. ein Dreivierteljahr vergangen. Der Markt wartet nicht.

Für wen erarbeiten Sie Tests/ wer sind Ihre Auftraggeber und wie gehen Sie in der Erarbeitung vor?
Die Multichecks wurden auf Wunsch von Lehrmeistervereinigungen oder Grossfirmen (z.B. CS, UBS, Coop, Migros) erstellt. Wir haben mit ihnen zusammen die zu prüfenden Gebiete ausgewählt und auch von ihnen bisher verwendete Aufgaben in die Tests eingebaut. Da wir schon seit Jahrzehnten Abklärungen für die Ausbildungen am Feusi Bildungszentrum durchführen, haben wir einen grossen Fundus an Aufgaben.

Wie lange ist die Halbwertszeit eines Tests?
Bei den Aufgaben zum Schulwissen wechseln wir jedes Jahr einzelne Aufgaben aus und ersetzen nach 2 bis 3 Jahren jeweils ein Gebiet durch ein neues. Bei den Aufgaben zum Potenzial (Logik, Konzentration, usw.) ersetzen wir nach 3 bis 4 Jahren einzelne Gebiete.

Im Falle sehr schlechter Validitäten und Reliabilitäten von Items. Wie gehen Sie mit schlechten Werten um? Welche Konsequenzen ziehen Sie daraus? Formuliert MC diese Items um und testet diese erneut oder werden die Items gar aus dem Fragebogen entfernt?
Wenn genügend gute Items vorhanden sind, dann werden solche Items entfernt, in der Regel werden sie jedoch durch neue Items ersetzt und ein Jahr später wieder überprüft.

Fragen zur Testgüte und Qualität

Werden Güte und Brauchbarkeitsprüfungen (Reliabilität, Validität, Vorhersagegüte...) auch bei bestehenden Verfahren, wie z.B. dem Berufseignungstest Multicheck, durchgeführt? Wenn ja, wie fallen diese aus?

Zum Multicheck KV: In einer Lizenziatsarbeit von Marcel Widmer an der Uni Bern wurde der Multicheck Kauffrau/Kaufmann untersucht. Dies hat zu Überarbeitungen des KV-Multichecks geführt. Eine Vergleich der Multicheck-Ergebnisse mit den Ergebnissen des Qualifikationsverfahrens zeigt gute Ergebnisse bei der Sensitivität und akzeptable Korrelationen, wenn berücksichtigt wird, dass wir nur Daten von Banken erhalten haben und natürlich nur Ergebnisse von Personen, die die Lehre erfolgreich abgeschlossen haben.

Zum Multicheck Detailhandel: Für diesen wird gerade mit Daten der beiden Grossverteiler Migros und Coop die prognostische Validität untersucht. Die Ergebnisse sind sogar etwas besser als diejenigen beim Multicheck KV

Restliche Multichecks: Bei den anderen MC haben wir uns auf die Normierung und bezüglich Itemanalyse auf die Bestimmung des Schwierigkeitsgrades beschränkt.
Die Ergebnisse dieser Untersuchungen werden per Ende Februar 2009 in einem Bericht veröffentlicht.

Die Reliabilität sei laut Rauchfleisch (2005) die Grundlage der Validität. In diesem Zusammenhang wird gefordert, Veränderungen über die Zeit mit einzubeziehen. Führen Sie gemäss dieser Forderung Retest - Reliabilitäten durch? Wenn ja, in welchem Zeitraum und mit welchen Erfahrungen?
Konkret hiesse dies ja, dass man zur Gewinnung eines validen Reliabilitätswertes bei jedem Test sowohl eine Retestreliablität, einen Paralleltest und ein Split Half Verfahren durchführen müsste. Dies wäre ja unglaublich zeitaufwendig und kostspielig.

Wie lösen Sie diese Qualitätsanforderung an die Reliabilitätsaussagen? Gibt es Mindeststandards, die ein Test erfüllen muss?
Die oben erwähnten Verfahren sind äusserst zeitaufwendig und sind wohl auch mit ein Grund, weshalb Tests in der Regel an Universitäten entwickelt werden. Multicheck kann diesen Aufwand nicht betreiben. Deshalb sind wir daran interessiert, dass solche Untersuchungen zum Beispiel in Bachelorarbeiten durchgeführt werden. Damit wird auch die Unabhängigkeit der Untersuchungsergebnisse von Multicheck demonstriert.

Überprüfen Sie die Ergebnisse Ihrer Tests bzgl. prognostischer Validität über die Zeit hinaus, haben Sie diesbezüglich Vorgaben/ Auflagen/ Standards/ Instrumente zur Qualitätssicherung?
Wir haben die prognostische Validität für den Multicheck Kauffrau/Kaufmann und den Multicheck Detailhandel durchgeführt. Für solche Untersuchungen sind wir auf die Mitarbeit der  Firmen angewiesen, die uns die entsprechenden Daten liefern, was aus Datenschutzgründen nicht einfach ist. Auch wenn die Multichecks keine Tests im strengen Sinne sind, sondern berufsbezogene Eignungsabklärungen, ist es unser Ziel, die Testgütekriterien zu erfüllen.

Gibt Ihnen die Testzentrale Mindestkriterien vor, die eingehalten werden müssen, damit ein Test bei Ihnen aufgenommen wird? Welche sind dies?
Wir haben nichts mit der Testzentrale zu tun und diese kann uns deshalb auch keine Vorschriften machen. Die Fachgruppe Diagnostik des SDBB (früher Diagnostikkommission) veröffentlicht Labels zu Tests und hat auch ein Label zum Multicheck veröffentlicht, allerdings ohne jeweils einen der Multichecks gesehen zu haben.

In einem mir bekannten Betrieb im kaufmännischen Bereich wurde diskutiert, bei der Auswahl der neuen Lernenden den Multicheck kritisch zu betrachten, da er nur "eine Momentaufnahme" sei. Wie wird von MC beurteilt, dass die Beurteilung des beruflichen Potentials sehr abhängig ist von den Stunden, in dem man den MC bearbeitet?
Das ist bei jedem Test und bei jeder Prüfung so. Deshalb kann man, wenn man einen „schlechten“ Tag erwischt hat, den Multicheck wiederholen.
Die hohen Sensititvitätswerte bei der Untersuchung zu Multicheck-Ergebnis und Ergebnis des Qualifikationsverfahrens zeigen, dass diese „Momentaufnahme“ doch sehr verlässlich ist.

Überprüft MC ihre Fragebogen im Vergleich zu anderen auf dem Markt bestehenden wissenschaftlich gut abgesicherten Fragebogen wie z.B. dem FPI im Falle der Leistungsmotivation?
Die „klassischen Multichecks“ wurden nicht systematisch an anderen Leistungstests überprüft. Wir konnten auf unsere Erfahrung mit schulinternen Abklärungen zurückgreifen und haben zusätzlich Aufgaben aus den uns von  Berufsbildner/innen zur Verfügung gestellten Tests verwendet. Die Ergebnisse der Validitätsuntersuchungen zwischen Multicheck und Qualifikationsverfahren zeigen, dass die Multichecks trotz dieses unwissenschaftlichen Vorgehens ein valides Instrument ist. Die Fragebogen zu Persönlichkeitseigenschaften wollen wir aber mit Ergebnissen anderer abgesicherter Instrumente überprüfen. Wir sind aus diesem Grund sehr an Arbeiten im Rahmen des Studiums an der FHNW interessiert.

Könnte man nicht die Bearbeitung des Multichecks trainieren, z.B. mit klassischen Intelligenztests?
Wir empfehlen zur Vorbereitung folgendes Vorgehen:
- Repetition des Schulstoffes
- Bearbeiten der auf der Homepage von Multicheck kostenlos zur Verfügung gestellten Übungsbeispiele und „Onlinetests“
- Wer noch mehr machen will: Im Internet finden sich zahllose so genannte
  „Intelligenztests“, die es erlauben, Aufgaben zu Logik, Konzentration, etc. zu üben. Die angegebenen Ergebnisse dieser Tests entsprechen aber in keiner Weise wissenschaftlichen Ansprüchen. Ein gewisser Trainingseffekt durch klassische Intelligenztests kann erzielt werden, weil die Auswahl der Aufgabentypen ähnlich ist und sich in allen Intelligenztests ähnliche Aufgabentypen finden.

Fragen zu den Stichproben

Wie stark werden geschlechtsspezifische Unterschiede bei der Konstruktion von Testverfahren berücksichtigt (z.B. bei Eignungstests die mathematischen oder sprachlichen Unterschiede)?
Wir orientieren uns an den Anforderungen der Ausbildung. Das Geschlecht der Bewerber/innen darf dabei keine Rolle spielen.

Speziell Leistungsmotivation: Wir gehen ja davon aus, dass dieser Multicheck vor allem von jungen Personen nach der obligatorischen Schulzeit ausgefüllt wird. Bei der Skala Leistungsmotivation finde ich aufgrund dessen z. T. die Fragestellung etwas realitätsfremd gewählt. Ich denke nicht, dass junge Menschen z. B. die Frage "Es kommt vor, dass meine Familie darunter leidet, wenn ich so viel arbeite" bejahen würden. Da sie 1. festgelegte Maximalarbeitszeiten haben und ihnen 2. in diesem Alter meistens Familie und Freunde auch sehr wichtig sind. Demzufolge finde ich es schwierig hier Leistungsmotivation erkennen zu können.
Abklärungen zur Persönlichkeit wenden wir bei Personen an, die kurz vor dem Ende der Erstausbildung stehen oder diese bereits abgeschlossen haben und sich weiterbilden wollen. Deshalb sind die Items auf die Arbeitswelt bezogen.
Wir finden Persönlichkeitsabklärungen für Personen in der Berufswahlphase nicht sinnvoll, da die Persönlichkeit in dieser Zeit zu stark im Umbruch ist und solche „Psychotests“ bei den Jugendlichen sehr unbeliebt sind, was dazu führen kann, dass diese nicht unbedingt seriös ausgefüllt werden.

Nach welchen Kriterien wählen Sie Ihre Pretestgruppen/Vergleichsgruppen aus? Wie gross muss bei Ihnen eine aussagekräftige Stichprobe sein, damit seriöse Rückschlüsse gezogen werden können?
Wir haben dank der Zusammenarbeit mit dem Feusi Bildungszentrum in Bern die Gelegenheit, Personen verschiedener Altersgruppen und Ausbildungen zu testen (von der 5. Klasse bis zu Fachhochschule und Nachdiplomstudien). Weiter haben wir durch Beziehungen via Schulkommissionen die Gelegenheit, in Schulklassen der öffentlichen Testläufe durchzuführen. Weiter können wir jeweils Lernende aus dem ersten Lehrjahr als Kontrollgruppe verwenden.
Erste Voruntersuchungen werden an relativ kleinen Gruppen vorgenommen (ca. 50 Personen). Danach werden die Ergebnisse der ersten 100 Personen zu einer Nacheichung verwendet und die Ergebnisse erst nach dieser Nacheichung herausgegeben. Damit erreichen wir eine akzeptable Mindestanzahl.
Nach einem Jahr wird die Eichung überprüft anhand der Ergebnisse des  ganzen Jahres. Die Zahlen für das letzte Jahr:
- KV: ca. 12000 Personen
- Detailhandel: ca. 10300 Personen
- Technisch: ca. 4800 Personen
- Gewerbe: ca. 2600 Personen
- Gesundheit: ca. 2600 Personen
- Beauty: ca. 250 Personen (neu aufgenommen).
Schüler/innen und Studierenden des Feusi Bildungszentrums dürfen wir allerdings nicht allzu oft für Testläufe einsetzen, da sonst der Schulbetrieb zu stark leiden würde.

Fragen zur Firma Multicheck

Welche Qualifikationen muss man mitbringen, um in Ihrer Firma zu arbeiten?
Ausbildung in einem der folgenden Berufsbereiche:
- Psychologie/Berufsberatung
- Lehrer/in
- Betriebswirtschaft/Marketing
- Informatik
Dazu grundsätzliches Interesse, in diesem Bereich zu arbeiten.

Was empfehlen Sie einer Firma, die den MC verwenden möchte? Wie sollte Sie mit den Ergebnissen umgehen, wenn Sie beispielsweise fünf Auszubildende einstellen möchte und 20 Bewerbungen mit MC vorliegen hat?
Alle von Multicheck empfohlenen Aspekte einer Bewerbung prüfen:
- Bewerbungsschreiben mit Lebenslauf
- Multicheck
- Zeugnisse
- Referenzen
- Schnupperlehre
- Vorstellungsgespräch
Beim Multicheck die Detailergebnisse prüfen und nicht nur das Gesamtergebnis. Multicheck führt Kurse für Ausbildungsverantwortliche durch, um sicherzustellen, dass die Ergebnisse optimal interpretiert werden.

Allgemeine Fragen / Fragen an die Test-Experten

Sie als Testexpertinnen: können Sie uns Tipps und Tricks liefern, damit wir quasi mittels Diagnose auf den ersten Blick einen seriösen von einem unseriösen Test unterscheiden können? Welche Werte sind für Sie selbst zentral, wenn Sie persönlich an einem Test teilnehmen - auf was achten Sie?
Als Absolvent eines Tests habe ich ja in der Regel keine Kenntnis über die Testgütekriterien und muss mich am Test selbst orientieren.
Für mich persönlich sind folgende Punkte wichtig:
- wird mir erklärt, was das Ziel des Tests ist?
- Erhalte ich mit dem Ergebnis auch Hinweise über die Interpretation des
  Ergebnisses?
- Wie viele Aufgaben/Items führen zu welchem Ergebnis? Wenn z.B. aus 30
  Aussagen ein 20-seitiger Bericht erarbeitet wird, dann zweifle ich doch
  stark an der Seriosität.
- Die eierlegende Wollmilchsau gibt es auch im Testbereich nicht: je mehr
  mir ein Test verspricht, desto vorsichtiger bin ich.

Nach oben