Erstellung von Fragebogen. K. Wolfgang Kallus
Читать онлайн книгу.
wichtig, den Aspekt der Veränderungsmessung einzubeziehen. Zudem sollen mehrere Facetten einen Merkmalsbereich abbilden. Insbesondere bei themen-, unternehmens- oder projektspezifischen Fragebogenentwicklungen ist abschließend ein (erneuter) Abgleich der Merkmalsbereiche mit theoretischen Modellen sinnvoll und notwendig. Für die konzeptuelle Analyse ist entscheidend, eine angemessene Festlegung im Detaillierungsniveau zu finden. Nur solche Aspekte, die der Selbst-/Fremdbeobachtung gut zugänglich sind, gehören in die Konzeptarbeit eines Fragebogens. Weitere Details sind relevant für komplexe Mehrebenenanalysen mit wissenschaftlichem Anspruch, die weit über die psychometrisch fundierte Befragung (z. B. bei Maßnahmenevaluationen) hinausgehen können.
Für die Zusammenstellung der Frage-Antwort-Einheiten zu einem Fragebogen liegen durch die Spezifizierung innerhalb des Workshops Informationen darüber vor, worin sich unterschiedliche Merkmalsausprägungen manifestieren. Dabei sind die unterschiedlichen Ebenen der erlebten psychischen oder körperlichen Reaktionen, des Verhaltens, der sozialen Interaktion, der Organisation ebenso wie Manifestationen in Prozessmerkmalen wesentliche Kategorien zur Systematisierung der Merkmalsfacetten.
Ergänzend zu den Workshops können Items auf Basis von Vorwissen der einbezogenen ExpertInnen, durch Arbeitsanalysen, Reanalysen empirischer Unternehmensdaten, Interviews mit externen ExpertInnen und Schlüsselpersonen formuliert werden. Im Anschluss an die Protokollierung des Workshops kann das Fragebogenentwicklungsteam die Konstruktion der Items und Subtests in Angriff nehmen. Vor der Itemformulierung ist zu klären, wie diese Verhaltensweisen, Befindlichkeiten, Prozesse und Manifestationen bei den Zielpersonen sprachlich repräsentiert sind. Repräsentative Merkmalsfacetten werden (immer aus Sicht der Befragten!) in Frage-Antwort-Komplexen formuliert und aufgelistet. Dabei sollte das Prinzip „So einfach und konkret wie möglich“ insbesondere bei den ersten Operationalisierungsschritten streng befolgt werden. Nur wer konkret fragt, kann auch konkrete Antworten erwarten!
Bei der ersten Operationalisierung der Items ist die Entscheidung für den Antwortmodus immer explizit zu fällen. Häufigkeiten von Merkmalen, Verhaltensweisen oder Symptomen sind abzugrenzen von Intensitäten und Bewertungen. Von extremer Bedeutung für gute Frage-Antwort-Komplexe ist deren eindeutige Skalierung!
Weitere Details zur Formulierung von Items finden sich im Kapitel über Prinzipien zur Formulierung von Items (Kapitel 3.3). Nach der Itemformulierung werden die Items zu den unterschiedlichen Facetten in Subtests zusammengestellt (s. Kapitel 4.1).
2.5 Empirisch basierte Konzeptdefinition
Als Ergänzung oder alternativ zu den bislang dargestellten Herangehensweisen kann ein Merkmalsbereich auch schrittweise empirisch präzisiert und erschlossen werden. Zu diesem Zweck wird ein möglichst umfassender Itempool gebildet und die Struktur sowie die Gliederung werden schrittweise empirisch begründet. Klassische Ansätze dazu sind psycholexikalisch gebildete Itempools, wie sie von Cattell (1946) bei der Entwicklung des 16-PF oder auch von Janke und Debus (1978) bei der Entwicklung der Eigenschaftswörterliste (EWL) gewählt wurden. Der bekannteste „Klassiker“ des psycholexikalischen Ansatzes ist das Semantische Differential (Osgood, 1964), das bis heute sehr beliebt ist und in unterschiedlichen Bereichen erfolgreich zu einer ersten Beschreibung von Konzepten und Realitäten eingesetzt wird (Franke & Bortz, 1972; Mehrabian & Russell, 1974). Wiederholt wurde der psycholexikalische Ansatz, d. h. die sprachliche Repräsentation von Merkmalen, als Basis für die Fragebogenentwicklung herangezogen. Die Eigenschaftswörterliste zur Messung von unterschiedlichen Facetten des aktuellen Befindens (Janke & Debus, 1978) ist ein Beispiel für die Anwendung der seit Allport und Odbert (1936) etablierten psycholexikalischen Methode zur Operationalisierung des Inhaltsbereichs eines Fragebogens. Eine empirisch basierte Entwicklung des Fragebogens ist auch dann notwendig, wenn die theoriegeleitete Entwicklung der Items zu einer sehr breiten Vielfalt von Items führt, die einer weitergehenden Strukturierung bedarf (z. B. bei unzureichenden theoretischen Leitlinien oder nicht übereinstimmenden ExpertInnenurteilen).
Im Kontext der empirisch basierten Entwicklung von Fragebogen wird zur Vereinfachung häufig die Faktorenanalyse eingesetzt. Dabei unterscheiden sich die Strategien zum Einsatz der Faktorenanalyse deutlich von Ansätzen der theoriegeleiteten Bildung von Subtests in Anlehnung an Merkmalsfacetten, wie sie in den bisherigen Abschnitten vorgeschlagen wurden. Dieser Unterschied wird im nächsten Abschnitt diskutiert.
2.5.1 Faktorenanalytische vs. theoriegeleitete Subtestbildung
Die faktorenanalytische Subtestbildung erfreut sich großer Beliebtheit in allen Fällen, in denen globale Konzepte wie emotionale Intelligenz, Persönlichkeit und Motivation durch repräsentative Beschreibungen möglichst ökonomisch und zuverlässig abgebildet werden sollen. Bei der faktorenanalytischen Subtestbildung werden anhand der Daten einer größeren Stichprobe (Faustregel: mindest n = Itemzahl * 3) die Items einer Hauptkomponentenanalyse (explorative Faktorenanalyse) mit anschließender orthogonaler Rotation (Varimax) unterzogen. Wenn jedoch inhaltlich und konzeptuell relevante wechselseitige Abhängigkeiten der Subtests vorliegen, kann statt der orthogonalen Rotation eine schiefwinkelige Rotation (z. B. Oblimin) gewählt werden. Im Falle, dass die Einzelfacetten des Merkmals im Sinne eines Profils besonders bedeutsam sind (Profil zur Arbeitszufriedenheit, Stressprofil, Profil der individuellen Stressbewältigungsstrategien), führt die nichtorthogonale Rotation oft zu inhaltlich besser interpretierbaren Ergebnissen.
Wenn ein Merkmalsbereich besonders ökonomisch erfasst werden soll (z. B. für die Entwicklung eines Screeningverfahrens zur Burnout-Prophylaxe), stellt die orthogonale Rotation die Methode der Wahl dar. Orthogonale Rotationen sind auch dann vorzuziehen, wenn der Merkmalsbereich noch nicht hinreichend strukturiert ist und die Beschreibung von „Kerndimensionen“ im Zentrum der Entwicklung steht. Orthogonal sollte auch immer rotiert werden, wenn die späteren NutzerInnen keine Übung im Umgang mit Merkmalsprofilen haben. Als abschließender Hinweis sei erwähnt, dass das Kaiser’sche Eigenwertkriterium als Standard für die Faktorenextraktion bei Items fraglich ist, da die „wahre“ Varianz von Items in der Regel weit unterhalb von 1 liegt.
Bei der (orthogonal rotierten) Faktorenanalyse von Items ergeben sich in der Regel eher wenige Basisfaktoren, die im Sinne eines Screeningverfahrens sehr gut eine erste Einordnung von Personen erlauben. Beispiele für faktorenanalytisch entwickelte Verfahren sind das NEO-FFI (Costa & McCrae, 1992), das Persönlichkeitsmerkmale in fünf Bereichen ökonomisch erfasst.
Für die faktorenanalytische „Suche“ nach Subtests stellt sich oft das Problem der unterschiedlichen Abstraktionsebene/begrifflichen Ebene von Items und der nur selten eingesetzten repräsentativen Itempools. Unterschiedliche Abstraktionsniveaus von Items lassen sich in linearen Korrelationen nicht angemessen abbilden. Faktorenanalysen „kranken“ oft daran, dass die Faktorenanalyse nicht mehr „herausbringt“ als an Information „hineingesteckt“ wurde. Somit lässt sich ein Test nur dann faktorenanalytisch sinnvoll konstruieren, wenn die Items den Merkmalsbereich repräsentativ auf vergleichbarem Niveau mit einer vergleichbaren Skala (z. B. Häufigkeiten) so abbilden, dass alle relevanten Abhängigkeiten in der linearen Korrelation angemessen repräsentiert sind. Für interessierte LeserInnen sei hier auf die parallelen Probleme bei der Anwendung und Interpretation linearer Strukturgleichungsmodelle verwiesen (siehe auch Kapitel 6.4.2). Andererseits sei an dieser Stelle darauf hingewiesen, dass die Faktorenanalyse auch einsetzbar ist, um bei mäßigen Trennschärfen die (faktorielle) Struktur innerhalb von Subtests (insbesondere von Subtests mit mehr als sechs bis acht Items) zu prüfen.
Ein Grundproblem der faktorenanalytischen Testkonstruktion stellt die Informationsbasis „Item“ an sich dar. Einzelitems sind in der Regel nicht sehr zuverlässig – aus diesem Grund werden in Fragebogen Summenwerte gebildet, die eine höhere Reliabilität aufweisen. Faktorenanalysen mit wenig reliablen Einzelvariablen benötigen generell eine eigene Methodik (s. a. Cronbach, Gleser, Nanda & Rajaratnam, 1972). Diese Überlegungen werden jedoch oft nicht (mehr) berücksichtigt, da SPSS und andere Rechenprogramme entsprechende Optionen (z. B. Schätzung der Kommunalitäten