Technische handleiding
Persoonlijkheidstest
Bart Dekker MSc.
Dr. Edwin van Thiel
Inhoudsopgave
1. Inleiding2. Methode
2.1 Gebruikte instrumenten
3. Verkenning en selectie van de onderzoeksdata
3.1 Leeftijd
3.2 Geslacht
3.3. Opleidingsniveau
3.4 Nationaliteit
3.5 Arbeidsmarktpositie
3.6 Werksectorbranche
3.7 Afnameduur
3.8 Responsevariatie
3.9 Menselijke response
4. Analyse
4.1 Ruwe scores
4.2 Correlaties
4.3 Betrouwbaarheid
4.4 Constructvaliditeit/factoranalyse
5. Normering
5.1 Beroepsbevolking volgens het cbs
5.2 Groepsverschillen
6. Conclusie
7. Referenties
Inleiding
Dit document geeft inzicht in de psychometrie van de Big Five persoonlijkheidstest van 123test. Deze door 123test B.V. ontwikkelde test is een speciaal voor de Nederlandse markt gemaakte operationalisatie van de Big Five persoonlijkheidstheorie.
De test meet de vijf hoofddimensies van persoonlijkheid en de 30 onderliggende schalen. De Big Five persoonlijkheidstest van 123test is geen vertaling of bewerking van een buitenlands instrument maar echt gemaakt in en voor Nederland. Daarmee is het een actueel instrument, dat bovendien een hoge betrouwbaarheid heeft, een hoge validiteit heeft en een representatieve en recent samengestelde normgroep gebruikt.
Informatie over betrouwbaarheid, validiteit en normering worden in dit document beschreven. Ook wordt er besproken hoe de dimensies van deze test variëren als een functie van opleidingsniveau, geslacht en leeftijd.
Methode
Sinds 1 november 2019 zijn op www.123test.nl meer dan 100.000 afnames van de Big Five Persoonlijkheidstest. Door de data van deze anonieme respondenten te analyseren kunnen we een goed beeld vormen van dit instrument.
Gebruikte instrumenten
De Big Five Persoonlijkheidstest is gratis te gebruiken op https://www.123test.com/nl/persoonlijkheidstest/. Het Engelse equivalent van deze vragenlijst staat op https://www.123test.com/personality-test/ en is ook gratis te gebruiken.
Verkenning en selectie van de onderzoeksdata
Ter verkenning van de onderzoeksdata worden in dit hoofdstuk een aantal achtergrondvariabelen van de respondent nader onderzocht. Per onderdeel wordt aangegeven welke selectiecriteria er zijn gebruikt voor de uiteindelijke dataset.
De volledige dataset bestaat uit 65.703 respondenten. Op basis van cirteria als leeftijd, geslacht, opleidingsniveau, nationaliteit, arbeidsmarktpositie, afnameduur en responsevariatie wordt de uiteindelijke subset gemaakt waarop analyses worden gedaan en waarmee de uiteindelijke norm wordt berekend.
Leeftijd
Er is gekozen voor een leeftijdsgroep van 18 t/m 67 jaar, omdat deze groep het beste de arbeidsbevolking van Nederland representeert.
Geslacht
Van alle respondenten is het geslacht bekend omdat deze achtergrondvraag verplicht was om te beantwoorden. Opvallend is het hogere aantal vrouwen dat de test heeft afgerond. Logischerwijs worden beide geslachten meegenomen in de dataset omdat deze groep het beste de arbeidsbevolking van Nederland representeert.
Opleidingsniveau
Omdat de Big Five Persoonlijkheidstest speciaal wordt ontwikkeld voor gemiddeld tot hoger opgeleiden is ervoor gekozen om een aantal opleidingsniveau’s te selecteren die worden meegenomen in de dataset. De blauw gearceerde opleidingsniveau’s in de diagram zijn meegenomen in de dataset.
Nationaliteit
Omdat de Big Five Persoonlijkheidstest wordt ontwikkeld voor de Nederlands sprekende markt hoeft er niet op nationaliteit te worden geselecteerd: de vragenlijst is immers in het Nederlands.
Buiten Nederland en België is er een groep van 6% van respondenten met een andere nationaliteit in de dataset. Hieronder wordt weergegeven welke landen er in de groep van “Overige nationaliteiten” zit.
| Overige landen | Percentage % |
|---|---|
| Overig | 3.21 |
| Suriname | 1.06 |
| Curaçao | 0.43 |
| Turkije | 0.40 |
| Marokko | 0.36 |
| Syrië | 0.33 |
| Afghanistan | 0.24 |
Arbeidsmarktpositie
Er is de respondent gevraagd naar zijn/haar arbeidsmarktpositie. Er is gekozen om alleen de arbeidsmarktposities Loondienst, Eigen baas/freelancer en Officieel werkloos te gebruiken in de dataset, omdat deze groep het beste de arbeidsbevolking van Nederland representeert.
Werksector/branche
De respondent is gevraagd om aan te geven in welke werksector hij/zij werkzaam is. Hierbij kon een keuze gemaakt worden uit de 23 werksectoren die worden gehanteerd in het model van EurOccupations (Wageindicator.org 2009). De verdeling komt voldoende overeen met de meest recente gegevens van het CBS (CBS 2008) en geeft geen aanleiding om hiervoor te corrigeren.
Afnameduur
Het bekijken van de afnameduur van een vragenlijst is een goede manier om te bepalen hoe serieus een respondent de vragenlijst heeft ingevuld. Er is voor gekozen om een afnameduur tussen de 5 en 45 minuten mee te nemen in de uiteindelijke dataset.
Responsevariatie
Het bekijken van de responsevariatie van een respodent is een goede manier om te bepalen hoe serieus de respondent de vragenlijst heeft ingevuld. Er is voor gekozen om alleen een responsevariatie van 5 mee te nemen in de uiteindelijke dataset. Een responsevariatie van 5 betekent dat een respondent over alle 120 items genomen alle antwoordopties van de Likert-5 schaal in ieder geval één keer heeft gebruikt.
Menselijke response
Online vragenlijsten kunnen last hebben van crawlers en bots die de vragenlijsten geautomatiseerd invullen. Door een consistentiemaat te gebruiken kunnen we responses waar geen samenhang in is te vinden uitsluiten van de dataset.
De consistentiemaat psychometric synonym (Meade and Craig 2012) is gebruikt om kunstmatige en willekeurige responses te identificeren. Deze consistentiemaat wordt berekend door eerst alle itemparen te selecteren die over de gehele dataset > .60 correleren. In deze dataset zijn 12 itemparen geselecteerd. Daarna wordt voor iedere respondent de psychometric synonym score berekend die gelijk is aan de binnen-persoonscorrelatie van de geselecteerde itemparen.
De door Meade & Craig (2012) gehanteerde cut-off waarde van 0.2 is gebruikt om kunstmatige responses en responses met een willekeurig antwoordpatroon uit de dataset te filteren. In de histogram hieronder zijn de verwijderde responses grijs gearceerd.
Analyse
In de uiteindelijke dataset zijn 12.582 respondenten opgenomen.
Ruwe scores
In dit hoofdstuk worden de ruwe scores van de verschillende facetten en factoren weergegeven. X-assen zijn weggelaten in verband met mogelijke ongewenst hergebruik van de normgegevens.
Factoren
De histogrammen van de ruwe factorscores laten alle vijf een normaalverdeling zien.
Facetten
De histogrammen van de ruwe facetscores laten meestal een normaalverdeling zien, met soms een vloer- en/of plafondeffect bij schalen met een hoog sociaal-wenselijk gehalte.
Openheid voor ervaringen
Gewetensvolheid
Extraversie
Meegaandheid
Natuurlijke reacties
Correlaties
Correlaties tussen factoren
De vijf factoren laten over het algemeen minimale correlaties zien. Extraversie en Natuurlijke reacties laten een duidelijk negatief verband zien.
Correlaties tussen facetten
De 30 facetten laten over het algemeen minimale correlaties zien buiten de eigen facetten, en gemiddelde correlaties binnen het eigen facet.
De eerder geconstateerde negatieve correlatie tussen Extraversie en Natuurlijke reacties is op facetniveau vooral terug te leiden tot negatieve verbanden tussen Opgelatenheid (N4) en Toegankelijkheid (E1), en Neerslachtigheid (N3) en Opgewektheid (E6).
Deze resultaten komen overeen met de wetenschappelijke literatuur en bieden een goede eerste indicatie voor de interne structuur.
Betrouwbaarheid
Cronbachs alpha (Cronbach and Shavelson 2004) is een maat voor de betrouwbaarheid van psychometrische tests of van vragenlijsten. De waarde van alpha is een schatting voor de ondergrens van de betrouwbaarheid van de betrokken test.
Factoren
De COTAN heeft als criterium voor instrumenten die worden ingezet bij adviessituaties dat de betrouwbaarheidscoëfficiënt Cronbach’s alpha niet lager dan .60 mag zijn. Scores hoger dan .80 worden door de COTAN beoordeeld als ‘goed’.
Gemiddeld over de vijf factoren is de betrouwbaarheidscoëfficient 0.859, dat als zeer hoog mag worden bestempeld.
| Factoren | Aantal items | Cronbach’s Alpha |
|---|---|---|
| Openheid voor ervaringen | 24 | 0.80506 |
| Gewetensvolheid | 24 | 0.87578 |
| Extraversie | 24 | 0.87795 |
| Meegaandheid | 24 | 0.84113 |
| Natuurlijke reacties | 24 | 0.89305 |
Wanneer een item niet voldoende met de andere items van eenzelfde factor correleert, schaadt dit de betrouwbaarheid. Hieronder wordt weergegeven wat er met de Cronbach’s Alpha van een factor gebeurt wanneer één van de 24 items wordt verwijderd.
| Als item wordt verwijderd | O | C | E | A | N |
|---|---|---|---|---|---|
| 1 | 0.793 | 0.869 | 0.869 | 0.837 | 0.885 |
| 2 | 0.791 | 0.872 | 0.870 | 0.837 | 0.885 |
| 3 | 0.796 | 0.871 | 0.871 | 0.838 | 0.885 |
| 4 | 0.800 | 0.874 | 0.872 | 0.836 | 0.883 |
| 5 | 0.786 | 0.871 | 0.870 | 0.831 | 0.889 |
| 6 | 0.794 | 0.869 | 0.868 | 0.833 | 0.887 |
| 7 | 0.796 | 0.866 | 0.875 | 0.832 | 0.888 |
| 8 | 0.793 | 0.866 | 0.871 | 0.836 | 0.890 |
| 9 | 0.808 | 0.871 | 0.872 | 0.835 | 0.885 |
| 10 | 0.801 | 0.874 | 0.878 | 0.834 | 0.887 |
| 11 | 0.805 | 0.873 | 0.876 | 0.832 | 0.884 |
| 12 | 0.805 | 0.872 | 0.875 | 0.836 | 0.888 |
| 13 | 0.799 | 0.872 | 0.876 | 0.842 | 0.891 |
| 14 | 0.796 | 0.874 | 0.875 | 0.839 | 0.891 |
| 15 | 0.800 | 0.873 | 0.873 | 0.832 | 0.892 |
| 16 | 0.803 | 0.872 | 0.875 | 0.832 | 0.894 |
| 17 | 0.794 | 0.869 | 0.873 | 0.832 | 0.902 |
| 18 | 0.792 | 0.869 | 0.874 | 0.838 | 0.894 |
| 19 | 0.799 | 0.871 | 0.881 | 0.834 | 0.893 |
| 20 | 0.801 | 0.872 | 0.876 | 0.835 | 0.892 |
| 21 | 0.796 | 0.877 | 0.872 | 0.840 | 0.884 |
| 22 | 0.803 | 0.870 | 0.871 | 0.838 | 0.888 |
| 23 | 0.800 | 0.868 | 0.873 | 0.833 | 0.885 |
| 24 | 0.804 | 0.869 | 0.873 | 0.838 | 0.888 |
Facetten
De gemiddelde Cronbach’s Alpha van de 30 facetten is 0.708, wat voor schalen met 4 items een goede prestatie is.
| Factoren | Facetten | Aantal.items | Cronbach.s.Alpha |
|---|---|---|---|
| Openheid voor ervaringen | Verbeeldingskracht | 4 | 0.80575 |
| Artistieke interesse | 4 | 0.69799 | |
| Diepte van gevoelens | 4 | 0.51662 | |
| Bereidheid tot verandering | 4 | 0.71298 | |
| Intellectuele nieuwsgierigheid | 4 | 0.60086 | |
| Niet conservatief | 4 | 0.46357 | |
| Gewetensvolheid | Gevoel van bekwaamheid | 4 | 0.61639 |
| Ordelijkheid | 4 | 0.84224 | |
| Verantwoordelijkheidsgevoel | 4 | 0.60795 | |
| Prestatiegericht | 4 | 0.67093 | |
| Zelf-discipline | 4 | 0.64350 | |
| Bedachtzaamheid | 4 | 0.80478 | |
| Extraversie | Toegankelijk | 4 | 0.79242 |
| Sociabel | 4 | 0.73985 | |
| Assertief en dominant | 4 | 0.77397 | |
| Energiek | 4 | 0.71821 | |
| Spanningsbehoefte | 4 | 0.76320 | |
| Opgewektheid | 4 | 0.83387 | |
| Meegaandheid | Vertrouwen in anderen | 4 | 0.79850 |
| Eerlijk en oprecht | 4 | 0.68103 | |
| Altruïsme | 4 | 0.68537 | |
| Vredelievend | 4 | 0.57411 | |
| Bescheidenheid | 4 | 0.78346 | |
| Medeleven | 4 | 0.64168 | |
| Natuurlijke reacties | Zorgelijkheid | 4 | 0.82453 |
| Boosheid en ergernis | 4 | 0.81763 | |
| Neerslachtigheid | 4 | 0.83746 | |
| Opgelatenheid | 4 | 0.62206 | |
| Ongematigheid | 4 | 0.61864 | |
| Stressgevoeligheid | 4 | 0.74755 |
Constructvaliditeit: Factoranalyse
Screeplot
Een screeplot of eigenwaardendiagram is in de factoranalyse een grafiek waarin de eigenwaarden van de mogelijke variabelen voor de factoren in volgorde van afnemende grootte uitgezet zijn.
In onderstaande screeplot is te zien dat er 5 duidelijke componenten (PC) te onderscheiden zijn met een eigenwaarde > 1.0. Dit komt overeen met de bekende wetenschappelijke literatuur die stelt dat persoonlijkheid 5 componenten bevat.
Principale Componenten Analyse
Principale-componentenanalyse is een multivariate analysemethode in de statistiek om een grote hoeveelheid gegevens te beschrijven met een kleiner aantal relevante grootheden, de hoofdcomponenten of principale componenten.
In onderstaande tabel worden de resultaten van een PCA met varimax rotatie weergegeven. De 30 facetten zijn duidelijk terug te brengen tot de vijf componenten waar ze volgens het theoretische model van de Big Five bij horen. De dominante factor Extraversie trekt veel variantie naar zich toe, vooral in de vorm van negatieve ladingen van Natuurlijke reacties. Er zijn slechts een aantal facetten die een hogere primaire lading hebben op een andere component.
Al met al laat de analyse een zeer herkenbaar en bevredigend beeld zien.
| Factor | Code | Facet | RC1 | RC2 | RC3 | RC4 | RC5 |
|---|---|---|---|---|---|---|---|
| Extraversie | E1 | Toegankelijk | 0.801 | ||||
| E2 | Sociabel | 0.778 | |||||
| E3 | Assertief en dominant | 0.453 | |||||
| E4 | Energiek | 0.511 | |||||
| E5 | Spanningsbehoefte | 0.531 | |||||
| E6 | Opgewektheid | 0.69 | |||||
| Meegaandheid | A1 | Vertrouwen in anderen | 0.394 | ||||
| A2 | Eerlijk en oprecht | 0.686 | |||||
| A3 | Altruïsme | 0.704 | |||||
| A4 | Vredelievend | 0.65 | |||||
| A5 | Bescheidenheid | 0.644 | |||||
| A6 | Medeleven | 0.569 | |||||
| Gewetensvolheid | C1 | Gevoel van bekwaamheid | 0.768 | ||||
| C2 | Ordelijkheid | 0.614 | |||||
| C3 | Verantwoordelijkheidsgevoel | 0.584 | |||||
| C4 | Prestatiegericht | 0.659 | |||||
| C5 | Zelf-discipline | 0.737 | |||||
| C6 | Bedachtzaamheid | 0.452 | -0.508 | ||||
| Natuurlijke reacties | N1 | Zorgelijkheid | 0.682 | ||||
| N2 | Boosheid en ergernis | 0.683 | |||||
| N3 | Neerslachtigheid | 0.566 | |||||
| N4 | Opgelatenheid | -0.699 | |||||
| N5 | Ongematigheid | 0.463 | |||||
| N6 | Stressgevoeligheid | 0.651 | |||||
| Openheid voor | O1 | Verbeeldingskracht | 0.586 | ||||
| ervaringen | O2 | Artistieke interesse | 0.731 | ||||
| O3 | Diepte van gevoelens | 0.556 | |||||
| O4 | Bereidheid tot verandering | 0.478 | 0.451 | ||||
| O5 | Intellectuele nieuwsgierigheid | 0.743 | |||||
| O6 | Niet conservatief | 0.608 |
Normering
Beroepsbevolking volgens het CBS
Voor een correcte normering moet de dataset een goede afspiegeling zijn van de beoogde gebruikersgroep, in dit geval de Nederlandse beroepsbevolking. Omdat een dataset vrijwel nooit dezelfde samenstelling heeft als de geoogde gebruikersgroep wordt gebruikt gemaakt van weging.
De dataset is gewogen volgens de verdeling van onderstaande tabel. Deze gegevens zijn verkregen uit recente cijfers van het CBS.
| Criterium | Groepen | NL beroepsbevolking (CBS) |
|---|---|---|
| Geslacht | Vrouw | 50,50% |
| Man | 49,50% | |
| Opleiding | Middelbaar opgeleid | 62,60% |
| Hoger opgeleid | 37,40% | |
| Leeftijd | 15-24 | 17,40% |
| 25-44 | 45,50% | |
| 45-64 | 37,10% |
De maatstaf van de COTAN voor normgroepen voor gebruik in ‘advies’ situaties is dat de normgroep uit >200 respondenten dient te bestaan. Voor werving- en selectiedoeleinden is dat >400. In deze dataset zijn 12.582 respondenten opgenomen en voldoet dus zeer ruim aan de door de COTAN gehanteerde maatstaf.
Groepsverschillen
Als er binnen een normgroep significante verschillen bestaan tussen relevante groepen, kan hiervoor worden gecorrigeerd door seperate normgroepen te hanteren.
Voor het vergelijken van groepsgemiddelden en het bepalen van effect size is Cohen’s d gebruikt (Cohen 1992). Effectgroottes in de buurt van de nul zijn klein, effectgroottes groter dan 0,8 of kleiner dan -0,8 worden veelal als groot gezien.
Geslacht
Om te bepalen of normen voor specifieke groepen nodig zijn is gekeken naar groepsverschillen tussen geslachten. Hieronder zijn de resultaten van deze analyses weergegeven.
Effect size
| Factor | Cohen’s D (Man-Vrouw) |
|---|---|
| Openheid voor ervaringen | 0.146 |
| Gewetensvolheid | 0.096 |
| Extraversie | -0.173 |
| Meegaandheid | 0.676 |
| Natuurlijke reacties | 0.327 |
Gezien het feit dat er geen effectgroottes van -0.8 of 0.8 zijn gevonden kan geconcludeerd worden dat het gebruik van één norm voor opleidingsniveau gerechtvaardigd is.
Leeftijd
Om te bepalen of normen voor specifieke groepen nodig zijn is gekeken naar groepsverschillen tussen leeftijdsgroepen. Hieronder zijn de resultaten van deze analyses weergegeven.
Effect size
| Factor | Cohen’s D (Oud-Jong) |
|---|---|
| Openheid voor ervaringen | -0.579 |
| Gewetensvolheid | -0.446 |
| Extraversie | 0.305 |
| Meegaandheid | -0.355 |
| Natuurlijke reacties | 0.423 |
Gezien het feit dat er geen effectgroottes van -0.8 of 0.8 zijn gevonden kan geconcludeerd worden dat het gebruik van één norm voor opleidingsniveau gerechtvaardigd is.
Opleidingsniveau
Om te bepalen of normen voor specifieke groepen nodig zijn is gekeken naar groepsverschillen tussen opleidingsniveaus Hieronder zijn de resultaten van deze analyses weergegeven.
Effect size
| Factor | Cohen’s D (Hoog-Laag) |
|---|---|
| Openheid voor ervaringen | -0.539 |
| Gewetensvolheid | -0.069 |
| Extraversie | -0.053 |
| Meegaandheid | 0.012 |
| Natuurlijke reacties | 0.089 |
Gezien het feit dat er geen effectgroottes van -0.8 of 0.8 zijn gevonden kan geconcludeerd worden dat het gebruik van één norm voor opleidingsniveau gerechtvaardigd is.
Conclusie
Uit de resultaten van dit onderzoek blijkt dat de Big Five Persoonlijkheidstest van 123test een betrouwbaar en valide instrument is met een gedegen normering om in te zetten bij Nederlandse respondenten met een gemiddeld tot hoger opleidingsniveau, met een leeftijd tussen de 18 en 67 jaar voor zelfanalyse, bij loopbaanbegeleiding of in andere professionele settings.
Betrouwbaarheid
Uit de resultaten van dit onderzoek blijkt dat de Big Five Persoonlijkheidstest van 123test goed tot zeer goed scoort op de in de wetenschap gebruikelijke betrouwbaarheidscoëfficienten.
Validiteit
Uit de resultaten van dit onderzoek blijkt dat de Big Five Persoonlijkheidstest van 123test goede constructvaliditeit laat zien van de gemeten constructen.
Normering
Uit de resultaten van dit onderzoek blijkt dat de Big Five Persoonlijkheidstest van 123test over een goede normering beschikt die geen verschillen tussen groepen laat zien.
Referenties
CBS. 2008. “Banen van Werknemers; Bedrijfsgrootte En Economische Activiteit.” CBS.nl SBI.
Cohen, Jacob. 1992. “A Power Primer.” Psychological Bulletin 112 (1). American Psychological Association: 155.
Cronbach, Lee J., and Richard J. Shavelson. 2004. “My Current Thoughts on Coefficient Alpha and Successor Procedures.” Educational and Psychological Measurement 64 (3): 391–418.
Meade, Adam W, and S Bartholomew Craig. 2012. “Identifying Careless Responses in Survey Data.” Psychological Methods 17 (3). American Psychological Association: 437.
Wageindicator.org. 2009. “EurOccupations.”