Meten is weten: evoluerende selectietools

Annemie DEFRANC

De kwaliteit van de selectie garanderen is een prioriteit voor elke organisatie. Want als de kwaliteit ondermaats is, vergroot de kans dat geselecteerde kandidaten niet voldoen in hun functie of Defensie voortijdig verlaten. Of omgekeerd, dat geschikte sollicitanten onterecht worden uitgesloten. Om die risico’s te beperken, volgt binnen DG HR de onderzoeksdienst R&D (Research & Development) van de Sectie Rekrutering en Selectie de kwaliteit van de selectie op.

R&D bestaat uit een team van psychologen, gespecialiseerd in onderzoeks- of arbeidspsychologie, met een expertise in statistiek. Binnen R&D nemen we alle selectietools onder een wetenschappelijke loep. We onderzoeken niet alleen de selectietests die op computer worden afgelegd (intelligentietests, persoonlijkheidsvragenlijsten, kennistests) maar ook de interviews, de groepsproeven, de academische ingangstests en de fysieke proeven.

We beperken ons hierbij niet tot onze eigen bevindingen. Via internationale studies, deelname aan wetenschappelijke conferenties en NATO-werkgroepen blijven we ook op de hoogte van de evoluties op ons vakgebied. Een keer per jaar leggen we onze vragen en resultaten voor aan professoren in de arbeids-en organisatiepsychologie van verschillende universiteiten in België.

Ons werk binnen R&D bestaat uit het meten van de kwaliteit van de selectietests en het verbeteren van de selectie waar nodig. Maar hoe beginnen we eraan?

Selectieprofiel

De eerste vraag die we stellen in selectie is: wat moet iemand kunnen, kennen en willen om goed te functioneren in een bepaalde opleiding en functie? Om die vraag te beantwoorden, analyseren we de functie of de functiebeschrijving. Dit is het uitgangspunt om te bepalen welke selectietests we best inzetten om die vaardigheden, kennis en/of motivatie te meten.

Soms volstaat het bestaande gamma aan selectietools niet om een bepaalde competentie te meten. In dat geval kopen of ontwikkelen we een selectietest die dit aspect wel goed meet. Bijvoorbeeld: mentale veerkracht is belangrijk om te kunnen doorzetten in de militaire vorming. R&D en de leerstoel psychologie van de KMS ontwikkelden in het kader van een internationale samenwerking met Nederland, Duitsland, Zweden en Finland een vragenlijst die meet hoe sollicitanten omgaan met stress. Sinds 2017 draait deze vragenlijst mee in de selectie voor specifieke functies, zoals piloot, duiker, …

 

Voorspellende waarde

De belangrijkste eigenschap van een selectietest is de voorspellende waarde. Zullen de sollicitanten van wie we inschatten dat ze goed zijn, later ook goed presteren en bij Defensie blijven? Om dit te kunnen beantwoorden, volgen we een grote groep kandidaten en koppelen we hun selectiegegevens aan hun evaluatiegegevens tijdens de opleiding of in hun functie. Zo’n onderzoek vraagt gegevens en tijd. Vele analyses kunnen enkel uitgevoerd worden op grote groepen, waardoor we gegevens over verschillende jaren heen verzamelen.

Nadien voeren we statistische analyses uit om het verband tussen selectie- en latere evaluatiegegevens in kaart te brengen. Wanneer een selectietest een goede voorspeller is, zullen de meeste sollicitanten die hoog scoren op de selectietest eveneens sterk presteren in de opleiding.

Een test met een hoge voorspellende waarde krijgt meer gewicht in de eindevaluatie. Bijvoorbeeld: de psychomotorische en cognitieve test voor piloten is de beste voorspeller van slaagkansen in de basisvliegopleiding in Beauvechain. Daarom laten we de test veel sterker doorwegen in de eindbeslissing of een sollicitant al dan niet wordt aangenomen als kandidaat-piloot.

Als een selectietest daarentegen niets zinvols bijbrengt over latere prestatie bij Defensie, ligt de voorspellende waarde van de test laag. Bij een lage voorspellende waarde volgen er bijkomende analyses. Ligt de lage voorspellende waarde aan de test zelf of aan andere factoren? Wat zeggen internationale studies over de voorspellende waarde van dergelijke tests? Vindt onze organisatie het meten van dit aspect belangrijk? En treden er problemen op in de vorming als we dit aspect niet zouden meten? Afhankelijk van die analyses bekijken we welke actie het best is: de test laten wegvallen, aanpassen of de test behouden.

 

Gelijke kansen

Om gelijke kansen te garanderen voor iedere sollicitant, gaan we na of er mogelijk discriminatie optreedt tegenover bepaalde groepen (mannen/vrouwen, Franstalig/Nederlandstalig, …) en of de testomstandigheden voor elke selectietest dezelfde zijn. Indien nodig wordt de test aangepast.

Gelijke omstandigheden garanderen is relatief eenvoudig voor een computertest. Iedere sollicitant krijgt dezelfde vragen en elk antwoord wordt automatisch gescoord. Voor de karakteriële score op basis van een interview speelt er altijd een menselijke factor. Daarom besteden we veel aandacht aan standaardisatie. Elke interviewer krijgt eerst een opleiding van enkele maanden, gegeven door ervaren interviewers. Zo krijgen zij een stevige basis mee over de selectieprocessen en -instrumenten, de inhoud van de verschillende vacatures en de interviewtechnieken. Na deze vorming bewaken we de standaardisatie tussen de interviewers onderling door scoringsgedrag op te volgen. Beoordeelt de ene interviewer sollicitanten niet te streng of te laks ten opzichte van andere collega’s?

Evenwichtsoefening

In tijden van een krappe arbeidsmarkt, een lagere interesse voor Defensie en een verhoging van het aantal vacatures, staan we voor een uitdaging. In die context maken we steeds een afweging tussen het risico om minder gunstige profielen aan te werven tegenover de schade van niet-ingevulde plaatsen. R&D zoekt daarin samen met andere experten binnen Defensie naar een optimaal evenwicht om de kwaliteit van de selectie te blijven garanderen. Zeker nu we meer dan 2.000 vacatures jaarlijks willen invullen, krijgt R&D soms de vraag of het nodig is zo streng te zijn op bepaalde selectietests. We voeren dan statistische analyses uit die aantonen waar de lat het best ligt. De impact van elke beslissing wordt ook opgevolgd en bijgestuurd waar nodig. Deze ‘evidence-based’ aanpak, namelijk beslissingen nemen op basis van gegevens, is de beste manier om te waken over de kwaliteit van de geselecteerde kandidaten.

Competentiemanagement
Competentiemanagement
De 3de wave
De 3de wave
Leading by example
Leading by example
Waarden in een stripverhaal
Waarden in een stripverhaal