Mesurer c’est savoir: des outils de sélection en constante évolution

Annemie DEFRANC

Garantir la qualité de la sélection est une priorité pour chaque organisation. En effet, si la qualité est médiocre, il y a de fortes chances pour que les candidats sélectionnés ne donnent pas satisfaction dans l’exercice de leur fonction ou quittent prématurément la Défense. Ou inversement, que des postulants aptes soient exclus à tort. Afin de réduire ces risques, le service de recherche R&D (Research & Development) de la Section Recrutement et Sélection de la DG HR assure le suivi de la qualité de la sélection.

R&D est composé d’une équipe de psychologues, spécialisés en psychologie de la recherche et du travail et disposant d’une expertise en statistiques. Au sein de R&D, nous examinons à la loupe tous les outils de sélection d’un point de vue scientifique. Nous n’analysons pas uniquement les tests de sélection informatisés (tests d’intelligence, questionnaires de personnalité, tests de connaissances) mais aussi les interviews, les épreuves de groupe, les tests d’entrée académiques et les épreuves physiques.

Dans ce cadre, nous ne nous limitons pas à nos propres constats. Nous restons également informés des évolutions dans notre domaine par le biais d’études internationales, de la participation à des conférences scientifiques et à des groupes de travail OTAN. Nous soumettons annuellement nos questions et résultats à des professeurs en psychologie du travail et de l’organisation de différentes universités en Belgique.

Notre travail au sein de R&D consiste à mesurer la qualité des tests de sélection et à améliorer la sélection si nécessaire. Mais comment procédons-nous?

Profil de sélection

La première question que nous posons en sélection est la suivante: que doit pouvoir, savoir et vouloir faire une personne pour fonctionner correctement dans une formation ou fonction donnée? Pour répondre à cette question, nous analysons la fonction ou la description de fonction. C’est le point de départ pour déterminer quels sont les tests les plus adéquats pour mesurer les aptitudes, connaissances et/ou motivations.

Parfois, la gamme d’outils de sélection existante ne suffit pas pour mesurer une compétence donnée. Dans ce cas, nous achetons ou développons un test de sélection qui mesure bien cet aspect. Par exemple: la résistance mentale est essentielle pour pouvoir persévérer pendant la formation militaire. R&D et la chaire de psychologie de l’ERM ont développé, dans le cadre d’une collaboration internationale avec les Pays-Bas, l’Allemagne, la Suède et la Finlande, un questionnaire qui mesure la manière dont les postulants font face au stress. Depuis 2017, ce questionnaire est utilisé lors de la sélection pour des fonctions spécifiques, telles que pilote, plongeur, …

Valeur prédictive

La principale caractéristique d’un test de sélection est sa valeur prédictive. Les postulants que l’on estime bons obtiendront-ils d’aussi bons résultats par la suite et resteront-ils à la Défense? Pour pouvoir répondre à cette question, nous suivons un grand groupe de candidats et nous couplons leurs données de sélection à leurs données d’évaluation pendant la formation ou dans leur fonction. Une telle étude nécessite des données et du temps. De nombreuses analyses ne peuvent être effectuées que sur de grands groupes, ce qui nous oblige à collecter des données sur plusieurs années.

Nous procédons ensuite à des analyses statistiques en vue d’établir le lien entre les données de sélection et les données d’évaluation ultérieures. Lorsqu’un test de sélection a une bonne valeur prédictive, la plupart des postulants qui obtiennent des scores élevés au test de sélection obtiendront également de très bons résultats pendant la formation.

Un test avec une valeur prédictive élevée pèse davantage dans l’évaluation finale. Par exemple: le test cognitif et de psychomotricité pour les pilotes est le meilleur prédicteur des chances de réussite de la formation de pilotage de base à Beauvechain. C’est pourquoi nous faisons en sorte que ce test pèse bien davantage dans la décision finale d’admettre ou non un postulant en qualité de candidat pilote.

En revanche, si un test de sélection n’apporte rien de significatif quant aux futures prestations au sein de la Défense, sa valeur prédictive est faible. En cas de faible valeur prédictive, des analyses complémentaires suivent. La faible valeur prédictive est-elle due au test lui-même ou à d’autres facteurs? Que disent les études internationales quant à la valeur prédictive de tels tests? Notre organisation estime-t-elle qu’il est important de mesurer cet aspect? Des problèmes surviendraient-ils lors de la formation si nous ne mesurions pas cet aspect? En fonction de ces analyses, nous envisageons l’action la plus adéquate à entreprendre: laisser tomber le test, adapter le test ou le conserver.

Egalité des chances

Afin de garantir l’égalité des chances de tous les postulants, nous vérifions s’il est possible qu’une forme de discrimination intervienne par rapport à certains groupes (hommes/femmes, francophones/néerlandophones, …) et si les conditions de passation de test sont les mêmes pour chaque test de sélection. Le test est adapté si nécessaire.

Garantir des conditions identiques est relativement simple pour un test informatisé. Les mêmes questions sont posées à tous les postulants et chaque réponse se voit automatiquement attribuer un score. Pour le score caractériel sur la base d’une interview, le facteur humain joue toujours un rôle. C’est pourquoi nous accordons une attention particulière à la normalisation. Chaque intervieweur suit d’abord une formation de quelques mois, donnée par des intervieweurs expérimentés. Ils acquièrent ainsi une base solide quant aux processus et instruments de sélection, au contenu des différentes places vacantes et aux techniques d’interview. A l’issue de cette formation, nous veillons à la normalisation entre les intervieweurs en assurant le suivi du comportement de scoring. Un intervieweur n’évalue-t-il pas trop sévèrement ou, à l’inverse, trop généreusement, par rapport aux autres collègues?

Exercice d’équilibre

En période de marché du travail tendu, d’un intérêt moindre pour la Défense et d’une augmentation du nombre de places vacantes, nous sommes confrontés à un véritable défi. Dans ce contexte, nous mettons toujours en balance le risque de recruter des profils moins favorables et le préjudice pour l’organisation que représentent les places vacantes non pourvues. R&D recherche, en collaboration avec d’autres experts au sein de la Défense, un équilibre optimal en vue de continuer à garantir la qualité de la sélection. Certainement à l’heure actuelle où nous voulons pourvoir annuellement plus de 2.000 places vacantes, R&D est parfois confronté à la question de savoir s’il est nécessaire d’être aussi strict lors de certains tests de sélection. Nous réalisons alors des analyses statistiques qui montrent à quel niveau il convient de mettre la barre. L’impact de chaque décision fait également l’objet d’un suivi et, si nécessaire, d’un ajustement. Cette approche ‘evidence-based’, à savoir prendre des décisions sur la base de données, est la meilleure manière de veiller à la qualité des candidats sélectionnés.

La 3ième phase
La 3ième phase
Le management des compétences
Le management des compétences
Valeurs en bande dessinée
Valeurs en bande dessinée