Choisir les indicateurs

  • Version imprimable
  • Send by email

Le choix des indicateurs est crucial dans l’évaluation des activités de TUC. Il n’existe aucun indicateur de mesure qui soit fiable et valide pour tous les contextes. Il faut choisir des indicateurs en fonction du contexte, des objectifs visés par les activités de TUC et des besoins de l'organisation.

1) Qu'est-ce qu'un indicateur?

Un indicateur est une mesure quantitative ou qualitative qui permet d’illustrer un angle spécifique du processus et des effets des activités de TUC implantées. Un indicateur peut prendre différentes formes : un nombre, un fait, une mesure, une opinion ou encore une perception.

Exemples d’indicateurs lors d’une évaluation d’implantation
  • Nombre d’activités de TUC prévues versus réalisées;
  • Ressources estimées pour l’implantation versus réelles;
  • Nombre ou pourcentage de personnes rapportant avoir pris part aux activités de TUC implantées;
  • Perception de l’utilité et de la qualité d’un contenu transféré.
Exemples d’indicateurs lors d’une évaluation des effets
  • Nombre de personnes rapportant avoir changé d’attitude par rapport à une problématique;
  • Nombre de personnes ayant adopté une nouvelle pratique;
  • Nombre de personnes rapportant une aisance à utiliser de nouvelles connaissances;
  • Types de modifications apportées à une politique dans l’organisation;
  • Taux de satisfaction de la clientèle;
  • Niveau d’intérêt à participer à des projets de production de connaissances.
2) Choix des indicateurs

Le choix des indicateurs est une étape importante dans la planification de l’évaluation. En effet, ceux-ci représentent les indices qui permettront d’évaluer l’implantation et les effets du projet de TUC. Il est cependant important de se rappeler qu’un indicateur ne représente qu’une seule dimension du processus de TUC. Un indicateur ne vient donc jamais seul : il faut un ensemble d’indicateurs afin de représenter adéquatement tout le processus de TUC.

Le choix d’un indicateur repose sur certains attributs :

1. La validité. Un indicateur est valide lorsqu'il mesure efficacement le phénomène étudié, c’est-à-dire qu’un indicateur valide représente un portrait juste de la réalité. Les variations de l’indicateur doivent pouvoir être attribuées au projet de TUC afin de tirer des conclusions exactes.

2. La sensibilité. Un indicateur doit être suffisamment sensible pour permettre de discerner la nature et l’ampleur des changements obtenus suite à la mise en œuvre des activités de TUC. Un indicateur sensible signale le moindre changement du phénomène étudié : il varie beaucoup et rapidement lorsqu’une modification se produit.

3. L’accessibilité. L’accessibilité d’un indicateur dépend de la disponibilité des sources de données pour le mesurer, mais aussi de la facilité et du coût des moyens à employer pour collecter et analyser les données.

4. L’utilité. Un indicateur est utile lorsqu’il permet aux responsables du projet de TUC de mieux comprendre le fonctionnement de leur projet afin d’apporter des changements si nécessaire. Un indicateur est également utile quand il est simple d’utilisation et qu’un grand nombre de personnes peut facilement le comprendre, incluant les non-spécialistes.

Le choix des indicateurs : un exemple concret

Mise en situation. 

Dans le cadre de votre mandat, vous devez implanter une formation qui sera suivie par 150 employés. Cette formation se veut une « mise à jour » visant à harmoniser les compétences de vos employés à utiliser les logiciels de traitement de texte et de données. Votre patron a une préoccupation majeure : s’assurer que l’ensemble du contenu est couvert par le formateur.

 

Choix A. L’indicateur choisi est la perception du formateur sur la couverture du contenu. À la fin de chacune des formations, vous demandez au formateur de signer une feuille attestant qu’il a bien donné l’ensemble du contenu planifié.

  • Validité : On peut mettre en doute la validité de ce type d’indicateur. Comment pouvez-vous être certain que le formateur dit vrai ou qu’il se souvient avec exactitude de l’ensemble du contenu couvert lors de sa formation? Il pourrait avoir omis des informations, mais ne plus s’en souvenir lorsque vient le temps de signer la feuille.
  • Sensibilité : Cet indicateur manque de sensibilité. En effet, si le formateur ne signe pas la feuille, vous allez seulement savoir qu’il n’a pas couvert le contenu à 100 %. Vous n’en saurez pas davantage : a-t-il couvert le contenu à 99 %, à 80 % ou à 40 %?
  • Accessibilité : Cet indicateur est facile à colliger et il est peu coûteux à produire.
  • Utilité : Ce type d’indicateur répond à la préoccupation de votre patron. Ce dernier s’intéresse à la façon dont la formation a été réalisée (son niveau d’implantation) et non à son impact (effet de la formation) sur ses employés. Il est également facile de saisir le sens de cet indicateur.

 

Choix B. Vous développez un questionnaire énumérant les 50 aspects qui doivent être couverts lors de la formation. Vous demandez à l’ensemble des participants à la formation (150 employés) d’indiquer par « oui » ou « non » si chacun des 50 aspects a été couvert lors de la formation qu’ils ont suivie. Le pourcentage d’aspects couverts est votre indicateur. Le questionnaire sera rempli de façon anonyme immédiatement après la formation.

  • Validité : Cet indicateur est valide. En posant directement la question « Est-ce que tel ou tel aspect a été couvert? », vous avez de bonnes chances d’avoir une réponse qui reflète la réalité. D’autant plus que le questionnaire sera rempli directement après la formation (ce qui évite les biais de mémoire) et de façon anonyme (ce qui diminue le risque que les employés ne disent pas la vérité).
  • Sensibilité : Cet indicateur est sensible. Vous saurez exactement à quel pourcentage le contenu a été couvert, et ce, pour chacun des employés.
  • Accessibilité : Ce type d’indicateur est accessible, mais vous devez prévoir le temps et les ressources humaines pour la collecte des réponses et l’analyse des questionnaires.
  • Utilité : Ce type d’indicateur répond à la préoccupation de votre patron, il saura avec précision si la formation a couvert l’ensemble du contenu. Au besoin, vous pourrez aussi lui indiquer les aspects qui ont été moins couverts, ce qui permettra de réajuster la formation.

 

Choix C. Vous choisissez deux indicateurs : le degré de connaissance et le degré d’aisance des employés envers les logiciels de traitement de texte et de données. Pour les mesurer, vous  choisissez au hasard 30 employés et vous leur faites passer un test de connaissances avec quelques exercices d’application pratique sur les logiciels de traitement de texte et de données. Le contenu du test de connaissances et de l’exercice d’application pratique couvre adéquatement l’ensemble des aspects qui doivent être enseignés lors de la formation.

  • Validité : Ces indicateurs sont très valides. Un test de connaissances et un exercice d’application pratique vous permettent d’observer directement la réalité.
  • Sensibilité : Ces indicateurs sont très sensibles. Vous saurez exactement le niveau de maîtrise des aspects du contenu de la formation.
  • Accessibilité : Ces indicateurs ne sont pas accessibles. Même si seulement 30 employés se soumettent à l’exercice, il vous faudra du temps et des ressources assez considérables afin de recueillir et analyser les données.
  • Utilité : Ces indicateurs ne sont pas utiles, car ils ne répondent pas à la demande du patron : vous mesurez en partie les effets de la formation sur les employés. Votre patron veut s’assurer que l’ensemble du contenu est couvert par le formateur. Il ne vous a pas demandé si les employés étaient en mesure d’appliquer ces connaissances en pratique.
Pour nous citer: 

Chaire d'étude sur l'application des connaissances dans le domaine des jeunes et de familles en difficulté (2015). "Choisir les indicateurs". SACO - Stratégies de transfert et d'utilisation des connaissances. Montréal : Chaire CJM-IU-UQAM d’étude sur l’application des connaissances dans le domaine des jeunes et des familles en difficulté. En ligne : http://www.saco.uqam.ca/demarche/choisir-les-indicateurs (consulté le xx/xx/xxxx).