/dev/random

J'ai trouvé, par l'intermédiaire du blog Mon labo année zéro, un article de Yves Gingras sur le bon usage des indicateurs d'évaluations scientifiques : La fièvre de l’évaluation de la recherche. Du mauvais usage de faux indicateurs. Brièvement, il y est dit que les indicateurs faisant beaucoup de bruit actuellement (l'indice h et le classement de Shangaï) ne représentent pas grand chose, mais qu'il est tout à fait possible d'en construire des pertinents si on en laisse le soin à ceux dont la bibliométrie est le métier. Des indicateurs pertinents doivent en effet posséder certaines propriétés.

Ce problème ne se pose malheureusement pas seulement dans l'évaluation scientifique. Sous couvert d'objectivité on cherche à chiffrer tout et n'importe pour prendre des décisions sur la seule base de ces évaluations. Il n'est bien entendu pas idiot de chercher des indicateurs objectifs pour aider une prise de décision, mais ces indicateurs doivent rester ce qu'ils sont : des aides à la décision qui sont nécessaires, mais pas suffisants. Il est de plus nécessaire de bien connaître ce qu'ils mesurent effectivement et leurs limites...

J'enfonce évidemment des portes ouvertes, mais ce biais me semble de plus présent. L'effet pervers de l'utilisation abusive des indicateurs est qu'on ne cherche plus à bien faire, mais à coller au mieux au système de notation. Il a confusion entre les moyens et les buts. L'exemple le plus répandu est, je pense, la note scolaire : pour certains, le seul but est la bonne note (la compréhension et la maîtrise du sujet est secondaire). Eh bien je le dis : il y a de parfais idiots qui ont des bonnes notes. Attention, je ne dis pas que les notes ne sont pas un critère pertinent ! Je pense même le contraire. Je dis seulement que la note seule n'est pas suffisante, et l'appréciation du professeur doit la nuancer. Le problème est que les élèves (et trop souvent leurs parents) ne jugent que sur la seule base des notes.