Critères et indicateurs

Les critères qualitatifs dans les radios libres

Télécharger ici les résultats de l’enquête EurEvalRadio

1 – Critères et indicateurs, soyons clairs !

Notre démarche a visé à poser la question de l’évaluation qualitative concernant :

Globalement une radio
Une émission
Les compétences d’un bénévole.

Il y a un lien évident entre la nature d’une radio et de ses émissions et la façon dont on va évaluer les compétences d’un bénévole. C’est pourquoi, lors de notre enquête, nous nous sommes intéressés à ces trois dimensions.

Une autre difficulté sur les critères et indicateurs d’évaluation, en vue d’une instruction pertinente d’un livret de compétences pour des bénévoles, est que nous nous situons le plus souvent dans un cadre d’éducation informelle.

La différence avec l’éducation formelle est que nous ne pouvons pas faire une évaluation en regard de résultats attendus. En effet, en éducation formelle, on prend en compte la situation de la personne ou des compétences au début d’un processus de formation, on lui fixe un ensemble d’objectifs, on établit des processus pédagogiques formels pour aller vers l’acquisition de savoirs, de savoir-faire et d’attitudes et on connaît donc, au départ, les résultats espérés. L’évaluation finale mesure alors l’écart entre le résultat atteint et le résultat espéré. Soyons clairs, ceci ne veut pas dire pour autant que cette évaluation est absolument objective.
Dans le cas où des radios sont amenées, dans le cadre d’une mission de service public, à recevoir des volontaires pour leur apporter des compétences, l’évaluation dans cette situation d’éducation formelle ou non formelle repose alors sur ce même principe de mesure d’écart entre résultats espérés et résultats atteints. L’Irlande, dans ce domaine, a mis au point des outils pertinents et confirmés par l’expérience (Fetac).

La démarche d’EurEvalRadio s’intéresse aux bénévoles qui sont entrés dans l’activité radiophonique sans pour autant viser des acquisitions de compétences. Il nous a semblé pourtant légitime de prendre en compte les compétences acquises pendant ce bénévolat. La difficulté est que nous sommes dans une situation d’acquisition informelle.

Chacun arrive avec sa situation personnelle :

jeunes/âgés
non-diplômés / fortement diplômés
activité de loisir / activité militante
arrivant seul / arrivant au sein d’un groupe constitué
découvrant la radio / ayant au moins déjà une expérience de radio
intervenant occasionnellement / intervenant régulièrement
de la même langue maternelle que la radio/d’une autre langue maternelle

…. on pourrait évoquer aussi des vécus différents, les situations de handicap, les différences de genre, d’orientation sexuelle, etc….

2. Chacun arrive aussi avec ses motifs et objectifs personnels :

Par hasard
Pour accompagner simplement un ami
Pour passer le temps
Pour se faire plaisir
Pour faire partager une passion
Pour se rendre utile
Pour s’intégrer à un groupe
Pour régler un compte avec un passé scolaire mal vécu
Pour gagner en notoriété
Pour avoir une expérience pour augmenter son employabilité
Pour militer

3. Comme l’activité du bénévole est en général un compromis entre d’une part ses désirs personnels, ses intentions militantes, ses propositions d’émissions ou d’engagement dans l’association et d’autre part les contraintes, limites ou recadrages donnés par la radio, l’évaluation par la mesure d’un écart entre résultats obtenus et résultats espérés est impossible. En effet, les résultats espérés ont été peu formalisés et, à plus forte raison, les outils pour évaluer, de la façon la plus structurée possible, des résultats positifs ou des compétences apparues ou renforcées.

Ces trois considérations conduisent à une question : « Dès lors que nous sommes dans l’informel, une évaluation bien formalisée est-elle possible ? Notre réponse est oui, sous la condition nécessaire que l’évaluateur et l’évalué partagent et comprennent les critères et les indicateurs.

Les critères permettent de regarder ce que nous voulons évaluer sous des angles précis. Néanmoins, ils restent un concept abstrait. Un critère peut être large ou très ciblé. A priori, les critères d’évaluation les plus fiables reposent sur un système de repérage, d’exigence en termes de résultat. Par exemple : la capacité à exercer une activité en équipe est un critère mais difficilement évaluable du fait de multiples subjectivités. Par contre, la capacité à tenir un engagement comme assurer une émission chaque semaine, est évidemment plus simple. Il y a eu régularité ou non.

Donc, si les critères sont importants, ils n’ont aucune force ni légitimité si l’évaluation qui porte dessus ne repose pas sur des indicateurs concrets et pertinents.

L’indicateur répond à la question : à quoi je vois dans mes critères que la compétence est acquise et à quel degré de maîtrise ? Pour chaque critère, il est souhaitable d’avoir plusieurs indicateurs. Ceux-ci peuvent être quantitatifs, ce qui les rend indiscutables, et qualitatifs pour pondérer, justifier voire éventuellement contredire des indices quantitatifs. Les indicateurs de réussite peuvent être utiles car ils se formulent de façon simple « J’ai réussi si…….. ». Les indicateurs doivent être concrets, observables, simples et contextualisés. Un indicateur prend plus de force lorsqu’il est croisé avec d’autres indicateurs. On pourra toujours croiser des indicateurs de réalisation (ce qui s’est passé du point de départ à la situation finale), des indicateurs de résultat (productions, travail réalisé, objectifs atteints…..), des indicateurs d’impact (pour la personne, pour la radio, pour le territoire, etc….).

La limite de ces critères et des indicateurs est la réalité de leur harmonisation que ce soit, au sein d’une structure, ou dans un secteur comme le nôtre, au niveau national et européen, si l’objectif est de développer la mobilité et l’employabilité dans une vision européenne. Cette harmonisation est donc importante et c’est ce que nous visons par le présent guide accompagnant le livret européen de compétences.

2 – Y-a-t-il une typologie simple des radios ?

C’était un postulat de notre travail : comme les radios en Europe sont différentes, elles évaluent donc différemment leur action, leurs émissions, les compétences de leurs membres. Et comme nous voulons rendre crédibles, au maximum, les validations de compétences par les dirigeants, il faut donc que l’on sache sur quelles valeurs et critères les compétences ont été évaluées. Il semblait donc utile de créer une typologie des radios, exercice qui n’avait jamais été effectué par aucune structure. L’idée était qu’en s’appuyant sur cette typologie, un lecteur du livret de compétences pourrait percevoir, plus rapidement et plus simplement, et avec plus de justesse, les valeurs qui avaient conduit à une évaluation. Il est alors apparu que la typologie était en fait difficile à établir du fait qu’il n’y avait pas de déterminisme, ce qui parait évident dès qu’on croise les cinq critères :

L’implantation géographique et la population composant la communauté
Les missions générales que la radio s’est fixée : sa ligne éditoriale
Le public ciblé
Le contenu des programmes parlés
La couleur musicale. Il y a par exemple des radios rurales, qui se donnent des vocations éducatives fortes, qui ont des contenus culturels et une coloration musicale originale et qui s’adressent aussi à des communautés immigrées sur leur territoire, etc….. et d’autres qui restent sur le divertissement et ont donc une coloration musicale à base de succès ou de programmation populaire traditionnelle et se désintéressent de toute fonction sociale, culturelle ou politique ou n’ont pas les moyens de les assumer.De même il y a des radios urbaines qui se concentrent sur le divertissement et ont donc une coloration musicale à base de succès et se désintéressent des communautés sur leur territoire ainsi que de toute fonction sociale, culturelle ou politique.
Le travail d’enquête a permis de vérifier que chaque radio était particulière et qu’il était difficile de la faire rentrer à tout prix dans une typologie. Nous avons travaillé sur deux questionnaires que vous pouvez consulter en fin de ce livret. Ces questionnaires seront utiles pour tous ceux qui voudront disposer d’un outil pour mieux identifier une radio et ses références de valeurs qualitatives.
Il faut admettre que les à prioris de l’inconscient collectif et les représentations qui en découlent véhiculent des images fausses et surtout pas généralisables.

Nous avons étudié 31 questionnaires complétés avec des radios de nos différents pays.

19 questionnaires concernent des radios urbaines et périurbaines
12 questionnaires concernent des radios rurales et de montagneDans les tableaux ci-dessous, vous trouverez des éléments pour identifier les caractéristiques de fonctionnement des radios associatives en Europe, puis une large sélection de réponses, telles que fournies par ces radios, sur les questions d’accueil des bénévoles, de leur formation, des valeurs, critères et indicateurs utilisés pour évaluer la qualité de la radio, d’une émission et pour identifier et valider des compétences.