Évaluer la CSTI ? Note bibliographique

L’extension du domaine de la recherche, c’est aussi la capacité à mesurer l’impact des actions de culture scientifique, technique et industrielle (CSTI), pour guider les politiques publiques en matière de diffusion et de valorisation des sciences.

Voici une note bibliographique rédigée à l’intention de l’ANRU, qui entame actuellement l’évaluation des projets (une vingtaine) financés dans le cadre de l’action « développement de la CSTI »  du Programme Investissement d’Avenir, doté de 100 millions d’euros.

De la culture scientifique aux politiques de CSTI

La culture scientifique, telle qu’on la conçoit couramment, est une composante de la formation de l’honnête Homme du XXIe siècle. Dans un idéal démocratique et humaniste, on considère essentiel de donner à chaque citoyen la possibilité de s’approprier un savoir lui permettant de mieux évoluer dans son environnement quotidien, en toute connaissance et conscience. Au-delà des connaissances scientifiques, l’appropriation de la « méthode scientifique » développant notamment l’observation, l’esprit critique, le scepticisme et l’objectivité devant les faits, pourrait rendre chaque homme et femme plus autonome, libre d’exercer un jugement éclairé au moment de se former une opinion.

En France, cette culture scientifique a été promue au fil des décennies par des politiques publiques destinées à favoriser la mise en place et la diffusion de dispositifs de culture scientifique. Daniel Raichvarg raconte ainsi dans son histoire de la vulgarisation comment, « devant le poids pris par les sciences dans la société, l’État comprend la nécessité de sensibiliser le public aux sciences et de développer ce qui s’appelle désormais ‘la culture scientifique’ » (Raichvarg, 2005), soit aujourd’hui la culture scientifique, technique et industrielle (CSTI). Ce soutien de l’État a été très fort, au point qu’un observateur comme Baudouin Jurdant (2008) assimile la CSTI à « un artefact créé par des financements ministériels » !

Ces politiques publiques ont été portées à la fois par les milieux de la recherche au premier rang desquels le Ministère (Ferriot, 2014) mais aussi les universités (Boudia et Soubiran, 2014), et par le monde de la culture au premier rang duquel le Ministère (Hottin, 2014). Ce sera l’ouverture du premier centre de CSTI (CCSTI) à Grenoble en 1979, de la Cité des sciences à Paris en 1986, la première Fête de la science en 1992, la rénovation de la Grande Galerie de l’évolution au Muséum en 1994, etc. Et « le devoir de culture scientifique » d’être reconnu, lors des Assises de la recherche de 1982, comme la quatrième mission du chercheur (Raichvarg, 2005).

Cité des sciences et de l'industrie

Cité des sciences et de l’industrie (©© Arnaud Malon)

Quelques ouvertures de CCSTI et restructurations du paysage de la CSTI plus tard (Guyon et Maitte, 2008), cette dynamique est loin d’être tarie comme le prouvent les mouvements récents ponctués par le nouveau schéma d’organisation de la CSTI en France présenté par la Ministre Geneviève Fioraso lors du Forum national de la CSTI en janvier dernier. Citons pèle mêle le rapport sur la CSTI rendu par l’OPECST (PDF, janvier 2014), l’installation du Conseil national de la culture scientifique, technique et industrielle (mars 2012), le rapport de l’IGAENR sur la diffusion de la culture scientifique (PDF, janvier 2012), et la mise en place d’une action du Programme Investissement d’Avenir confié à l’ANRU (octobre 2010).

Des dispositifs variés de CSTI

La variété des dispositifs de CSTI fait sans nul doute une partie de son charme et de sa richesse : variété des objectifs, des lieux, des supports et des publics, des acteurs et médiateur, des relations à l’art ou à l’enseignement… Tout inventaire serait illusoire dans le cadre de cette mise en contexte mais on peut citer quelques exemples non représentatifs :

  • les expositions permanentes des centres de science, ou temporaires, voire itinérantes
  • les spectacles mêlant art et science
  • les démonstrations de physique ou de chimie amusante
  • les clubs de science
  • les serious games ou « jeux sérieux »
  • les blogs de science et toutes les actions, institutionnelles ou non, de la CSTI sur le web
  • les livres de vulgarisation scientifique, pour un public de jeunes ou d’adultes
  • les dispositifs de science citoyenne ou science participatives

Pour Laurent Chicoineau, directeur de La Casemate à Grenoble, une tendance de fond se dégage véritablement quand on analyse, sur les dix dernières années, le contenu des conférences annuelles du réseau européen ECSITE et de celles du réseau PCST (Public Communication on Science and Technology, un réseau international de chercheurs sur la CSTI) (Chicoineau, 2014) : « travailler du côté de la participation et de l’engagement des publics dans les actions de CSTI plutôt que de rester, de manière classique, sur les notions d’éducation (y compris informelle) aux sciences ». Un avènement du fameux  « tournant de la participation » diagnostiqué par les études des sciences dans les années 1990 ?

Pour quel impact ? La question de l’évaluation

Mais depuis le temps que la vulgarisation scientifique existe (plusieurs siècles si on la fait notamment remonter à Fontenelle au XVIIe siècle), et qu’elle est soutenue au plus haut niveau de l’État, on peut s’interroger sur ses résultats tangibles observables. Nous touchons à la question si cruciale de l’évaluation. Daniel Raichvarg constatait en 2005 que « depuis le début des années 1980, de nombreux colloques et rencontres sont des occasions de réfléchir sur la vocation de cette CST : diffuser les savoirs ? Former l’esprit scientifique ? Développer la capacité d’expertise des citoyens sur les sujets de société ? Ou même favoriser l’innovation et le développement économique ? » (Raichvarg, 2005). Lors d’un de ces colloques, organisé en février 2011 à Nancy, il pointait du doigt dans sa conférence inaugurale la permanence de l’interrogation sur les résultats, les effets, l’évaluation… bref l’impact des actions de CSTI. Et l’auteur de se réjouir de l’essor des recherches en sociologie, linguistique, sciences de l’information et de la communication, sciences de l’éducation… qui prennent la CSTI comme objet, et tentent de répondre à cette interrogation (Raichvarg, 2013).

Les cultures des sciences en Europe

Affiche du colloque “Les cultures des sciences en Europe” (Nancy, février 2011)

À défaut de poser la question des effets et de l’impact des actions de CSTI, et de tenter d’y répondre, la CSTI pourrait devenir la victime de ses ambiguïtés non dissipées. Exemple d’ambiguïté, l’hypothèse selon laquelle elle remplirait une fonction d’oralisation de la science profitant avant tout au scientifique qui vulgarise — combien de fois avons-nous entendu « je vulgarise pour mieux comprendre ce que je fais » (Jurdant, 2008) ? Autre exemple, le postulat que le schéma classique de la vulgarisation comme « évangélisation scientifique » nourrirait non pas un attrait pour la science mais un attrait pour les productions culturelles à propos de science — la multiplication des actions de CSTI profitant surtout à la CSTI et attirant les étudiants dans les filières de médiation scientifique (Le Marec, 2009).

L’évaluation scientifique des dispositifs de CSTI

C’est à ce titre que le colloque de Nancy où intervenait Daniel Raichvarg est exemplaire, car il est riche de retours critiques, d’analyse d’impact et d’observations participantes sur des dispositifs de CSTI (Masseran et Chavot, 2013). On y constate que les intentions inclusives des dispositifs de médiation scientifique se heurtent à la réalité du terrain (sexisme, exclusion sociale, détournement…). Fort heureusement, le colloque décrit également des actions originales de culture scientifique à base de chansons populaires ou s’appuyant sur la danse. Arrêtons-nous sur quelques exemples :

  • l’étude de plusieurs terrains d’action à Grenoble montre que « la vulgarisation tient lieu d’habitus structurant une communauté, et participant à la reproduction sociale de la conception positiviste que les sciences se font d’elles-mêmes » : quand les chercheurs vulgarisent, on est loin des postures critiques et de la déconstruction du modèle du déficit ! « Les postulats d’une réception “profane” et d’un “fossé des connaissances” ne sont jamais discutés, et viennent confortablement justifier la finalité des pratiques vulgarisatrices »
  • la structure pyramidale des rétributions et des ressources dans la communauté scientifique se retrouve dans les activités de médiation : les femmes participent moins que les hommes et leurs activités de vulgarisation sont perçues comme une perte de qualité scientifique lors des procédures de nomination, alors que chez les hommes la vulgarisation est valorisée comme moyen de toucher le grand public
  • dans une étude des serious games mobilisés dans les expositions sur le climat et les épidémies à la Cité des sciences et de l’industrie, il apparaît que les professionnels de la communication, du spectacle, de l’information… qui produisent ces expositions esthétisent certains modes de vie qui coïncident avec leur imaginaire. De quoi nous interroger « sur la capacité de l’institution muséale à susciter un débat ainsi qu’un engagement de la part de ses visiteurs »
  • les débats publics sur la gestion des déchets radioactifs et sur les nanotechnologies échouent à faire participer le grand public à l’action publique et à impliquer ses participants dans un engagement citoyen : « le dispositif du débat CNDP est encore fortement imprégné par [le modèle] du déficit où l’on promeut la science dont le citoyen est censé avoir besoin ». C’est l’échec brutal de la démocratie technique, avec un « métadiscours de défiance » qui résulterait d’une contestation du dispositif, « symptomatique des difficultés, en France, à instaurer le débat à thème scientifique ».

Une remarque méthodologique s’impose : toute évaluation scientifique devrait commencer par poser une hypothèse (dite H0) à tester sur le dispositif étudié, pour pouvoir la valider ou la rejeter. Trop souvent, et le colloque de Nancy ne fait pas exception, on a l’impression que les auteurs ont pris ce qui les intéressait dans leurs observations afin de pouvoir retomber sur leurs pieds. Ce n’est pas ainsi, sans protocole permettant de confirmer ou informer une hypothèse donnée, que fonctionne la recherche scientifique. Mais l’évaluation scientifique n’est pas le seul type d’évaluation à laquelle s’expose la CSTI en France. Il nous faut aborder également la question de l’évaluation des politiques publiques de CSTI.

L’évaluation institutionnelle de la gouvernance de la CSTI

Il est prévu que le Conseil national de la culture scientifique, technique et industrielle soit « consulté sur la programmation des opérations menées dans les régions, sur les modalités d’évaluation de leur impact et sur la répartition des crédits alloués par l’Etat » (Anonyme, 2012). Cependant, la lecture des recommandations issues des trois premières séances de travail du Conseil (juillet 2012, octobre 2012, mai 2013) montre que le Conseil ne s’est encore jamais prononcé sur la question de l’évaluation ou de l’impact. Le seul effort institutionnel que nous ayons noté en la matière est celui de la loi de finances pour 2011 qui préconisait d’évaluer l’objectif de « renforcement des liens entre la science et la société » lié aux politiques de soutien à la CSTI « au moyen d’un indicateur traduisant l’opinion de la population française sur la science et ses effets » !

Jaune budgétaire 2011

Extrait du “Rapport sur les politiques nationales de recherche et de formations supérieures. Annexe au projet de loi de finances pour 2011″ (Ministère de l’économie et des finances, 2011)

Mais le législateur notait qu’« une réflexion sur la pertinence de l’enquête source » était en cours, qui a dû être sans équivoque puisque cet objectif a disparu du jaune budgétaire 2014. Aujourd’hui, on ne trouve plus que les indicateurs du bleu budgétaire liés à la fréquentation d’Universcience. Notoirement insuffisants, donc.

PLF 2014 – Extrait du bleu budgétaire de la Mission recherche et enseignement supérieur

“PLF 2014 – Extrait du bleu budgétaire de la Mission recherche et enseignement supérieur” (Ministère de l’économie et des finances, 2013)

La question de l’évaluation institutionnelle de la CSTI est donc difficile, et délicate si l’on ne veut pas brusquer certains acteurs du champ de la CSTI. À quoi il faut répondre comme Bernard Ancori (vice-président « Sciences en société » de l’Université de Strasbourg) que l’évaluation peut être comprise de manière inclusive et non pas exclusive : « évaluer, cela devrait être trouver pour chacun sa juste place dans un dispositif d’ensemble » (Ancori, 2008).

Références bibliographiques

ANCORI Bernard (2008), « Clôture du colloque », in Jean-Pierre Alix, Bernard Ancori et Pierre Petit (dir.), Sciences en société au XXIe siècle : autres relations, autres pratiques, Actes du colloque des 28 & 29 novembre 2007, CNRS Éditions

ANONYME (2012), « Décret n° 2012-572 du 24 avril 2012 relatif au Conseil national de la culture scientifique, technique et industrielle », Journal officiel de la république française, n° 0099, p. 7478, 26 avril

BOUDIA Soraya et Sébastien SOUBIRAN (2014), « Les universités : de la “culture scientifique” à “sciences et sociétés” », Colloque Histoire de la culture scientifique en France : institutions et acteurs, Dijon, 11 février

CHICOINEAU Laurent (2014), « Quelles tendances pour la culture scientifique en 2014 ? (1/3) », Making science public, 5 janvier

FERRIOT Dominique (2014), « Le Ministère chargé de l’enseignement supérieur et de la recherche : une politique publique de la culture scientifique, technique et industrielle », Colloque Histoire de la culture scientifique en France : institutions et acteurs, Dijon, 11 février

GUYON Étienne et Bernard MAITTE (2008), « Le partage des savoirs scientifiques », La revue pour l’histoire du CNRS, n° 22

HOTTIN Christian (2014), « Ministère de la culture : ethnologie et culture scientifique », Colloque Histoire de la culture scientifique en France : institutions et acteurs, Dijon, 11 février 2014

JURDANT Baudouin (2008), « Entre science et société : les ambiguïtés de la vulgarisation » in Jean-Pierre Alix, Bernard Ancori et Pierre Petit (dir.), Sciences en société au XXIe siècle : autres relations, autres pratiques, Actes du colloque des 28 & 29 novembre 2007, CNRS Éditions

LE MAREC Joëlle (2009), «  La vulgarisation : modèles et publics », cycle de conférences La vulgarisation scientifique : une mode ? une nécessité ? une illusion ?, 3 mars, ENS Lyon

MASSERAN Anne et Philippe CHAVOT (dir.) (2013), Les cultures des sciences en Europe (1). Dispositifs en pratique, Presses universitaires de Lorraine, coll. « Série actes »

RAICHVARG Daniel (2005), Sciences pour tous ?, Gallimard, coll. « Découvertes », janvier

RAICHVARG Daniel (2013), « Les cultures des sciences en Europe : dispositifs. Quelles actions, quelles recherches, quelles recherches-actions, quelles actions-recherches ? », in Masseran et Chavot (dir.), 2013

7 réponses à Évaluer la CSTI ? Note bibliographique

  1. Pardonnez-moi si j’enfonce des portes ouvertes. Je n’ai pas votre langage de chercheur, mais avec celui d’observateur du milieu qui a vu passer maintes tentatives de mesures, je pense important de souligner l’hypothèse suivant laquelle l’idée de “mesurer” la culture scientifique, telle qu’elle est défendue par les gouvernants, est un idéal dépassé. Un idéal qui aurait peut-être eu du sens lorsque la vulgarisation était une activité professionnelle naissante au milieu du XXe siècle mais plus maintenant. A la lumière de ce que la psychologie et les sciences de la communication nous ont appris depuis 30 ans… et plus particulièrement à la lumière de ce que les “débats” sur le climat, la vaccination ou l’évolution nous ont appris, on est désormais conscients que de mesurer l’évolution des connaissances n’est pas la fin de tout: la culture scientifique est aussi affaire de valeurs personnelles, d’idéologie, voire de croyances religieuses, des choses qui échappent singulièrement aux tentatives de les mesurer.

    Certes, on peut mesurer des changements d’attitude d’un public si on fait une étude immédiatement avant et immédiatement après une activité de CST. Mais sur un temps plus long, une telle tentative est vouée à l’échec: dans notre ère de médias de masse, deux études, à un an d’écart, ne pourront jamais pointer du doigt avec assurance une activité comme seule responsable d’un changement d’attitude ou de comportement.

    Par ailleurs, et je crois me rappeler, mais ça fait longtemps, que Raichvarg a écrit quelque chose là-dessus: il est utopique d’imaginer des indicateurs valables pour tous les types d’activités de CST —l’exposition, le livre, la chronique dans un journal, la conférence… Nous le savons, et pourtant, je soupçonne qu’on soit nombreux à continuer d’y rêver. Si mon intuition se révélait juste, ça trahirait le fait que nous continuons malgré tout de croire au modèle du déficit: bien que nous sachions tous que l’idée du “transfert de connaissances” du “savant” vers “l’ignorant” ne passe plus la rampe, nous voulons croire qu’un beau jour, une vulgarisation particulièrement bien faite “réussira” là où les autres ont échoué —et si c’était le cas, nos “indicateurs” seraient là, tout prêts à le prouver. Mais l’impact de la vulgarisation (ou “des vulgarisations”?) ne saurait se mesurer ainsi: nos cerveaux font de la résistance.

    Désolé pour la longueur de cette réponse.

    • Salut Pascal, merci pour ce commentaire avec lequel je suis complètement d’accord. Mesurer la “culture scientifique” hors de tout contexte est inutile, voire idiot. Par contre, un questionnaire adapté à l’activité de CST auquel le public vient de participer est tout à fait pertinent pour comprendre les effets de cette activité.

      Je citerai un très bon exemple tiré de l’ouvrage dirigé par Masseran et Chavot : il s’agit d’une étude de Joanne Clavel sur la réception par le public d’un spectacle de danse à contenu scientifique. Elle part du postulat selon lequel “la dimension esthétique et sensible apporte une autre forme de communication”, l’art proposant en particulier “une quasi absence de contrôle du sens vis-à-vis du destinataire”. Ce qui nous emmène dans une terra incognita par rapport aux pratiques classiques de vulgarisation. D’où l’importance de se demander ce que le public fait du spectacle auquel il assiste, et comment il en construit le sens.

      Sans entrer dans le détail, Joanne montre que le prospectus “scientifique” qui accompagne le spectacle est finalement très peu lu. Les spectateurs sont surpris par le spectacle de danse qui se déroule dans les allées de la ménagerie du Jardin des plantes et s’arrêtent pour y assister. Une fois leur intérêt enclenché, ils comprennent ce qu’ils voient (plus de 80% des spectateurs ont reconnu une interprétation d’oiseaux), et ressenti des émotions assez fortes (note moyenne de 3,5 sur une échelle allant de -5 à 5). Il s’agit clairement d’une approche alternative à la transmission de connaissances : “la médiation par la danse renvoie ici aux dimensions esthétiques et éthiques de la biologie de la conservation et pas uniquement à sa dimension cognitive classique”. Mais les résultats de l’évaluation montrent bien que cette approche donne des résultats.

      Cette recherche n’est pas anodine. D’une part, elle aide les professionnels de la médiation à comprendre le statut des spectacles art-science : “toucher le spectateur par l’enchantement du monde qu’elle propose” ? Fournir un marchepied à la vulgarisation classique ? Renvoyer à d’autres dimensions de la science comme l’éthique ? D’autre part, elle concerne aussi les décideurs qui élaborent les politiques de culture scientifique. En effet, la médiation des sciences par l’art (“art-science”) a le vent en poupe, et s’institutionnalise de plus en plus. Ainsi, la région Île-de-France précisait dans son appel à projets 2013 de soutien à la promotion de la culture scientifique que, pour être éligibles, les actions à dimension artistique “auront comme objectifs premiers la culture scientifique et devront également être accompagnés par une médiation scientifique ou une mise en débat”. Or si 77 % des spectateurs ne lisent pas le prospectus scientifique, et que le dispositif transmet bien des connaissances transformées en émotion et en expérience, on peut se demander à quoi bon l’enrober de ceci ou cela…

  2. Fort intéressante discussion. Si je décode bien l’exemple du spectacle de danse, il y a une surprise, ou à tout le moins une découverte inédite aux yeux de Joanna Clavel : le fait que cette « approche » donne des résultats.

    Sauf que ce ne serait ni une surprise ni une découverte pour un professionnel de la communication (journaliste, relationniste, artiste, écrivain, etc.), ni pour un chercheur en communications. Pour eux, il tombe sous le sens que cette approche qu’est la danse, comme n’importe quelle approche, puisse donner des résultats : c’est là l’essence même de la communication dirigée vers un public autre que le public d’experts.

    Là où cela rejoint, je suppose, le propos de Mme Clavel, c’est qu’aucun de ces gens ne rêve évidemment d’une transmission de connaissances linéaire; mais de quelque chose de beaucoup plus diffus, et en partie imprévisible. Imprévisible, parce que changeante en fonction du public et du contexte. Or, cette imprévisibilité me ramène à mon premier commentaire: si les “résultats” ou les “retombées” sont à ce point changeantes, ça pourrait vouloir dire que cette quête d’indicateurs est illusoire: parce que s’il faut en réinventer de nouveaux avec chaque nouvelle activité et chaque nouveau public, il n’y aura pas assez d’humains sur Terre pour évaluer les activités de CST.

    Je suis conscient de simplifier en disant ça. Mais permet-moi de compléter ma réflexion. Serait-il possible que cette quête d’indicateurs soit une manifestation de l’incompréhension-clef entre le scientifique et le journaliste, voire, entre l’expert et le « communicateur »: c’est-à-dire que le prof réagit… en prof. Bien qu’il soit conscient que la communication est un métier différent, son premier réflexe reste néanmoins de déduire que l’activité de CST doive nécessairement s’évaluer comme un cours, avec « examens » à la clef.

    À ton avis, les chercheurs qui rêvent d’évaluer la CST et qui se désolent de ne pas avoir trouvé la bonne méthode d’évaluation, gagneraient-ils à davantage explorer les types d’évaluations que les professionnels de la communication —communication au sens large, pas communication scientifique— pratiquent eux-mêmes et les types d’évaluation qu’ils écartent d’emblée?

  3. […] Extension du domaine de la recherche  […]

  4. […] "L’extension du domaine de la recherche, c’est aussi la capacité à mesurer l’impact des actions de culture scientifique, technique et industrielle (CSTI), pour guider les politiques publiques en matière de diffusion et de valorisation des sciences."  […]

  5. […] institutionnel sur la culture scientifique, technique et industriel (CSTI) dont je parle dans une note bibliographique publiée sur le blog de Deuxième labo. La seconde ambiguïté, puisque la question vous brûle les lèvres, concerne la cible véritable […]

  6. […] Extension du domaine de la recherche See it on Scoop.it, via Culture scientifique et technique  […]

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Vous pouvez utiliser ces balises et attributs HTML : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Évaluer la CSTI ? Note bibliographique

L’extension du domaine de la recherche, c’est aussi la capacité à mesurer l’impact des actions de culture scientifique, technique et industrielle (CSTI), pour guider les politiques publiques en matière de diffusion et de valorisation des sciences. Voici une note bibliographique rédigée à l’intention de l’ANRU, qui entame actuellement l’évaluation des projets (une vingtaine) financés dans […]