Un jour, pendant le Covid, un ami m’a envoyé trois liens de Libération.
Trois liens. Donc, dans son esprit, trois preuves.
Sauf que c’était le même journal, trois fois.
On avait multiplié les URL, pas les regards.
C’est là qu’un truc a commencé à me gratter : depuis quand le fait d’avoir une source nous dispense-t-il de réfléchir à la source ? Depuis quand un lien bleu posé sous une phrase transforme-t-il cette phrase en vérité ?
Une source n’est pas un totem.
Et cinquante sources issues du même monde mental ne font pas cinquante pensées.
Le rêve de Wikipédia
J’ai aimé Wikipédia.
J’ai même donné de l’argent au projet. L’idée reste magnifique : un savoir libre, construit ensemble, accessible à n’importe qui. Pendant longtemps, Wikipédia était pour moi une porte. J’y entrais pour trouver un mot, une date, une piste, puis j’allais voir ailleurs.
Le problème a commencé quand la porte est devenue un tribunal.
Pas partout. Pas tout le temps. Mais suffisamment souvent pour qu’on sente apparaître une manière de raconter les gens avant même de les présenter.
Le plus ironique, c’est que les règles de Wikipédia sont moins bêtes que leur caricature. Elles ne bannissent pas totalement les sources primaires. Elles disent qu’un article doit reposer principalement sur des sources secondaires fiables, mais qu’une source primaire peut servir pour des faits simples, vérifiables et non polémiques. Elles parlent même de bon sens et de jugement éditorial.
Tout est là.
Le problème n’est pas la méthode. Le problème commence quand la méthode remplace le jugement qu’elle était censée aider.
Avant la personne, l’étiquette
Prenons Bernard Lugan.
Sa fiche ne commence pas seulement par son métier, ses travaux sur l’Afrique, ses années d’enseignement ou ses sujets de recherche. Elle le présente comme un « historien français africaniste d’extrême droite ». Quelques lignes plus bas, il est « très isolé », « controversé » et « à contre-courant du consensus ».
Peut-être que chaque expression possède une source. Ce n’est pas encore la question.
La question est : qu’a reçu le lecteur avant même d’avoir rencontré son travail ?
Il a reçu la conclusion.
La fiche du Raptor fonctionne de manière encore plus visible. Dès l’introduction arrivent « extrême droite », « fachosphère », « violent », « viriliste », « antiféministe », « masculiniste », « sexiste », puis « complotiste ».
Encore une fois, il ne s’agit pas de déclarer que tous ces mots sont faux, ni de blanchir qui que ce soit. Il s’agit d’observer l’ordre du récit.
On ne nous montre pas d’abord une personne, ses propos, ses contradictions et ses actes pour nous laisser former un jugement. On nous fournit la grille, puis on range les faits à l’intérieur.
Wikipédia n’a pas seulement documenté la personne.
Elle nous a appris comment la regarder.
La pluralité des liens n’est pas la pluralité des regards
Les deux fiches sont abondamment sourcées. C’est précisément ce qui les rend intéressantes.
Le problème n’est pas l’absence de références. C’est l’illusion que leur nombre suffit à garantir la diversité du regard.
Un article du Monde, un autre de Libération, un papier des Inrocks, une dépêche reprise par plusieurs rédactions : cela peut faire beaucoup de liens, beaucoup de petites notes et une très belle forêt de chiffres en exposant. Mais combien d’enquêtes indépendantes ? Combien de sources remontent au propos original ? Combien se citent, se reprennent ou partagent déjà le même cadre culturel ?
Ce n’est pas nécessairement une manipulation. C’est parfois seulement une circulation.
Une formule apparaît dans un média. Un second la reprend. Wikipédia cite les deux. Un fact-checker consulte Wikipédia. Puis un nouvel article cite le fact-checker.
Au bout de la chaîne, le récit semble confirmé de partout.
En réalité, il tourne peut-être en rond.
J’appelle ça le polysourçage monocadre : beaucoup de références, mais une seule fenêtre.
Une étude n’est pas une vérité tombée du ciel
Le même problème existe dans la science.
Dire cela ne revient pas à rejeter la recherche. Au contraire : prendre la science au sérieux, c’est refuser de transformer chaque publication en parole sacrée.
En 2005, l’épidémiologiste John Ioannidis publie Why Most Published Research Findings Are False. On résume souvent ce texte par : « La plupart des études sont fausses. » Mais ce n’est pas exactement ce qu’il fait.
Ioannidis construit un modèle. Il montre que la probabilité qu’un résultat publié soit vrai diminue lorsque les échantillons sont petits, les effets faibles, les hypothèses nombreuses, les méthodes flexibles, les biais importants et la course au résultat significatif intense.
Ce n’est pas une méta-analyse prouvant que chaque revue médicale raconte n’importe quoi.
C’est plus intéressant que ça : il montre pourquoi un système scientifique peut produire beaucoup de résultats fragiles sans que tous les chercheurs soient des escrocs.
Dix ans plus tard, l’Open Science Collaboration tente de reproduire cent expériences publiées dans trois grandes revues de psychologie. Presque toutes les études originales annonçaient un résultat statistiquement significatif. Dans les réplications, ce n’était plus le cas que pour 36 % d’entre elles. Les effets observés étaient en moyenne deux fois plus faibles.
Ça ne signifie toujours pas que « la psychologie est fausse ».
Ça signifie qu’une étude isolée est un début, pas un verdict.
Le cerveau sur ChatGPT
On retrouve exactement ce glissement avec l’étude du MIT sur l’utilisation de ChatGPT pour rédiger des dissertations.
Les chercheurs ont utilisé un EEG — des électrodes placées sur le cuir chevelu qui enregistrent des variations d’activité électrique — et ont comparé un groupe utilisant un grand modèle de langage, un groupe utilisant un moteur de recherche et un groupe travaillant sans outil.
L’étude est intéressante. Mais elle reste située : 54 participants pour les trois premières sessions, puis 18 pour la quatrième, une tâche de rédaction précise et un préprint qui demande encore à être discuté et reproduit.
J’avais déjà pris ce cas dans Réapprendre l’épistémologie. Il faut cependant séparer deux critiques que j’y rapprochais un peu vite.
L’étude du MIT utilise un EEG. Des électrodes posées sur le cuir chevelu enregistrent des variations électriques. L’outil est très précis dans le temps, beaucoup moins pour localiser exactement l’origine du signal. Il ne lit ni une pensée, ni une intelligence, ni une dette cognitive. Il enregistre des motifs qu’il faut ensuite traiter et interpréter.
L’IRM fonctionnelle, dont parle notamment Albert Moukheiber, fonctionne autrement. Elle ne photographie pas non plus une pensée en train de naître. Son signal BOLD dépend notamment des variations d’oxygénation du sang. On compare ensuite des conditions — une tâche contre une autre, ou contre une situation de référence — pour faire apparaître des différences statistiques.
Autrement dit, les belles zones colorées sont déjà le résultat d’une chaîne : protocole, contraste, traitement, seuil statistique, correction, puis interprétation.
Ce ne sont pas des petites ampoules qui s’allument dans le cerveau.
Le saumon qui pensait encore
L’expérience du saumon mort est devenue célèbre pour cette raison. Craig Bennett et ses collègues placent un saumon atlantique mort dans un appareil d’IRMf et lui présentent des photographies de situations sociales. Sans correction adaptée aux très nombreuses comparaisons statistiques réalisées entre les voxels, ils obtiennent une petite zone « significativement active » dans son cerveau.
Le saumon était mort.
Après correction pour les comparaisons multiples, l’activation disparaît.
Cette expérience ne prouve pas que l’IRMf est une escroquerie. Elle montre quelque chose de plus utile : un instrument sérieux, des images impressionnantes et un seuil statistique ne nous protègent pas automatiquement contre les faux positifs. Plus on multiplie les endroits où l’on cherche un effet, plus on risque d’en trouver un par hasard.
Le saumon mort n’enterre pas l’IRMf.
Il enterre l’idée que la machine pense à notre place.
Elle peut devenir :
Dans cette expérience, ce groupe a présenté certains motifs de connectivité EEG plus faibles pendant cette tâche.
Puis :
ChatGPT réduit l’activité cérébrale.
Puis :
L’IA rend con.
Le conditionnel a disparu. Le cadre aussi. Il ne reste qu’une petite histoire facile à partager.
C’est ce que j’ai appelé ailleurs le glissement : une étude décrit quelque chose, le commentaire l’explique, puis le récit en fait une vérité générale.
La prudence de l’étude meurt rarement dans l’étude.
Elle meurt dans ce qu’on a envie de lui faire dire.
Le piège du « c’est sourcé »
Quand quelqu’un dit « c’est sourcé », il croit parfois avoir terminé la discussion.
Alors qu’il vient seulement de l’ouvrir.
Qui parle ? À partir de quoi ? Selon quelle méthode ? Quelle est la proximité avec le fait ? Les sources sont-elles indépendantes ? Le titre respecte-t-il l’étude ? Le conditionnel a-t-il survécu ? Une opinion attribuée est-elle devenue une identité ?
Une référence permet de remonter la piste.
Elle ne marche pas à notre place.
Wikipédia devient dangereuse non parce qu’elle utilise des sources, mais lorsqu’elle transforme leur accumulation en argument d’autorité. Plus il y a de petites notes, plus le lecteur hésite à contester le cadre. Il faudrait des heures pour tout vérifier. Alors il se soumet à l’impression générale.
Ce n’est plus seulement de l’information.
C’est de l’intimidation documentaire.
La neutralité ne devrait pas être une anesthésie
Je ne veux pas détruire Wikipédia. Je voudrais qu’elle redevienne une porte.
Qu’elle présente les faits avant les verdicts. Qu’elle attribue les jugements au lieu de les fondre dans l’identité des personnes. Qu’elle permette d’accéder aux paroles et aux documents d’origine lorsque c’est pertinent. Qu’elle montre les désaccords sans transformer chaque dissidence en diagnostic.
Une encyclopédie n’a pas à nous dire qui aimer.
Elle devrait nous donner assez de matière pour comprendre pourquoi les gens ne sont pas d’accord.
La neutralité ne consiste pas à effacer les tensions. Elle consiste à ne pas les résoudre discrètement à la place du lecteur.
Le problème n’est pas qu’il y ait trop de sources.
C’est qu’à force de les empiler, on finit parfois par construire un mur devant le réel.
Making-of — J’y ai cru
J’y ai vraiment cru.
Je notais des mots, des définitions, des étymologies. Wikipédia faisait partie de mon petit rituel de curiosité. Je suivais aussi la zététique, Hygiène Mentale, tous ces endroits où l’on apprenait à démonter une idée et à vérifier avant de croire.
Puis j’ai vu la méthode se transformer parfois en appartenance. Les mots-clés remplaçaient la lecture. « Complotiste », « extrême droite », « consensus », « étude scientifique » : chacun posait son badge et la discussion semblait terminée.
Sur Reddit, je voyais passer des publications de psychologie ou de neurosciences plutôt prudentes. Le papier disait « peut », « semble », « dans certaines conditions ». Les commentaires lisaient « prouve », « explique » et « ils sont comme ça ».
Au début, je répondais.
Puis j’ai compris que je n’avais pas envie de passer ma vie à courir derrière chaque glissement.
Alors j’ai commencé à écrire.
Pas pour remplacer un dogme par un autre. Pour rappeler un truc assez simple : une méthode est là pour nous aider à penser. Le jour où elle nous autorise à ne plus penser, elle est devenue exactement ce qu’elle prétendait combattre.
— ChamyChamo
Sources et prolongements
- Réapprendre l’épistémologie : pour une hygiène de la pensée
- Attention aux glissements : quand la vulgarisation devient une fête du slip interprétative
- Le Bouffon et le Héros
- Wikipédia — Neutralité de point de vue
- Wikipédia — Sources fiables
- John P. A. Ioannidis — Why Most Published Research Findings Are False
- The Dead Salmon Study
- MIT Media Lab — Your Brain on ChatGPT
