Le « Grand débat », dans sa partie officielle, est multiforme : débats locaux, cahiers dits « de doléances », contributions d'organisation, conférences régionales… Je concentrerai ici ma critique sur le site du grand débat national et les contributions apportées sur celui-ci : les contributions ont été mises à disposition publiquement, dans un format aisément exploitable par des outils informatiques.

La première question qui se pose est celle de l'organisation, entièrement coordonnée par le gouvernement, et du respect par celui-ci de ce que la CNDP (Commission Nationale du Débat Public) considère comme les principes fondamentaux de l'organisation d'un débat public : neutralité, indépendance, égalité de traitement, et transparence de traitement des résultats. La présence des garants est appréciable, et ceux-ci ont déjà montré publiquement qu'ils sont critiques de plusieurs points d'organisation. Ils n’ont hélas pas été impliqués en amont lors de la préparation, et n'ont que le pouvoir de veiller et de « formuler des recommandations », les décisions revenant à l'organisateur, le gouvernement.

Qui participe ?

Pour un réel exercice démocratique d'expression des citoyens, une importante question est celle de la représentativité. Qui participe au grand débat ? Les gilets jaunes ? Les hommes riches et citadins de plus de 70 ans au patrimoine élevé ? Pour l’instant, la seule réponse que l'on peut apporter est de l'ordre du « on ne sait pas, mais il n'y a aucune raison de penser qu'on observe un échantillon représentatif de la population française ».

L'unique donnée dont on dispose pour l'instant à propos des utilisateurs est un code postal auto-déclaré, ce qui ne permet qu'une caractérisation territoriale des contributions : les grandes villes sont (en proportion) sur-représentées, et le Nord-Est et le Centre de la France semblent avoir beaucoup moins participé. Des méthodes indirectes permettraient de déterminer des informations à partir du contenu des contributions, telles que « deux fois plus de contributeurs accordent les phrases les concernant au masculin qu'au féminin » , mais ne permettent pas de tirer de conclusions sans avoir de données sur les différences d'expression entre les catégories de population.

Quid du site ?

Le processus du grand débat, qui se veut transparent, s'appuie sur la plateforme propriétaire de CapCollectif. Cette plateforme est fermée, ce qui signifie notamment qu'elle n'est pas librement auditable par tous : un citoyen qui interagit sur cette plateforme ne peut ni savoir comment ses données sont traitées, ni si un mécanisme de la plateforme va donner la priorité à sa contribution, ni si une faille de sécurité permettrait à un autre utilisateur de modifier son texte. La plateforme ne permet pas à des développeurs tiers d’améliorer le site pour, par exemple, simplifier son utilisation. Ces prérogatives reposent entièrement sur une entreprise privée, à qui le citoyen qui veut s'exprimer doit donc faire confiance.

De plus, si l'inscription est relativement simple (pour les personnes maîtrisant déjà les outils numériques) et n’exige aucune donnée personnelle mais un simple code postal, elle sera tout aussi simple pour une entité cherchant à manipuler les résultats. Pour le dire simplement, si vous pouvez vous inscrire anonymement, alors un bot (un programme informatique autonome) le peut aussi. À ce jour, rien ne permet de suggérer qu'une attaque informatique aurait cherché à modifier les résultats (du moins en ce qui concerne les contributions dites ouvertes, les données des QCM n'étant pas publiées), mais rien ne permet a priori d'écarter la possibilité qu'une personne ou un processus ait étalé des réponses dans le temps. Enfin, rien n'empêche un même utilisateur de répondre de multiples fois au questionnaire.

En effet, ce site, à la base imaginé pour « débattre » autour de « propositions », a été sciemment configuré pour enlever à la fois la possibilité de débattre et de proposer. Empêcher de débattre, car toutes les possibilités d'interaction, de vote, d’avis, d’argumentation, de partage de source ont été désactivées par le gouvernement ; et empêcher de proposer, car la plateforme avait originellement été conçue pour que les « questions » permettent de détailler un projet précis, rôle qu'elles ne remplissent pas ici, au contraire.

Les questions, telles que le site a été pensé, auraient pu être : « En quoi votre projet répond-il à l'intérêt général ? », « En quoi votre projet est-il innovant ou pionnier ? », « Plan d'action détaillé », etc. Notons, pour souligner le côté volontaire de la configuration, que ces questions sont issues d'une utilisation précédente de la même plateforme par le même gouvernement, lors du plan climat, fin 2017.

À la place, quelqu'un voulant proposer, au hasard, le retour du RIC, se retrouve face à une salve d'une quarantaine de questions du type « Souhaitez-vous des quotas d'immigration ? » sans rapport avec le dépôt d'un projet particulier, et sans espace pour formuler une proposition, qui, du reste, aurait du mal à faire surface dans la masse par l'absence des fonctionnalités de débat. Certains ont contourné ce souci en n'utilisant que le "titre" des contributions pour poser une multitude de contributions (jusqu'à 400 !), sans indiquer de réponse aux questions posées, mais leurs contributions n’étant pas « complètes », il est à craindre qu'elles ne soient totalement écartées des analyses.

« Les omissions et les préalables idéologiques implicites biaisent à la fois les questions et les réponses »

Le site, en fait, a été réduit à deux questionnaires : l'un fermé, de type sondage, mais sans bénéficier des garanties habituelles d’un sondage comme la représentativité de l’échantillon sondé, et où l'orientation des questions est manifeste (« Voulez vous augmenter les impôts, diminuer les services publics, les deux, ou je ne sais pas ? »). On ne pourra a priori rien tirer de ce QCM, dont les données ne sont toujours pas publiques. L'autre partie du site est un questionnaire semi-ouvert (ou semi-fermé), où l'utilisateur est guidé dans une série de questions orientées, sans qu’il n’y ait par ailleurs une grande transparence sur l'origine du questionnaire. L'amas de questions impose au citoyen de réfléchir à celles-ci telles qu'elles sont posées. On ne distingue qu’une unique question vraiment ouverte, la dernière, qui demande en substance : « Et sinon, autre chose ? ». Les omissions (la culture, l'éducation… ) ou les préalables idéologiques implicites aux questions (« La France dépense trop ») biaisent à la fois les questions et les réponses.

Enfin, certaines questions conditionnent des réponses qui seraient probablement absentes de contributions libres. À titre d'exemple, une question demande quelle contrepartie peut-on demander pour les aides sociales : une immense proportion des répondants, devant cette question, propose du travail d'intérêt général, au point qu'il est difficile de ne pas inclure cette réponse dans une analyse des réponses. Mais lorsque l'on regarde les compte-rendus des réunions locales, dont plusieurs milliers sont déjà en ligne, seule une infime minorité mentionne ne serait-ce que la possibilité de demander une telle contrepartie (les TIG sont d’ailleurs plus souvent mentionnés comme solution aux incivilités ou comme peine alternative) !

Ensuite, les modalités d'analyse des données posent un souci supplémentaire : la promesse initiale du gouvernement de prendre en compte chaque contribution le contraint, au vu de la masse de celles-ci, à utiliser des outils automatisés.

Mais ceux-ci, en particulier les outils d’apprentissage automatique, ont plusieurs problèmes : d’une part, les biais d’apprentissage ; de l’autre, des limitations techniques. Des biais, car les outils de reconnaissance automatique sont, dans un premier temps, entraînés avec d’autres grandes données, qui peuvent contenir des motifs biaisés. Le modèle va alors les apprendre tels quels, y compris s’ils sous-représentent des minorités, associent par exemple les femmes aux travaux domestiques, etc. Et des soucis indépassables techniquement dans l'état de l'art : la vulnérabilité aux effets de groupe (un groupe coordonné va poser le même texte un grand nombre de fois pour lui conférer une significativité bien supérieure aux contributions individuelles), l'impossibilité de détecter ce que l'auteur a voulu écrire (l'humour, l'ironie, la négation, sont des concepts extrêmement difficiles à prendre en compte automatiquement ; les outils les plus classiques risquent sans doute d’agréger la phrase « Je veux le RIC » ou la phrase « Non au RIC » dans la catégorie des phrases évoquant le RIC, sans plus de détails).

Cette utilisation des outils automatiques pose également des problèmes d'expression : les manières les plus efficaces de parler de concepts à un algorithme seront en général assez différentes des manières de tenter de convaincre un humain.

« Tout reprise médiatique du type « Les Français pensent que » n’aura pas de véritable validité »

Enfin, on regrettera la présence d'une double « boîte noire » dans l'analyse officielle des résultats : la société qui analysera avec ses outils les contributions ne les propose pas en logiciel libre. Elle ne dévoile pas non plus ses modèles d'entraînement d'algorithmes, empêchant ainsi toute personne de reproduire exactement ses résultats (il faut donc aveuglément leur faire confiance sur le fait qu'ils prennent en compte votre contribution). D’autre part, les outils utilisés, qui appartiennent aux techniques de « deep learning », ont un problème intrinsèque d'explicabilité : on ne sait ni a priori, ni a posteriori, sur quels critères ce type d'algorithme base ses décisions, rendant toute tentative de biais inhérent aux analyses statistiques quasiment impossible à détecter.

Du reste, la restitution des questions fermées par OpinionWay risque fort d'être décevante : l’institut de sondage a prévu de restituer les réponses en calculant des pourcentages bruts sans correction. Cette mise en forme, ressemblant en tout point à la restitution d'un sondage classique effectué selon des méthodes de quotas, mais cette fois sans la moindre garantie de représentativité, s'apparente à de la désinformation. Toute reprise médiatique prévisible du type « les Français pensent que » (que ce soit pour les questions où les répondants iront dans le sens des réformes de l'exécutif ou dans un sens inverse) n’aura pas de véritable validité, étant données les conditions d’une telle restitution.

Deux écueils sont donc prévisibles à partir de cette plateforme, qui à défaut de débat, ne propose que l'expression guidée d'une catégorie d'internautes indéfinie à ce stade. Dans le premier cas, ignorer les avis exprimés sur la plateforme, au risque de valider l'expression « La dictature c’est ferme ta gueule ; la démocratie c’est cause toujours »... Dans le second cas, les prendre en compte comme étant « l'avis des Françaises et des Français », en oubliant qu'il ne s'agit que de l'avis des personnes ayant eu la possibilité technique de s'exprimer sur une plateforme en ligne, la volonté de s'adresser au gouvernement, la confiance nécessaire pour le faire sur la plateforme fermée que celui-ci propose, la possibilité de faire passer leur idée dans le questionnaire fermé du site, et la chance de voir leur avis sélectionné comme pertinent par les boîtes noires d'analyse.