Pangram peut-il expliquer sa propre fabrication ? – Par Dr Az-Eddine Bennani

À partir de l’affaire Thélyson Orélien, accusé de plagiat par le ‘’détecteur IA’’ Pangram pour son dernier roman et retiré de la liste des candidats au prix français Goncourt, Az-Eddine Bennani interroge la place réelle de l’intelligence artificielle dans la production des textes comme dans celle des outils censés les analyser. Son propos distingue clairement assistance par IA, plagiat et responsabilité éditoriale, tout en posant une exigence de transparence : un détecteur ne peut devenir un verdict sans que soient connues ses méthodes, ses limites et les conditions dans lesquelles il a lui-même été conçu.

Az-Eddine Bennani, HDR France

Depuis plusieurs tribunes, je défends une distinction simple : utiliser l’intelligence artificielle pour travailler un texte ne signifie pas plagier. Le plagiat consiste à s’approprier des mots ou des idées d’autrui sans reconnaître leur origine. L’assistance par un outil pose d’autres questions : quelle part du travail lui a-t-on confiée ? Qui a pensé le propos ? Qui a vérifié le résultat ? Qui en assume la responsabilité ? J’ai formulé ces questions à propos de mon propre livre, de l’écriture universitaire et de la création artistique. L’affaire Thélyson Orélien leur donne aujourd’hui une portée nouvelle.

L’écrivain est accusé d’avoir utilisé l’IA pour son roman C’était ça ou mourir. L’accusation est partie d’un compte anonyme s’appuyant sur Pangram, une application qui classe les textes selon leur origine supposée. Le journal français Le Monde a ensuite soumis à l’outil plus de la moitié du roman : Pangram a classé plus de 95 % du texte examiné comme généré par IA. L’auteur conteste cette accusation. Un résultat aussi marqué appelle un examen sérieux. Il ne dispense pas de comprendre ce que l’application mesure, ni de rechercher des éléments sur le travail réel de l’écrivain.

Je suis, entre autres, informaticien de formation et de pratique. Pour comprendre ce débat, il faut revenir à la fabrication d’une application informatique.

Au départ, il y a une idée : quel problème veut-on résoudre ? Dans le cas de Pangram, comment distinguer un texte humain, un texte assisté par IA et un texte généré par IA ? Cette idée exige des définitions. À partir de quelle intervention parle-t-on d’« assistance » ? Comment traiter un roman qui contient plusieurs langues, des dialogues ou des styles différents ? Quelle erreur est la plus grave : ne pas détecter qu’un texte a été généré par l’IA, ou attribuer à tort à l’IA un texte écrit par une personne ?

Vient ensuite la conception de la méthode, traduite en algorithmes. Il faut choisir des données d’entraînement, des catégories, des seuils et une manière de présenter les résultats. Des développeurs traduisent ces choix en code, dans des langages informatiques. Enfin, il faut tester l’application, corriger ses défauts et décider dans quelles conditions son résultat peut être utilisé.

Aujourd’hui, l’IA peut intervenir à toutes ces étapes. Elle peut aider à explorer une méthode, proposer un algorithme, écrire du code et générer des tests. Cela ne signifie pas qu’elle a conçu Pangram : je ne dispose d’aucun élément permettant de l’affirmer. Cela signifie que la question peut être posée légitimement à toute entreprise qui vend un détecteur d’IA : quelle place l’IA a-t-elle prise dans la conception, le développement et la validation de votre propre outil ?

Pangram publie une description technique de son modèle, de ses données et de certaines évaluations. C’est utile pour discuter de son fonctionnement. Mais ces informations ne répondent pas à elles seules aux questions sur la manière dont ses équipes ont travaillé : qui a formulé les critères ? Quel code a été écrit ou révisé avec l’aide d’une IA ? Comment les tests ont-ils été choisis et contrôlés ?

Si une IA a été utilisée dans ces tâches, il faut pouvoir en parler sans scandale. Je demande la même chose lorsqu’il s’agit d’un livre ou d’une tribune. J’ai déjà écrit que l’IA pouvait m’aider à clarifier ou à structurer l’expression de ma pensée. Cette aide ne fait pas disparaître les années de recherche dont viennent mes idées ; elle ne m’exonère pas non plus de vérifier et d’assumer chaque texte que je signe.

La même logique vaut pour un logiciel. Un code assisté par IA peut être excellent ou défectueux. Ce qui importe, c’est la qualité de sa conception, la rigueur de sa vérification et la responsabilité de ceux qui le mettent en service. Cette responsabilité devient particulièrement lourde lorsqu’une sortie de l’application peut atteindre publiquement la réputation d’une personne.

Il faut donc garder séparées trois questions trop souvent confondues. Un texte a-t-il bénéficié d’une assistance par IA ? Contient-il des emprunts non attribués à une autre œuvre ? Son auteur a-t-il respecté les engagements pris envers son éditeur ou ses lecteurs ? Un détecteur de génération ne répond pas à lui seul à ces trois questions. Transformer son score en accusation de plagiat revient à changer de sujet sans apporter la preuve nécessaire.

L’affaire Orélien ne se résoudra pas en opposant une confiance aveugle dans Pangram à une confiance aveugle dans l’auteur. Elle demande d’examiner le texte, les conditions du test, les brouillons, les versions successives et le travail éditorial. Elle demande aussi que Pangram expose clairement les limites de ses résultats. L’entreprise reconnaît que son modèle peut commettre des erreurs ; cette possibilité compte d’autant plus lorsqu’un résultat circule sur les réseaux sociaux sous la forme d’un verdict.

J’en reviens à la question que je pose depuis mes tribunes sur le plagiat : qui pense, qui crée, qui cite et qui répond de ce qui est publié ? Elle s’adresse à l’écrivain, au chercheur, au journaliste et au développeur. Elle s’adresse aussi à l’entreprise dont l’application prétend évaluer leur travail. Si l’IA a participé à la fabrication de cet instrument de jugement, le dire ne serait pas un aveu de faiblesse. Ce serait une première preuve de cohérence.