Oui, les nouvelles à propos de l’IA développée par OpenAI se succèdent à un rythme effréné depuis décembre 2022. Le nom de ChatGPT est sur toutes les lèvres. Certains parlent d’une révolution, d’autre craignent que ce nouveau programme n’ouvre la porte à toutes sortes de dérives. L’exemple le plus répandu est celui d’un élève qui confierait son devoir au bot. Mais il y en a d’autres…
Face à ces inquiétudes – plus ou moins fondées selon les cas – les réactions ne se sont pas fait attendre. Dans l’un de nos articles très récents, nous vous avons présenté GPTZero, ainsi que Draft & Goal. Ces deux logiciels en ligne proposent justement de détecter les textes généré par une IA.
Aujourd’hui, cela dit, c’est d’une IA « maison », mise au point directement par OpenAI, que nous allons vous dire quelques mots : AI Text Classifier. Voyons ce que la firme propose comme frein aux tentatives de triche et autres utilisations frauduleuses.
AI Text Classifier : un indicateur plus qu’un détecteur
Avec AI Text Classifier, on obtient davantage une estimation qu’un verdict. Sur ce point, la logique est la même que pour GPTZero ou Draft & Goal, à un détail près. Le contenu soumis fait l’objet d’une appréciation très globale, en utilisant des expressions vagues comme « probablement » et « possiblement ».
On retrouve la prudence dont l’AI originale fait preuve. Pour des raisons légales sans doute, cette alternative se montre plus sobre dans la manière de délivrer ses résultats, comparativement à la concurrence.
Cela dit, le plus important reste la fiabilité de l’évaluation, non ? Qu’en est-il de ce côté-là ? Les performances affichées par AI Text Classifier sont-elles à la hauteur des autres détecteurs ? Il faut avouer que le contraire serait ironique. Voilà donc notre avis.
Un verdict fiable lors de nos essais
Nous avons soumis à AI Text Classifier une batterie de textes produits directement par ChatGPT… ou par nos propres soins. Et la bonne nouvelle, c’est qu’à chaque fois, cette intelligence artificielle visant à détecter le travail d’une autre IA a su se montrer à la hauteur. Lorsque nous avons demandé au désormais célèbre robot rédacteur de parler des chats en 200 mots, par exemple, le détecteur a repéré qu’un de ses équivalents virtuels s’était chargé de la mission.
Au moment de tester le logiciel gratuit avec notre mini-essai sur ces félins de compagnie, la dimension humaine a aussi été repérée.
Le même type d’accomplissement a été constaté pour d’autres types de sujets : le règne de Louis XVI ou les grille-pains. Bref, un peu de tout, pour baliser la démarche.
Sachant que nous n’avons pas essuyé de déception… peut-on déjà crier à la victoire ? Pas exactement.
AI Text Classifier : un outil satisfaisant, mais on restera vigilant(e)
Les porte-paroles d’OpenAI eux-mêmes n’ont fait aucune promesse de fiabilité absolue. Et même si nos tentatives ont été synonyme de succès pour ce programme permettant de détecter les textes générés par ChatGPT, il est clair que notre démarche ne peut pas être représentative de toutes les issues possibles.
D’autant que cette IA très populaire n’en est qu’à ses premiers pas. Les futures versions gagneront en précision et en nuances.
Nous vous recommandons donc de cultiver un certain esprit critique face aux estimations de l’AI Text Classifier. Cet outil peut vous permettre de confirmer ou d’infirmer votre intuition, à la rigueur. Mais un complément d’analyse, humaine en l’occurrence, semble nécessaire si les enjeux sont importants. En vous souhaitant d’atteindre vos objectifs !
