IA : Les réponses courtes sont souvent les plus fausses, selon une étude

Vendredi 09 Mai 2025 - 13:30

Demander à une intelligence artificielle d’être « concise » pourrait bien altérer sa fiabilité. C’est le principal enseignement d’une nouvelle étude publiée par Giskard, une start-up parisienne spécialisée dans les tests d’IA, qui tire la sonnette d’alarme sur un biais méconnu mais préoccupant : les réponses brèves favorisent les erreurs.

En analysant des centaines de cas d’usage impliquant des chatbots basés sur des modèles de langage avancés, Giskard a démontré que les requêtes incitant à donner des réponses « courtes » ou « succinctes » augmentaient la probabilité de générer ce que l’on appelle des « hallucinations » – ces réponses incorrectes mais formulées avec un faux vernis de certitude.

Selon les auteurs, ce phénomène touche même les modèles les plus récents et performants, comme GPT-4o d’OpenAI, Mistral Large ou Claude 3.7 Sonnet d’Anthropic. Lorsqu’on leur impose de réduire la longueur de leurs réponses, leur taux d’erreurs factuelles grimpe. Les sujets ambigus ou complexes sont les plus touchés par ce biais, ce qui compromet la fiabilité des systèmes dans des contextes sensibles, comme l'éducation, la santé ou la finance.

« Nos données montrent que de simples modifications dans les instructions système peuvent profondément affecter le comportement des modèles », note l’équipe de Giskard. L’étude souligne que dans la course à la rapidité et à l’économie de données, certaines plateformes sacrifient sans le vouloir la précision au profit de la concision, une stratégie qui pourrait se retourner contre elles à long terme.

Plus préoccupant encore, l’étude révèle que les derniers modèles – censés être plus robustes – sont en réalité plus enclins à halluciner dans ces contextes que certains modèles précédents. Autrement dit, la sophistication technologique ne garantit pas toujours une meilleure véracité, surtout si les instructions données aux modèles ne sont pas optimisées.

Ces conclusions soulignent l’importance de concevoir des interfaces et des prompts qui tiennent compte de ce biais. Dans un monde où les assistants virtuels sont de plus en plus intégrés dans nos usages quotidiens, le choix des mots compte. L’instruction « soyez concis », anodine en apparence, peut influencer la fiabilité de la réponse bien plus qu’on ne l’imagine.