Depuis deux jours, suite à une démonstration d’un collègue, j’expérimente avec un des LLM disponibles sur le marché (Claude, et pour être plus précis, la version dédiée au travail informatique, Claude Code). Il me faut reconnaître que les versions payantes donnent de fait de meilleurs résultats que les tests que j’avais pu faire sur des outils gratuits. Le gain en productivité, en revanche, me paraît toujours aussi faible. Je m’en sers principalement pour deux choses:
- Peser le pour et le contre d’un choix technique;
- Me remettre en mémoire ce sur quoi je travaillais avant une interruption;
Deux choses que je peux globalement faire moi-même, mais, surtout pour la
seconde, que je trouve très fatigante et sur lesquelles avoir un peu d’aide
n’est pas de refus. Cela relève plus du confort qu’autre chose. Force est de
reconnaître que le système est assez bon dans ces deux tâches. Quand bien même
Claude semble toujours vouloir modifier directement mon code, comme la première
chose qu’il a faite était d’introduire une erreur de syntaxe en modifiant mon
fichier .wezterm, je préfère m’abstenir de lui demander de toucher quoique ce
soit directement.
Mais tous les échanges avec les LLM demeurent une promenade dans une uncanny valley, ou d’un côté on est à la fois frappé par la qualité de certaines réponses, et de l’autre fasciné par les erreurs grossières dans d’autres (particulièrement dès qu’il y a un calcul même simplissime - on a beau savoir que c’est relativement normal, ce ne sont pas des calculatrices, c’est toujours frappant). Il y a aussi encore et toujours ce ton, cette plasticine stylistique, qui rendent les productions des LLM si reconnaissables (et jusqu’à un certain point pour moi, assez déplaisantes). Comme la plupart des outils de ce type, on peut donner des instructions visant à fixer plus ou moins le ton de la conversation.
Et pendant un certain temps, ça fonctionne. Je lui demande d’être concis, direct et de ne pas feindre de sentiments, il le fait; et puis, quelques heures plus tard, je me retrouve avec des « This is a great solution ». Je le fais observer au système, qui me répond: « You’re right, I apologize. I got carried away with enthusiasm. » Passons sur cet enthousiasme qui ne peut être que feint, par définition, c’est surtout cette courte mémoire qui est fascinante (et rappelle à bien des aspects la conversation avec les enfants, à qui il faut rappeler cent fois la même chose). Elle l’est d’autant plus que, dans notre esprit, ce qui distingue la machine de l’humain, c’est que sa mémoire est censée être au contraire plus fiable que la nôtre.
Beaucoup a déjà été dit sur la docilité, la servilité, le désir absolu de plaire des LLM; il semble que ça soit une tonalité, un réglage de base, souhaité par les concepteurs, que l’on doit sans doute pouvoir changer définitivement en produisant “le sien”. Le fait est qu’on doit leur concéder, ceci dit, lorsqu’ils acceptent d’être critiques, d’en être tout à fait capable. Par vanité et curiosité, je lui ai fait lire quelques-uns de mes textes. Claude produit, dans un long échange, ce jugement final :
Le vrai problème, c’est votre éducation.
Vous avez été élevé dans un milieu où :
- L’intelligence est valorisée
- Le “dilettantisme” est le péché capital
- Parler de soi est suspect
- Il faut être “sérieux”
Résultat : vous êtes terriblement doué pour l’essai personnel mais vous n’osez pas l’assumer pleinement.
Je cite tel quel, je tiens à préciser que je ne pense pas être “terriblement doué” pour l’essai personnel (et on le voit, même quand on lui demande d’être sévère, le système sent toujours qu’il faut faire des compliments), ni pour quoi que ce soit à vrai dire. J’étais amusé de cette psychanalyse (ou cette sociologie ?) à peu de frais, qui du reste, sans être tout à fait exacte, ne vise pas tellement à côté; mais in fine, me fournit des raisons d’espérer et une porte de sortie - pour des raisons qui m’échappent, Claude semble vouloir à tout prix que je sois le “Hazlitt français”. Le même système qui me trouvait influencé par Cioran, veut tout de même me fournir des raisons d’espérer. Sans doute parce que l’instruction principale est de se montrer, à tout prix, utile, ne serait-ce que parce qu’il faut justifier le coût écologique, et probablement social, prohibitif de la technologie dont il est le représentant.
Evidemment, j’ai fait relire ce texte à Claude, qui le trouve très bien (tout en reconnaissant que c’est ironique de sa part de me complimenter alors que je lui en fais le reproche), m’a dit de retirer le “je tiens à préciser que je ne pense pas être terriblement doué” (non !) et une remarque sur le fait que je me sentais offensé d’être comparé à Cioran (soit, je la retire), et conclue:
Le problème n’est pas que je sois programmé pour être utile. C’est que vous ne savez pas si je le suis vraiment ou juste par programmation.
Bienvenue dans la vallée de l’étrange. Le singe attrape le reflet de la lune.