L’IA dans la littérature

2001 l’odyssée de l’espace, Arthur C. Clarke et Stanley Kubrick, 1968

Le troisième acte se déroule dans Discovery One, vaisseau le plus puissant jamais crée par l’humanité. Les astronautes sont accompagnés par HAL 9000, Carl dans la version française, Intelligence Artificielle particulièrement avancée, capable de la gestion autonome du vaisseau.
Après avoir émis une alerte qui ne s’est pas avérée, les deux astronautes discutent de la possibilité de débrancher Carl. Ce dernier décide alors de couper l’alimentation en oxygène de tous les humains à bord, sauf Bowman. S’en suit cette confrontation…

 Arthur C. Clarke – L’Odyssée de l’Espace (1968)

À bord de Explorateur 1, rien n’avait changé. Tous les systèmes fonctionnaient normalement. La centrifugeuse continuait de tourner lentement sur son axe, créant un simulacre de pesanteur. Les hibernautes étaient toujours plongés dans leur sommeil sans rêves. L’astronef fonçait toujours vers son but dont rien ne pouvait l’écarter si ce n’était une collision avec un astéroïde. Mais si loin de l’orbite de Jupiter, en ces régions où les poussières cosmiques devenaient plus rares, les risques étaient infimes.

En face de Bowman se trouvait l’une des lentilles grand-angle réparties en des points stratégiques du vaisseau et qui donnaient à Carl une vision générale du bord. Jamais, auparavant, le regard de Bowman ne s’était ainsi fixé sur l’une d’elles. Lentement, il se leva et s’en approcha. Son mouvement dut déclencher un déclic dans le cerveau insondable qui était désormais maître de l’astronef, et soudain Carl se fit entendre :

– C’est un malheur pour Frank, n’est-ce pas ?
– Oui. C’est un malheur.
– Je suppose que tu es désespéré, maintenant.
– Cela t’étonne ?

Carl médita sa réponse durant cinq secondes, une éternité pour un ordinateur.

– C’était un excellent élément.

Bowman s’aperçut qu’il tenait toujours sa tasse et il but une gorgée. Il ne répondit pas. Ses pensées formaient un tourbillon et il ne trouvait rien à dire, rien qui ne pût rendre la situation encore pire, pour autant que ce fût possible.

Pouvait-il vraiment s’agir d’un accident causé par une défaillance du contrôle de Betty ? Ou bien Carl avait-il commis une faute ? Une faute involontaire ? Il n’avait encore avancé aucune explication et Bowman avait peur de lui en demander, il avait peur des réactions qu’il pourrait provoquer. Même à présent, il n’acceptait pas vraiment l’idée que Poole pût avoir été tué délibérément. C’était tellement irrationnel. Que Carl, qui avait agi depuis le départ sans la moindre défaillance, pût soudain devenir un assassin dépassait la raison. Il pouvait commettre des erreurs – les machines tout comme les hommes n’en étaient pas à l’abri – mais qu’il fût capable de tuer… (…)

– Carl, dit Bowman avec tout le calme dont il était capable, donne-moi le contrôle d’hibernation manuel… Sur toutes les unités.
– Sur toutes, Dave ?
– Oui.
– Puis-je te rappeler qu’un seul remplacement est nécessaire ? Les deux autres ne sont pas prévus avant cent douze jours.
– Je le sais parfaitement, mais je préfère agir ainsi.
– Es-tu vraiment certain qu’il soit même nécessaire d’en réveiller un, Dave ? Nous pouvons très bien nous en tirer par nous-mêmes. Ma mémoire est tout à fait capable de mener à bien les diverses phases de la mission, (…)

Tout ce qui s’était produit auparavant pouvait n’être qu’une série d’accidents, mais il affrontait maintenant le premier signe évident de mutinerie.

Avec la sensation de se trouver en équilibre au-dessus du vide, Bowman déclara :

– Étant donné qu’il y a état d’urgence, j’ai besoin du maximum d’aide. Donne-moi le contrôle manuel.
– Si tu désires toujours réveiller tout l’équipage, je peux très bien le faire moi-même, Dave. Ne t’inquiète pas.

Tout cela évoquait un cauchemar. Bowman avait l’impression d’être un témoin devant un juge qui l’interrogeait au sujet d’un crime dont il ignorait tout. Une simple bévue et ce serait le désastre.

– Je veux le faire mo-même, Carl, dit-il. Donne-moi le contrôle manuel d’hibernation, s’il te plaît.
– Écoute, Dave, tu as beaucoup de choses à faire. Je te conseille de me laisser opérer.
– Carl, donne-moi le contrôle manuel.
– Les harmoniques de ta voix, Dave, m’indiquent que tu es sous l’effet d’un trouble grave. Pourquoi ne prends-tu pas un calmant pour dormir un peu ?
– Carl, je suis le commandant de ce vaisseau. Je te donne l’ordre de me remettre le contrôle manuel d’hibernation.
– Je suis désolé, Dave, mais le paragraphe 4 du code spécial C 1435 dit, je cite : « Si l’équipage vient à disparaître ou s’il se trouve réduit à l’impuissance, l’ordinateur du bord doit assurer le commandement. » Fin de citation. Je puis donc supplanter ton autorité, Dave, puisque tu n’es pas en état de l’exercer intelligemment.

La voix de Bowman était maintenant d’un calme glacé.

– Carl, je ne suis pas en état d’incapacité. Si tu n’obéis pas à mes ordres, je vais être obligé de te déconnecter.
– Je sais que tu avais cela en tête depuis un certain temps, Dave, mais ce serait une terrible erreur. Je suis bien plus apte que toi à diriger l’astronef et j’ai tant d’enthousiasme et de confiance pour cette mission.
– Écoute-moi attentivement, Carl. Si tu ne me donnes pas immédiatement le contrôle manuel d’hibernation, je pénétrerai dans ton Centre et je te déconnecterai totalement.

Et Carl capitula, soudainement, complètement.

– Très bien, Dave. Tu es le commandant. J’essayais seulement d’agir au mieux. Naturellement, j’obéis à tes ordres. Tu as le contrôle manuel d’hibernation.

Questions :

1. Quels comportements humain Carl adopte-t-il ?
2. Pourquoi, à votre avis, Carl peut se comporter comme il se comporte ici ?

---

Première Loi, Isaac Asimov, 1956

Mike Donovan considéra sa chope de bière vide, sentit l’ennui l’envahir et décida qu’il avait écouté pendant assez longtemps.

— Si nous mettons la question des robots extraordinaires sur le tapis, s’écria-t-il, j’en sais au moins un qui a désobéi à la Première Loi.

Comme cette éventualité était complètement impossible, chacun se tut et se tourna vers Donovan.

Aussitôt notre gaillard regretta d’avoir eu la langue trop longue et changea de sujet de conversation :

— J’en ai entendu une bien bonne hier soir, dit-il sur le ton de la conversation. Il s’agissait…

— Vous connaissez, dites-vous, un robot qui a causé du tort à un être humain ? intervint MacFarlane, qui se trouvait sur le siège voisin de Donovan. C’est cela que signifie la désobéissance à la Première Loi, vous le savez aussi bien que moi.

— Racontez-nous cela, ordonna MacFarlane.

Quelques-uns des membres de l’assistance reposèrent bruyamment leurs chopes sur la table.

— Cela se passait sur Titan, il y a quelque dix ans, dit Donovan en réfléchissant rapidement. Oui, c’était en 25. Nous venions de recevoir une expédition de trois robots d’un nouveau modèle, spécialement conçus pour Titan. C’étaient les premiers des modèles M A. Nous les appelions Emma Un, Deux et Trois.

Il fit claquer ses doigts pour commander une autre bière.

— Nous avions mis les robots immédiatement au travail, poursuivit rapidement Donovan. Jusqu’à ce moment-là, voyez-vous, la base avait été entièrement inutilisée durant la saison des tempêtes, qui dure pendant quatre-vingts pour cent de la révolution de Titan autour de Saturne. Durant les terribles chutes de neige, on ne pouvait pas retrouver la Base à cent mètres de distance. Les boussoles ne servent à rien, puisque Titan ne possède aucun champ magnétique.

» Les robots, continua-t-il, travaillèrent à merveille pendant la première saison des tempêtes, puis, au début de la saison calme, Emma-Deux se mit à faire des siennes. Elle ne cessait d’aller se perdre dans les coins, de se cacher sous les balles et il fallait la faire sortir de sa retraite à force de cajoleries. Finalement elle disparut un beau jour de la Base et ne revint plus. Nous conclûmes qu’elle comportait un vice de construction et nous poursuivîmes les travaux avec les deux robots restants. Cependant nous souffrions d’un manque de main-d’œuvre et, lorsque, vers la fin de la saison calme, il fut question de se rendre à Kornsk, je me portai volontaire pour effectuer le voyage sans robot.

 » J’étais sur le chemin du retour lorsque le vent commença à souffler et que l’air s’épaissit. Je posai mon véhicule aérien immédiatement avant que l’ouragan ait pu le briser, mis le cap sur la Base et commençai à courir. Dans la pesanteur réduite, je pouvais fort bien parcourir toute la distance au pas gymnastique, mais me serait-il possible de me déplacer en ligne droite ? C’était toute la question. Ma provision d’air était largement suffisante et mes enroulements de chauffage fonctionnaient de façon satisfaisante, mais quinze kilomètres dans un ouragan « titanesque » n’ont rien d’un jeu d’enfant.

 » Puis, lorsque les rafales de neige changèrent le paysage en un crépuscule fantomatique, je dus m’arrêter le dos tourné au vent. Un petit objet noir se trouvait droit devant moi ; je pouvais à peine le distinguer, mais je l’avais identifié. C’était un chien des tempêtes, l’être le plus féroce qui puisse exister au monde. Je savais que ma tenue spatiale ne pourrait me protéger une fois qu’il bondirait sur moi, et dans la lumière insuffisante je ne devais tirer qu’à bout portant ou pas du tout. Si par malheur je manquais mon coup, mon sort serait définitivement réglé.

 » Je battis lentement en retraite et l’ombre de l’animal me suivit. Elle se rapprocha et déjà je levais mon pistolet en murmurant une prière, lorsqu’une ombre plus vaste surgit inopinément au-dessus de moi et me fit hurler de soulagement. C’était Emma-Deux, le robot M A disparu. Je ne pris pas le temps de m’inquiéter des raisons de sa disparition. Je me contentai de hurler à tue-tête : « Emma, fillette, attrapez-moi ce chien des tempêtes et ensuite vous me ramènerez à la Base. »

 » Elle se contenta de me regarder comme si elle ne m’avait pas entendu et s’écria : « Maître, ne tirez pas, ne tirez pas. »

 » Puis elle se précipita à toute allure vers le chien des tempêtes.

 » Je criai de nouveau : « Attrapez ce sale chien, Emma ! » Elle le ramassa bien… mais continua sa course. Je hurlai à me rendre aphone, mais elle ne revint pas. Elle me laissait mourir dans la tempête.

Donovan fit une pause dramatique.

— Bien entendu, vous connaissez la Première Loi : un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger ! Eh bien, Emma s’enfuit avec son chien des tempêtes et m’abandonna à mon sort. Elle avait donc enfreint la Première Loi.

 » Fort heureusement pour moi, je me tirai sans dommage de l’aventure. Une demi-heure plus tard, la tempête tomba. C’était un déchaînement prématuré et temporaire. Cela arrive quelquefois. Je rentrai à la Base en toute hâte et la tempête commença pour de bon le lendemain. Emma-Deux rentra deux heures après moi. Le mystère fut éclairci et les modèles M A retirés immédiatement du marché.

— Et l’explication, demanda MacFarlane, en quoi consistait-elle au juste ?

— J’étais effectivement un être humain en danger de mort, Mac, mais pour ce robot, quelque chose prenait le pas même sur moi, même sur la Première Loi. N’oubliez pas que ces robots faisaient partie de la série M A et que celui-ci en particulier s’était mis à la recherche de petits coins bien tranquilles quelque temps avant de disparaître. C’est comme s’il s’attendait à un événement très spécial et tout à fait personnel. Et cet événement s’était effectivement produit.

Donovan tourna les yeux vers le plafond avec componction et acheva :

— Ce chien des tempêtes n’était pas un chien des tempêtes. Nous le baptisâmes Emma-Junior lorsque Emma-Deux le ramena à la Base. Emma-Deux se devait de le protéger contre mon pistolet. Que sont les injonctions de la Première Loi, comparées aux liens sacrés de l’amour maternel ?

Questions :

1. Résumez la première loi des Robots
2. Emma-Deux a-t-elle bien désobéi à cette loi ?
3. A quoi vous pouvez voir que l’image des robots, chez Asimov, est très positive ?