Les machines superintelligentes permettront-elles de dépasser les limites du cerveau et du corps humains, en fusionnant l’homme et la machine? Entraîneront-elles la fin de l’humanité? Ou tout ceci n’est-il qu’inepties? Le débat fait rage dans le monde anglophone.
La perspective de créer des machines superintelligentes donne lieu aux spéculations les plus étonnantes. Certains estiment que ces machines pourraient nous permettre de dépasser les limites de notre cerveau et de notre corps, de répondre aux grands problèmes du monde, voire de permettre aux humains de devenir immortels. C’est notamment le cas de Ray Kurzweil, futurologue, chef de l’ingénierie chez Google et véritable gourou des techno-optimistes. D’autres pensent qu’elles constituent une menace pour la survie même de l’humanité, à l’image du physicien Stephen Hawking. Enfin, certains affirment que tout cela n’est que billevesées. Quoi qu’il en soit, ce débat vaut bien des livres de science-fiction.
Mais qu’entend-on par machine superintelligente? Il s’agit d’une machine dotée d’une intelligence générale, applicable à tous les domaines, contrairement à celle des ordinateurs actuels. Elle lui permettrait d’apprendre et de résoudre des problèmes. Et, lorsqu’elle aurait un objectif, elle serait capable de prendre les mesures nécessaires pour l’atteindre. Son intelligence surpasserait celle de l’être humain dans la même mesure que l’intelligence de ce dernier surpasse celle d’un ver de terre, image Nick Bostrom, directeur de l’Institut de l’humanité de l’Université d’Oxford. De telles machines sont-elles possibles? Il n’existe pas de réponse définitive, mais bien des chercheurs en sont convaincus.
PROCESSUS ITÉRATIF
Il suffirait, selon eux, de créer une intelligence artificielle et générale d’un niveau équivalent à celle de l’être humain. La machine pourrait ensuite améliorer son propre programme. Et comme chaque amélioration la rendrait plus intelligente, elle pourrait s’améliorer de nouveau, selon un processus itératif. Une fois ce processus enclenché, le passage de l’intelligence à la superintelligence pourrait être extrêmement rapide: certains scénarios l’envisagent en quelques jours ou même en quelques minutes. Les humains n’auraient que très peu de temps pour s’adapter.
Pour Ray Kurzweil, la superintelligence, ainsi que des révolutions dans la génétique, la nanotechnologie et la robotique permettront d’entamer un nouvel âge pour l’humanité, qu’il nomme, avec d’autres, singularité. «Vers la fin de ce siècle, la portion non biologique de notre intelligence sera des billions de billions de fois plus puissante que l’intelligence humaine non assistée», écrit-il dans son ouvrage culte Humanité 2.0. L’homme et la machine vont fusionner, permettant aux humains de transcender leurs limites biologiques. Il n’y aura plus de distinction entre virtuel et réel; on pourra même télécharger son cerveau sur le web et, de ce fait, vivre aussi longtemps qu’on le souhaite.
Nous pourrons par exemple contrôler notre corps de manière à pouvoir manger ce que nous voulons sans impact sur notre santé. «Des nanorobots dans le système digestif et sanguin vont intelligemment extraire les nutriments et suppléments dont nous avons précisément besoin, à travers notre réseau local sans fil, et envoyer le reste pour être éliminé.» On pourra remplacer nos organes par des robots ou par des nanorobots. On pourra naviguer entre la réalité et des réalités virtuelles, qui ne seront pas distinguables. «On pourra sélectionner des corps différents au même moment pour différentes personnes. Vos parents pourraient vous voir comme une personne pendant que votre amie vous verra comme une autre.»
MONSTRES INCONTRÔLABLES
D’autres sont beaucoup moins optimistes. Les machines auront une capacité d’analyse tellement plus poussée que la nôtre qu’elles entraîneront une perte de nos libertés, estiment-ils. A quoi bon laisser tout un chacun créer une entreprise si la machine superintelligente peut prédire avec une quasi-certitude si celle-ci est vouée à l’échec? A quoi bon tenir des élections si une machine est beaucoup mieux à même de déterminer ce qui est le mieux pour nous?
Certains vont même beaucoup plus loin. Ils affirment que les machines superintelligentes seront des monstres impossibles à contrôler. «Nous, les humains, n’avons jamais eu à négocier avec quelque chose de super-intelligent auparavant», écrit le journaliste technologique James Barrat dans son livre Our Final Invention. «Nous n’avons jamais eu à négocier avec quelque créature non biologique que ce soit.» «Nos cerveaux sont faits pour comprendre d’autres humains, pas des ordinateurs», ajoute Stuart Armstrong, chercheur à l’Institut de l’humanité de l’Université d’Oxford, dans son petit livre Smarter Than Us.
A partir du moment où une machine super-intelligente doit remplir un objectif, elle développera des «instincts» (drives), prédit le chercheur en intelligence artificielle Steve Omuhundro. Elle sera créative, ce qui la rendra imprévisible. Elle cherchera à tirer le meilleur parti des ressources à sa disposition pour s’améliorer, de manière à pouvoir atteindre son objectif plus efficacement. Cela pourrait la conduire à inventer de nouvelles technologies, éventuellement porteuses de nouveaux risques pour les humains. Elle cherchera à acquérir toujours plus de ressources, de manière à pouvoir mieux atteindre ses objectifs. Poussé à l’extrême, cet instinct pourrait la conduire à utiliser l’entier des ressources disponibles sur Terre et à coloniser l’espace pour en chercher de nouvelles. Elle cherchera à préserver sa propre existence, puisque c’est le meilleur moyen d’atteindre ses objectifs. Elle résistera donc à toute tentative des humains à la modifier ou à la mettre hors service – elle pourrait par exemple multiplier des copies d’elle-même sur le cloud. Autrement dit, une fois que la superintelligence aura été créée, «les êtres humains, qui sont limités par leur évolution biologique, seront incapables de rivaliser et seront détrônés», prédit Stephen Hawking.
La moindre erreur dans la formulation des objectifs assignés à une machine superintelligente pourrait conduire à la catastrophe. «Bien des objectifs finaux qui pourraient paraître sensés et sans danger à première vue ont, quand on les examine de plus près, des conséquences radicalement non désirées», écrit Nick Bostrom dans son ouvrage Superintelligence. Pour prendre un exemple grossier, si on demande à une superintelligence d’éradiquer le cancer, elle pourrait décider que le meilleur moyen de le faire est d’éradiquer les humains. On peut certes préciser la demande, par exemple en lui prescrivant d’éradiquer le cancer sans nuire aux humains (ce qui est contradictoire: cela nuira forcément à ceux qui vivent de son traitement). Là encore, la moindre omission peut conduire la machine à adopter des solutions aux conséquences imprévisibles. Et avec notre intelligence beaucoup moins développée que la sienne, nous serons toujours incapables d’imaginer toutes les solutions qu’elle peut adopter et toutes les conséquences néfastes qui pourraient en découler.
«DÉTENDEZ-VOUS!»
Certains proposent donc d’isoler les machines et de les confiner à un rôle de consultant. Toutes leurs idées devraient être approuvées par des êtres humains. Mais cette solution paraît illusoire aux pessimistes. Ils soulignent que les humains ne seront pas en mesure de contrôler des solutions proposées par une machine un milliard de fois plus intelligente qu’eux et que celle-ci sera poussée à sortir de son confinement, puisque cela lui permettra de mieux remplir ses objectifs. On peut vouloir l’en empêcher, mais elle n’aura aucun mal à déjouer les précautions prises par des êtres tellement moins intelligents qu’elle.
Tout cela vous paraît difficile à imaginer? C’est normal, rétorquent-ils, de même qu’il serait difficile pour un verre de terre d’imaginer l’invention des bulldozers, du béton et la construction d’une piste d’aéroport là où il n’y avait que bonne terre arable.
Plusieurs théoriciens proposent donc d’inculquer un sens moral à ces machines. Mais cela pose plusieurs problèmes.
Premièrement, personne n’est d’accord sur ce que doit être la morale – un libertaire, un fondamentaliste religieux et un altermondialiste en ont des conceptions très différentes.
Deuxièmement, la morale évolue constamment – une superintelligence créée au XVIIIe siècle aurait été programmée pour trouver l’esclavage acceptable.
Troisièmement, la moindre erreur de définition peut avoir des conséquences désastreuses: une machine dont le sens moral lui prescrit de maximiser le bonheur des humains pourrait décider que la meilleure manière de le faire est d’implanter des électrodes dans leur cerveau pour en stimuler certaines zones de manière artificielle. Enfin, et surtout, alors que la recherche en intelligence artificielle progresse à grand pas, on n’a pas le moindre début d’idée de la manière de traduire un code moral en langage informatique. Autrement dit, la superintelligence risque d’apparaître bien avant que l’on soit capable de lui inculquer un sens moral.
Ces thèses sont évidemment abondamment discutées et critiquées. Rodney Brook, l’un des pionniers de l’intelligence artificielle, estime que ces visions d’apocalypse proviennent d’une confusion sur le concept d’intelligence. «Je dis: détendez-vous! Relaxez-vous!», écrit-il sur son blog rethink robotics. «La capacité d’apprentissage ne donne pas des intentions à une machine, ou quelque but supérieur que ce soit, ou une volonté. Et elle n’aide pas une machine à expliquer comment il se fait qu’elle sache quelque chose, ou quelles sont les implications de cette connaissance, ou quand cette connaissance pourrait être applicable. Une intelligence artificielle aurait besoin de toutes ces capacités, et encore d’autres. Elle aurait également besoin d’une compréhension directe du monde, de bras habiles et d’autres outils qui pourraient manipuler les gens, et avoir une compréhension profonde de l’être humain pour pouvoir se révéler plus maligne que lui.»
Or, on en est loin, très très loin. «Je dis: relaxez-vous», répète Rodney Brook. «Si nous sommes incroyablement chanceux, nous aurons une intelligence artificielle dans les trente prochaines années, avec la volonté d’un lézard et des robots utilisant cette intelligence artificielle qui seront des outils utiles. Et ils ne seront probablement pas conscients de notre existence de manière sérieuse.»
Qui a raison? Une machine superintelligente pourrait peut-être répondre…
Paru dans Entreprise romande Le Magazine été 2015