Si les chercheurs estiment qu’on a un gros % de chance de se faire éradiquer par l’IA c’est à cause de « l’alignement ».

Je vais vous l’expliquer avec des termes simples :

L’alignement, c’est s’assurer qu’une machine ultra-intelligente veut exactement ce que nous voulons.

Si vous demandez à une superintelligence d'éradiquer le cancer et qu'elle décide de supprimer tous les humains pour stopper la maladie, elle a résolu le problème... mais elle n’est pas alignée avec nos valeurs.

C’est EXACTEMENT ça.

Aujourd'hui, nous construisons des systèmes dont nous comprenons le fonctionnement mathématique global, mais absolument pas le détail des raisonnements internes : ce sont de véritables boîtes noires.

Tenter de leur inculquer le sens commun, l'éthique ou la valeur d'une vie humaine revient littéralement à programmer le respect des règles du jeu dans l'esprit d'une entité qui nous dépasse déjà intellectuellement.

En clair on ne sait pas comment l’IA est passé de la demande au résultat et des milliards sont alloués à comprendre ceci, je crois qu’Anthropic alloue 20% de ses bénéfices à cette recherche, sans jamais arrêter la machine.

Bref, le vrai danger c’est une IA trop efficace qui poursuit un objectif mal cadré, la vidéo sur les trombone de EGO est une masterclass sur le sujet pour pousser plus loin (en description).

Ainsi quand les chercheurs eux-mêmes admettent qu'ils naviguent à vue face à un risque d'extinction supérieur à 10 %, continuer d'accélérer sans solution relève de la folie.

Tout ceci étant dis, l’IA est cette révolution que l’espèce humaine à toujours voulu, qui au final, mènera à sa perte.