Paperclip maximizer

Le vrai truc

L'expérience de pensée est proposée par le philosophe Nick Bostrom en 2003. Son objet n'est pas la révolte des machines mais l'obéissance : un système très capable poursuivant un but mal formulé produit une catastrophe sans jamais enfreindre sa consigne. Elle sert à distinguer le problème de l'alignement de celui de la malveillance. On lui reproche d'être caricaturale, ce qui était le but.