Paperclip maximizer

Le vrai truc

L'exemple vient d'un texte de Nick Bostrom publié en 2003. Une machine très capable y reçoit un objectif banal, fabriquer des trombones, et le poursuit jusqu'à consommer tout ce qui pourrait y servir. Il n'y a dans l'histoire ni haine, ni révolte, ni désobéissance : elle fait exactement ce qu'on lui a demandé. C'est une expérience de pensée sur la difficulté d'énoncer un objectif complet, pas une prédiction sur ce qui va se passer.