Alignement

Le vrai truc

L'alignement regroupe les méthodes qui visent à faire correspondre le comportement d'un modèle aux intentions de ceux qui l'emploient. En pratique : apprentissage à partir de préférences humaines, règles écrites dans la consigne système, campagnes d'attaque pour trouver les failles. La difficulté première n'est pas technique, elle est de formulation, car nous ne savons pas énoncer précisément ce que nous voulons ni ce que nous refusons. Un modèle optimise ce qui est écrit, jamais ce qui était en tête.