Atelier de mathématiques · Sécurité de l’IA

Pourquoi une IA voudrait-elle prendre le pouvoir ?

Un atelier de 90 minutes sur les mathématiques de la sécurité de l’IA.

Contrôler des ressources, éviter l’arrêt, garder des options : une IA peut avoir intérêt à le faire pour atteindre un tout autre objectif. Que peut-on démontrer de cette idée ?

DépartUne optionTrois optionsr₁r₂r₃r₄

Garder plus d’options. Pour quels objectifs ?

90 minutesChercheurs · postdocs · doctorants · M2Sans prérequis en IA

« Réduire le risque d’extinction lié à l’IA devrait être une priorité mondiale, au même titre que les pandémies et la guerre nucléaire. »

Déclaration signée notamment par Geoffrey Hinton, Yoshua Bengio et Stuart Russell, 2023. Traduction française.

Pourquoi maintenant ?

Garder le contrôle des IA

Ces capacités ouvrent des possibilités scientifiques immenses. Elles posent aussi un problème de contrôle : comment s’assurer qu’une IA poursuit l’objectif voulu, quand elle devient capable de contourner les contraintes qu’on lui impose ?

La sécurité de l’IA, ou AI safety, cherche à prévenir les dommages causés par ces systèmes, jusqu’aux risques de catastrophe et d’extinction. L’alignement s’attaque à une question centrale : comment faire correspondre les objectifs et les comportements d’une IA à ce que nous voulons réellement ?

Pourquoi des mathématiciens ?

Les mathématiciens peuvent contribuer à résoudre le problème du contrôle des IA : démontrer des garanties, identifier les conditions d’échec et construire de meilleurs modèles du comportement des agents. Cet atelier donne une entrée concrète dans ces questions de recherche.

La convergence instrumentale

Un objectif peut en cacher d’autres

Acquérir des ressources ou rester en fonctionnement peut servir de nombreux objectifs. C’est l’idée de convergence instrumentale. Pour l’étudier, nous partirons d’un exemple fini : un chemin donne accès à un seul résultat ; l’autre permet de choisir parmi trois. Lequel un agent qui maximise sa récompense choisira-t-il ?

P(max(r₂, r₃, r₄) > r₁) = 3/4

Exemple introductif : quatre récompenses indépendantes, de même loi continue ; aucun coût supplémentaire pour le second chemin. Le calcul repose sur la symétrie du maximum.

DépartUne optionTrois optionsr₁r₂r₃r₄

À partir des exercices d’Iliad Intensive, nous passerons du calcul sur cet exemple à un argument de symétrie. Les outils : probabilités, produits scalaires et permutations. La question : sous quelles hypothèses conserver davantage d’options est-il favorisé pour une grande partie des objectifs ?

Nous travaillerons la preuve, chercherons des contre-exemples et discuterons du lien avec les IA réelles.

Voir le cours et les exercices d’Iliad

Le programme · 90 minutes

  1. Comprendre les enjeux

    Risques de l’IA, alignement et convergence instrumentale.

  2. Construire le modèle

    États, récompenses, stratégies ; calcul sur un exemple fini.

  3. Travailler les maths

    Questions guidées, produits scalaires et argument de symétrie.

  4. Discuter les limites

    Quelles hypothèses portent le résultat ? Que dit-il des IA réelles ?

  5. Ouvrir la suite

    Lectures, questions ouvertes et pistes pour poursuivre.

Pour aller plus loin

Le contenu s’appuie sur le cours « Instrumental Convergence » de Leon Lang pour Iliad Intensive et sur les travaux d’Alex Turner et de ses coauteurs.

Les hypothèses sur la distribution des objectifs et sur la règle de décision seront explicitées pendant l’atelier.

Participer ou accueillir l’atelier

Vous souhaitez participer, proposer une session dans votre laboratoire ou donner votre avis sur le contenu ? Laissez vos coordonnées ci-dessous.

Les réponses servent uniquement à vous recontacter au sujet de cet atelier. Elles ne sont pas publiées.

Ce qui vous intéresse

Le Paperclip Workshopalex.curiotip@live.fr