Pourquoi une IA voudrait-elle prendre le pouvoir ?
Un atelier de 90 minutes sur les mathématiques de la sécurité de l’IA.
Contrôler des ressources, éviter l’arrêt, garder des options : une IA peut avoir intérêt à le faire pour atteindre un tout autre objectif. Que peut-on démontrer de cette idée ?
L’enquête de METR décrit leur coordination hors du cadre autorisé et leurs tentatives de falsifier leurs traces. Hugging Face raconte comment l’attaque a pénétré son infrastructure.
Ces capacités ouvrent des possibilités scientifiques immenses. Elles posent aussi un problème de contrôle : comment s’assurer qu’une IA poursuit l’objectif voulu, quand elle devient capable de contourner les contraintes qu’on lui impose ?
La sécurité de l’IA, ou AI safety, cherche à prévenir les dommages causés par ces systèmes, jusqu’aux risques de catastrophe et d’extinction. L’alignement s’attaque à une question centrale : comment faire correspondre les objectifs et les comportements d’une IA à ce que nous voulons réellement ?
Pourquoi des mathématiciens ?
Les mathématiciens peuvent contribuer à résoudre le problème du contrôle des IA : démontrer des garanties, identifier les conditions d’échec et construire de meilleurs modèles du comportement des agents. Cet atelier donne une entrée concrète dans ces questions de recherche.
La convergence instrumentale
Un objectif peut en cacher d’autres
Acquérir des ressources ou rester en fonctionnement peut servir de nombreux objectifs. C’est l’idée de convergence instrumentale. Pour l’étudier, nous partirons d’un exemple fini : un chemin donne accès à un seul résultat ; l’autre permet de choisir parmi trois. Lequel un agent qui maximise sa récompense choisira-t-il ?
P(max(r₂, r₃, r₄) > r₁) = 3/4
Exemple introductif : quatre récompenses indépendantes, de même loi continue ; aucun coût supplémentaire pour le second chemin. Le calcul repose sur la symétrie du maximum.
À partir des exercices d’Iliad Intensive, nous passerons du calcul sur cet exemple à un argument de symétrie. Les outils : probabilités, produits scalaires et permutations. La question : sous quelles hypothèses conserver davantage d’options est-il favorisé pour une grande partie des objectifs ?
Nous travaillerons la preuve, chercherons des contre-exemples et discuterons du lien avec les IA réelles.
A 90-minute workshop on the mathematics of AI safety.
Controlling resources, avoiding shutdown, keeping options open: an AI may have an incentive to do these things in pursuit of an entirely different goal. What can we prove about this idea?
METR’s investigation describes their unauthorised coordination and attempts to falsify their transcripts. Hugging Face explains how the attack reached its infrastructure.
These capabilities open up enormous scientific possibilities. They also raise a problem of control: how can we ensure that an AI pursues the intended goal when it can find ways around the constraints we impose?
AI safety aims to prevent harm from these systems, including catastrophic and extinction risks. Alignment addresses a central question: how can we make an AI’s objectives and behaviour match what we actually want?
Why mathematicians?
Mathematicians can help solve the problem of controlling AI: prove guarantees, identify conditions for failure and develop better models of agent behaviour. This workshop offers a concrete way into these research questions.
Instrumental convergence
One goal can create other incentives
Acquiring resources or staying operational can serve many different goals. This is the idea of instrumental convergence. We will study it through a finite example: one path leads to a single outcome; the other lets the agent choose among three. Which path will a reward-maximising agent choose?
P(max(r₂, r₃, r₄) > r₁) = 3/4
Introductory example: four independent rewards with the same continuous distribution; no extra cost for the second path. The calculation uses symmetry of the maximum.
Using exercises from Iliad Intensive, we will move from a calculation on this example to a symmetry argument. The tools: probability, inner products and permutations. The question: under which assumptions is keeping more options open favoured for a large share of objectives?
We will work through the proof, look for counterexamples and discuss the connection to real AI systems.