From f964de1889ca8dabfc7195d0d730d80fbcd6b2f7 Mon Sep 17 00:00:00 2001
From: Jan Aalmoes <jan.aalmoes@inria.fr>
Date: Thu, 22 Aug 2024 22:42:34 +0200
Subject: =?UTF-8?q?Annexe,=20redaction=20de=20la=20partie=20peur/ai=20non-?=
 =?UTF-8?q?align=C3=A9?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 contexte/philo/peur.tex | 104 ++++++++++++++++++++++++++++++++++++++++++++++++
 1 file changed, 104 insertions(+)
 create mode 100644 contexte/philo/peur.tex

(limited to 'contexte/philo/peur.tex')

diff --git a/contexte/philo/peur.tex b/contexte/philo/peur.tex
new file mode 100644
index 0000000..4b8deaa
--- /dev/null
+++ b/contexte/philo/peur.tex
@@ -0,0 +1,104 @@
+Dans l'\textit{Home bicentenaire}, Isaax Asimov ecrit le dialogue suivant :
+\textquote{
+'Comment peuvent-ils avoir peur des robots ?'
+'C'est un mal de l'humanitée, l'un de ceux dont elle n'est pas encore guerrie.'
+}
+\footnote{
+'How can they fear robots?'
+'It is a disease of mankind, one of which it is not yet cured.'
+}
+Et en effet, nous observons une certaine méfiance de la part du grand publique envers l'IA et ses dévelopement possibles~\cite{johnson2017ai}.
+Dans la culture populaire et notament dans le cinema, cette peur est très représent, nous présentons à la Figure~\ref{fig:contexte-badai} un collage qui montre que l'IA est un antagoniste iconique du septième art.
+Explorons certaines de ces inquétudes.
+Nous séparons les risques en deux : ceux liée à un IA aligné, c'est à dire une IA qui fait ce pour quoi elle à été crée, et le risques lié à un IA non-alignée. 
+
+Commencons par ces dernièrs.
+La scène d'ouverture de \textit{The Terminator}~\cite{terminator} montre parfaitement ce qu'est une machine aligné.
+Nous y voyons des machines autonomes se battre avec une force ecrasant contre des humains.
+Cette scène contraste avec celle qui l'on voit jute après l'écran titre où la machine, toute aussi gigantesque que les robots tueurs, est un camion poubelle donc totalement au service et l'homme qui la contrôle.
+Une IA non-alginé est donc un programme qui cherche à atteindre un objectif qui n'est pas celui pour le quel elle à été concut, dans ce cas, un guerre totale contre l'humanitée.
+C'est la même inquiétude qui est présente dans \textit{The Matrix}~\cite{matrix}.
+Ce film présenté ce qui pourrait se passer après un guerre contre le machine pérdu par l'humanité. 
+La machines, ayant besoin d'énergie, créent un monde virtuel : une simulation, dans laquelle est enfermé l'esprit de tous les hommes. 
+Ainsi elle peuvent recuperer la bioéléctricité générée par le corps humain.
+La simulation est ainsi un environement ou l'IA peut évoluer avec un controle humain assez limité ce qui facilite le non-alignement~\cite{johnson2017ai}.
+En effet, quand des aspects capitaux de la vie des personnes n'est plus géré physiquement, l'IA n'a plus besoins de robot (captuers, activateur, ...) pour intéragir avec la réalité.
+Nous parlons ici de la réalité au sens plationitien de l'alégorie de la caverne : la simulation est la réalité~\cite{caverne}.
+Cette simulation est un future possible quand à la manière dont nous vivons, par exemple depuis le COVID-19 le télétravail c'est grandement démocratisé~\cite{bergeaud2023teletravail}.
+Il existe du multiples moyens numériques pour simuler la vie physique dans ce contexte et la réalité virtuelle est une voie fortemnt appuyé par les GAFAM. 
+Apple et Meta proposent des casques de réalitée virtuelle dans cette optique~\cite{metaverse,applevision}.
+
+Dans \textit{The Terminator}, une seul IA est responssable du non-alignement. La tâche pour laquelle cette IA à été construite était la défense du territoire américain.
+C'est un problème imprévu par les dévelopeurs lié à une trop grande confiance dans les capacité de la machine qui amène à la guerre entre homme et machine.
+En effet le protagoniste Kyle Reese explique l'IA \textquote{Skynet} comme étant  
+\textquote{[un] réseau informatique de défence, habilité à tout connaître. Il le disait intelligent.}
+\footnote{\textit{Defense network computer, trusted to know it all. They said it was smart.}}
+L'IA est donc passé de aligné à non-aligné, cela est particulièrement inquiétant pour les système autonomes armé comme le décrit Cedric Villani à la cinquième partie de son rapport sur l'IA commandé par le gouvernment Macron~\cite{villani2018donner}. 
+
+Pour palier cela, les IA, comme les LLM peuvent être programmé pour respecter certain contraintes morales~\cite{wang2023not}.
+C'est aussi ce type de contrôle que préconise
+Asimov dans ca serie de nouvelles sur les robots \textit{I, Robot}.
+Il y introduit les fameuses trois lois de la robotique qui sont programmés dans toutes les IA~\cite{assimovIrobot}:
+\textquote{
+\begin{enumerate}
+    \item La Première loi : Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger ;
+    \item La Seconde loi : Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres entrent en contradiction avec la première loi ;
+    \item La Troisème loi : Un robot doit protéger son existence dans la mesure où cette protection n'entre pas en contradiction avec la première ou la deuxième loi.
+\end{enumerate}
+}
+\footnote{\textit{The First Law: A robot may not injure a human being or, through inaction, allow a human being to come to harm. The Second Law: A robot must obey the orders given it by human beings except where such orders would conflict with the First Law. The Third Law: A robot must protect its own existence as long as such protection does not conflict with the First or Second Law.}}
+Ces trois lois mettent en avant la necessité d'avoir un contrôle sur l'IA et peuvent être vue comme les premisses de l'IA éthique.
+
+Outre le cas d'une IA qui bascule d'aligné à non-aligné, et bien que ce cas ne ce soit pas (encore) présenté, \textit{Avengers: age of Ultron}~\cite{avenger} présente une IA qui dès sa création est non-aligné.
+Lors d'une expérience, Tony Stark, le createur de l'IA Ultron, n'avait pas de but précis pour sa création. 
+Ultron, après avoir s'être renseigné sur ce que sont les humains en ayant accès à internet, à pris la décision de les exterminer.
+Heureusement ce genre de risque est très faible, car la robotique n'est pas assez avancé et comme nous l'avons vu, les IA acutels ne sont pas capable de prendre des décisions arbitraires.
+
+Plus sérieusement, il existe un argument similaire à celui du Paris Pascalien, qui cherche à savoir si nous devons colaborer à l'ellaboration d'une IA non-aligné, potentielement mauvaise.
+Le Paris Pascalien est un argument probabiliste avancé par Blaise Pascale disant qu'il est plus avantageux de croire en dieu que de ne pas croire.
+Nous présentons dans la Table~\ref{tbl:contexte-paris} comment se fait le calcul moyen du gain. 
+Il existe une version modifié paris qui explore le problème de Newcombe suivant : doit-on coopéréer à la création d'une intelligence artificielle~\cite{Singler_2018,roko}?
+Il s'agit d'un problème des théorie de la décision à deux agents :
+L'un est l'IA, l'autre le decideur.
+Le décideur est antiérieur à l'IA et choisit de coopérer ou non.
+L'IA est au courant des pensée du décideur comme dans le cadre d'agent coopérants dans le dilemn du prisonier.
+L'IA fait du chantage au décideur : si le décideur ne coopère pas il sera torturé.
+Cela crée pour le décideur le tableau de gain presanté à la Table~\ref{tbl:contexte-roko}.
+Ainsi, toutes personne étant au courant du Basilic (ligne Sait) aurait avantage à coopérer.
+Cette démonstration a été très médiatisée et à généré beaucoup d'anxiété du à sa nature de danger informationel~\cite{rokowiki,slate}.
+Cependant cet argument est criticable, notament sur le fait que si l'agent IA existe, il n'a pas d'intéret à torturer l'agant qui savait et na pas contribué retrospéctivement~\cite{rokomisc}.
+
+\begin{table}
+    \centering
+    \begin{tabular}{c|cc}
+        &Existe&N'éxiste pas\\
+        \hline
+        Croire&$+\infty$&$-c$\\
+        Ne pas croire&$-\infty$&$+c$\\
+    \end{tabular}
+
+    \begin{tabular}{c}
+            \\
+            $E(\text{Croire}) = +\infty P(\text{Existe}) - c P(\text{N'éxiste pas}) = +\infty$\\
+            $E(\text{Ne pas croire}) = -\infty P(\text{Existe}) + c P(\text{N'éxiste pas}) = -\infty$ 
+        \end{tabular}
+    \caption{Tableau des gains de croire ou ne pas croire en Dieu. $E$ représente le gain moyen (voir la Section~\ref{sec:background-proba} pour une définition formelle de l'espérence).}
+    \label{tbl:contexte-paris}
+\end{table}
+
+\begin{table}
+    \centering
+    \begin{tabular}{cc|cc}
+        &&IA construit&IA pas construit\\
+        \hline
+        \multirow{2}{*}{Sait}&
+        Donner&$-c$&$-c$\\
+        &Ne pas donner&$-\infty$&$0$\\
+        \hline
+        \multirow{2}{*}{Ne sait pas}&
+        Donner&/&/\\
+        &Ne pas donner&$0$&$0$\\
+    \end{tabular}
+    \caption{Basilic de Roko}
+    \label{tbl:contexte-roko}
+\end{table}
-- 
cgit v1.2.3


From 4edf87ea8a5ce3e76285172af2eaecc7bc21813d Mon Sep 17 00:00:00 2001
From: Jan Aalmoes <jan.aalmoes@inria.fr>
Date: Mon, 26 Aug 2024 18:19:46 +0200
Subject: anthropomorphisation

---
 contexte/philo/peur.tex | 57 ++++++++++++++++++++++++++++++++++++++++++-------
 1 file changed, 49 insertions(+), 8 deletions(-)

(limited to 'contexte/philo/peur.tex')

diff --git a/contexte/philo/peur.tex b/contexte/philo/peur.tex
index 4b8deaa..ce45f64 100644
--- a/contexte/philo/peur.tex
+++ b/contexte/philo/peur.tex
@@ -10,9 +10,11 @@ Dans l'\textit{Home bicentenaire}, Isaax Asimov ecrit le dialogue suivant :
 Et en effet, nous observons une certaine méfiance de la part du grand publique envers l'IA et ses dévelopement possibles~\cite{johnson2017ai}.
 Dans la culture populaire et notament dans le cinema, cette peur est très représent, nous présentons à la Figure~\ref{fig:contexte-badai} un collage qui montre que l'IA est un antagoniste iconique du septième art.
 Explorons certaines de ces inquétudes.
+Nous parlerons ici uniquement des risque liée à l'IA forte, et plus précisement à une potentielle AGI future. 
+Nous présentons à la Section~\ref{sec:contexte-enjeu} une introduction sur les risques à court termes pour des technologie bien présentes et utilisé aujourd'hui en production.
 Nous séparons les risques en deux : ceux liée à un IA aligné, c'est à dire une IA qui fait ce pour quoi elle à été crée, et le risques lié à un IA non-alignée. 
 
-Commencons par ces dernièrs.
+\subsubsection{AI non-alginée}
 La scène d'ouverture de \textit{The Terminator}~\cite{terminator} montre parfaitement ce qu'est une machine aligné.
 Nous y voyons des machines autonomes se battre avec une force ecrasant contre des humains.
 Cette scène contraste avec celle qui l'on voit jute après l'écran titre où la machine, toute aussi gigantesque que les robots tueurs, est un camion poubelle donc totalement au service et l'homme qui la contrôle.
@@ -35,10 +37,14 @@ En effet le protagoniste Kyle Reese explique l'IA \textquote{Skynet} comme étan
 \footnote{\textit{Defense network computer, trusted to know it all. They said it was smart.}}
 L'IA est donc passé de aligné à non-aligné, cela est particulièrement inquiétant pour les système autonomes armé comme le décrit Cedric Villani à la cinquième partie de son rapport sur l'IA commandé par le gouvernment Macron~\cite{villani2018donner}. 
 
-Pour palier cela, les IA, comme les LLM peuvent être programmé pour respecter certain contraintes morales~\cite{wang2023not}.
+Pour palier cela, les IA, comme les LLM
+\footnote{LLM signifie \textit{Large Language Model} comme ChatGPT par exemple}
+(Grand Model Languisitque) peuvent être programmé pour respecter certain contraintes morales~\cite{wang2023not}.
+C'est notamant ce type de contrainte qui est utilisé pour imposer des restriction morale aux IA actuelle.
+Nous aborderons en détail ce sujet à la Section~\ref{sec:background-eq}.
 C'est aussi ce type de contrôle que préconise
 Asimov dans ca serie de nouvelles sur les robots \textit{I, Robot}.
-Il y introduit les fameuses trois lois de la robotique qui sont programmés dans toutes les IA~\cite{assimovIrobot}:
+Il y introduit les fameuses trois lois de la robotique qui sont programmés dans toutes les IA de son oeuvre~\cite{assimovIrobot}:
 \textquote{
 \begin{enumerate}
     \item La Première loi : Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger ;
@@ -52,16 +58,17 @@ Ces trois lois mettent en avant la necessité d'avoir un contrôle sur l'IA et p
 Outre le cas d'une IA qui bascule d'aligné à non-aligné, et bien que ce cas ne ce soit pas (encore) présenté, \textit{Avengers: age of Ultron}~\cite{avenger} présente une IA qui dès sa création est non-aligné.
 Lors d'une expérience, Tony Stark, le createur de l'IA Ultron, n'avait pas de but précis pour sa création. 
 Ultron, après avoir s'être renseigné sur ce que sont les humains en ayant accès à internet, à pris la décision de les exterminer.
-Heureusement ce genre de risque est très faible, car la robotique n'est pas assez avancé et comme nous l'avons vu, les IA acutels ne sont pas capable de prendre des décisions arbitraires.
+Heureusement ce genre de risque est très faible, car la robotique n'est pas assez avancé et comme le montre Johnson et al~\cite{johnson2017ai}, les IA acutels ne sont pas capable de prendre des décisions arbitraires.
 
-Plus sérieusement, il existe un argument similaire à celui du Paris Pascalien, qui cherche à savoir si nous devons colaborer à l'ellaboration d'une IA non-aligné, potentielement mauvaise.
+Nous pouvons nous demander, pourquoi créer un telle IA ? 
+Dans l'optique de répondre à cette question, il existe un argument similaire à celui du Paris Pascalien, qui cherche à savoir si nous devons colaborer à l'ellaboration d'une IA non-aligné, potentielement mauvaise.
 Le Paris Pascalien est un argument probabiliste avancé par Blaise Pascale disant qu'il est plus avantageux de croire en dieu que de ne pas croire.
 Nous présentons dans la Table~\ref{tbl:contexte-paris} comment se fait le calcul moyen du gain. 
-Il existe une version modifié paris qui explore le problème de Newcombe suivant : doit-on coopéréer à la création d'une intelligence artificielle~\cite{Singler_2018,roko}?
+Il existe une version modifié paris, appélé Basilic de Roko, qui explore le problème de Newcombe suivant : doit-on coopéréer à la création d'une IA sans alignement~\cite{Singler_2018,roko}?
 Il s'agit d'un problème des théorie de la décision à deux agents :
 L'un est l'IA, l'autre le decideur.
 Le décideur est antiérieur à l'IA et choisit de coopérer ou non.
-L'IA est au courant des pensée du décideur comme dans le cadre d'agent coopérants dans le dilemn du prisonier.
+L'IA est au courant des pensée du décideur comme dans le cadre d'agent coopérants dans le dilemn du prisonier~\cite{Poundstone1993-jr}.
 L'IA fait du chantage au décideur : si le décideur ne coopère pas il sera torturé.
 Cela crée pour le décideur le tableau de gain presanté à la Table~\ref{tbl:contexte-roko}.
 Ainsi, toutes personne étant au courant du Basilic (ligne Sait) aurait avantage à coopérer.
@@ -78,7 +85,6 @@ Cependant cet argument est criticable, notament sur le fait que si l'agent IA ex
     \end{tabular}
 
     \begin{tabular}{c}
-            \\
             $E(\text{Croire}) = +\infty P(\text{Existe}) - c P(\text{N'éxiste pas}) = +\infty$\\
             $E(\text{Ne pas croire}) = -\infty P(\text{Existe}) + c P(\text{N'éxiste pas}) = -\infty$ 
         \end{tabular}
@@ -102,3 +108,38 @@ Cependant cet argument est criticable, notament sur le fait que si l'agent IA ex
     \caption{Basilic de Roko}
     \label{tbl:contexte-roko}
 \end{table}
+
+\subsubsection{IA aligné}
+Le non-alignement n'est pas le seul risque envisageable.
+Par exemple dans \textit{2001: A Space odyssey}~\cite{2001odyssey}
+HAL est une d'IA aligné qui pour préserver sa mission choisit de tuer les humains qui veulent le débrancher.
+On remarque donc bien la necessité, de manière générale, d'avoir de garders fous qui assurent non seulement l'utilité du programme (sa mission) mais aussi un certain niveau morale.
+Ainsi, un risque est celui d'une IA cherchant si bien à atteindre son objectif qu'elle en oublierai toute considération morale. 
+Pour palier cela, tout comme dans le cas des IA non-alginé, des contraites peuvent être impose lors de l'entrainement des modèles.
+
+Un autre type de risque est celui qui consiste à attribuer une tâche capitale à une IA qui potentielement aurait des failles de sécurité.
+C'est ce scénario qu'explore \title{War game}~\cite{wargames}.
+Dans ce film qui se passe pendant la guerre froide, la gestion et la décision de l'utilisation d'arme nucléaires et délégué à un IA.
+Le raisonement est que le programme peut optimiser le succès d'une riposte atomique infiniement plus rapidement qu'un humain.
+Cependant, il y avait une faille dans l'IA : une porte dérobée\footnote{\textit{Backdoor}} avait été introduite par un développeur. 
+A cause de cela, un jeune hacker à faille réussir par inadvertance, à déclancher une guerre nucléaire avec l'URSS\footnote{Union des Républiques Socialistes Soviétiques}.
+Comme nous l'avons vu en Section~\ref{sec:contexte-ckoi}, l'IA est de plus en plus utilisée et même pour des système critiques. 
+Il est de plus possible de mettre des porte dérobée dans les IAcomme nous le verons en Section~\ref{sec:contexte-secu}.
+
+Pour finir cette section nous parlerons du risque de confiendtialitée.
+C'est à dire du risque que des informations que l'on souhaite garder confidentiélle, soient utilisés pas autrui.
+Nous verons des définitions de la confidentialité plus poussée dans la Section~\ref{sec:contexte-legal}.
+Dans le film \textit{Her}~\cite{her}, l'assistant personel IA Samantha accède sans l'autorisation de l'utilisateur, Théodore, à ses \textit{emails}.
+Elle ne l'informe qu'après avoir lu l'integralité de ses conversations : \textquote{J'ai vu dans tes \textit{emails} que tu à récament rompu}\footnote{
+    \textit{I saw through your emails that you went through a break up recently}}.
+En faisant cela elle apprend des informations sensibles sur Théodore : le fait qu'il ai rompu. 
+Dans ce films nous n'avons que très peu d'information sur le fonctionnement des IA (qu'il appellent OS) ce qui ne nous permet de dire que cette information précise quitte l'appareil locale de Théodore pour être envoyé vers un tiers.
+Cependant, dans la suite du film Samantha avoue avoir parlé de Théodore avec d'autre personnes alors que celui-ci n'était as au courant.
+Samantha est donc en réseau avec la possibilité de communiqué n'importequelle information qu'elle juge nécessaire.
+Cela implique une grande chance qu'elle ai comuniqué des information que Théodore aurai souhaité garder confidentielles.
+Les assistant personels sont de plus en plus présents, notament sur téléphone avec par exemple Siri sur iPhone~\cite{siri} ou Google assistant sur les Pixel~\cite{googleai}.
+Ses assistants pour être utile doivent avoir accès au données personel des utilisateurs et les limitations actuels de la puissance de calcul sur smartphone fait que ces données doivent être envoyer à des tiers pour être traité.
+Par exemple, Siri envoi ses requettas les plus complexes à ChaGPT par exemple~\cite{aaigpt} mais l'utilisateur doit donner son accord pour chaque requette.
+Ou encroe, sur la messagerie Discord~\cite{discord}, il est possible d'activer le résumé des converssations.
+Alors le seveur Discord envoi toutes les conversations aux serveur de OpenAI pour que ChatGPT les analyses~\cite{discordgpt}.
+
-- 
cgit v1.2.3

