diff options
Diffstat (limited to 'contexte/enjeux.tex')
-rw-r--r-- | contexte/enjeux.tex | 30 |
1 files changed, 15 insertions, 15 deletions
diff --git a/contexte/enjeux.tex b/contexte/enjeux.tex index 9f5f99d..b00eee2 100644 --- a/contexte/enjeux.tex +++ b/contexte/enjeux.tex @@ -17,7 +17,7 @@ Ces critiques et inquiétudes sont théorisées dans la littérature scientifiqu L'utilité est le défi primordial pour tout modèle : il s'agit que le modèle remplisse suffisamment bien la tâche pour laquelle il a été conçu. Par exemple, un modèle qui sert à prédire si un grain de beauté est un cancer de la peau ou non ne doit pas générer de faux négatifs, sinon comment avoir confiance en sa décision ? L'expression de \textquote{remplir suffisamment bien la tâche} a toute son importance dans la mesure où seuls les modèles ayant une tâche triviale ne se trompent pas. -Il revient donc aux personnes qui créent ces modèles de déterminer, en fonction du contexte d'application, l'erreur maximale que peut atteindre le modèle pour qu'il soit considéré comme viable et utilisable en production. +Il revient donc aux personnes qui créent ces modèles de déterminer, en fonction du contexte d'application, l'erreur maximale que peut atteindre le modèle pour qu'il soit malgré tout considéré comme viable et utilisable en production. \FloatBarrier \subsection{Équité} @@ -27,8 +27,8 @@ C'est-à-dire que le modèle se comporte différemment pour différents sous-ens Cela peut donner lieu à des discriminations, notamment dans les modèles de décision qui influencent directement la vie de personnes. La justice prédictive telle qu'utilisée aux Etats-Unis en est un bon exemple. Dans ce cas, un modèle est utilisé pour prédire si un individu jugé coupable a une forte probabilité d'être récidiviste ou non. -En utilisant de tels modèles nous mesurons que les afro-américains (\textit{blacks}) son plus souvent prédits comme ayant une forte chance d'être récidivistes que le reste de la population (\textit{whites})~\cite{dressel2018accuracy}. -En plus d'être un enjeu, Al-Alawi et al.~\cite{al2021role} avance que l'utilisation de l'IA peut être une solution plus équitable que la décision humaine dans le processus de recrutement. +En utilisant de tels modèles nous mesurons que les afro-américains (\textit{blacks}) sont plus souvent prédits comme ayant une forte chance d'être récidivistes que le reste de la population (\textit{whites})~\cite{dressel2018accuracy}. +En plus d'être un enjeu, Al-Alawi et al.~\cite{al2021role} avancent que l'utilisation de l'IA peut être une solution plus équitable que la décision humaine dans le processus de recrutement. L'équité dans les modèles peut-être imposée lors de l'entraînement. Nous étudierons en détail ce processus dans la Section~\ref{sec:background-eq}. @@ -38,38 +38,38 @@ Nous étudierons en détail ce processus dans la Section~\ref{sec:background-eq} \label{sec:contexte-expl} Le concept de boîte noire\footnote{\textit{Black box}} est une manière imagée de dire qu'on ne comprend pas ou qu'on ne peut pas avoir accès au fonctionnement d'un programme. On l'utilise alors comme un outil qui prend une entrée et donne une sortie, un peu à la manière de la définition d'IA que nous avons illustré dans la Figure~\ref{fig:contexte-IAUE}. -Cette approche de l'IA est problématique pour plusieurs raisons qu'illustrent Quinn et al.~\cite{quinn2022three} dans le domaine médicale : +Cette approche de l'IA est problématique pour plusieurs raisons qu'illustrent Quinn et al.~\cite{quinn2022three} dans le domaine médical : \begin{itemize} - \item Les boîte noires manquent de garanties quant à la qualité de la prédiction et rendent complexe l'étude des biais. + \item Les boîtes noires manquent de garanties quant à la qualité de la prédiction et rendent complexe l'étude des biais. \item Les boîtes noires ne permettent pas l'interprétation des résultats. \item Les boîtes noires ne peuvent pas prendre en compte toutes les subtilités des cas particuliers (de patients). \end{itemize} -Les réseaux de neurones ont une part prépondérante de l'IA. -Or de par leur fonctionnement interne complexe que nous explorerons à la Section~\ref{sec:background-ml} et le fait que leur compréhension théorique soit encore lacunaire, ils sont souvent utilisés en boîte noire~\cite{yuan2022explainability}. -Pour palier cela il existe certaines méthodes qui essaient de produire des explications automatisées compréhensibles des réseaux de neurones~\cite{yuan2022explainability,du2019techniques,rai2020explainable}. +Les réseaux de neurones sont une part prépondérante de l'IA. +Or, de par leur fonctionnement interne complexe, que nous explorerons à la Section~\ref{sec:background-ml} et le fait que leur compréhension théorique soit encore lacunaire, ils sont souvent utilisés en boîte noire~\cite{yuan2022explainability}. +Pour pallier cela il existe certaines méthodes qui essaient de produire des explications automatisées compréhensibles des réseaux de neurones~\cite{yuan2022explainability,du2019techniques,rai2020explainable}. \FloatBarrier \subsection{Confidentialité} D'une manière générale, l'intelligence artificielle brasse une quantité astronomique de données~\cite{villani2018donner}. Ce brassage s'opère à deux niveaux : au moment de la création du modèle et au moment de son utilisation en production. Pour créer des modèles performants, il est nécessaire d'utiliser beaucoup de données. -Ces données servent à choisir les bons paramètres du modèle au travers de diverses méthodes statistiques et d'optimisations, on les appelle des données d'entraînement. +Ces données servent à choisir les bons paramètres du modèle au travers de diverses méthodes statistiques et d'optimisations ; on les appelle des données d'entraînement. Les modèles les plus récents et performants nécessitent un grand nombre de paramètres ; citons par exemple le LLM LLaMA qui possède 65 milliard de paramètres ~\cite{touvron2023llama}! -Ce grand nombre de paramètres a l'effet indésirable de mémoriser des informations potentiellement sensibles sur les données d'entraînements~\cite{shokri2017membership}. +Ce grand nombre de paramètres a l'effet indésirable de mémoriser des informations potentiellement sensibles sur les données d'entraînement~\cite{shokri2017membership}. L'information contenue dans les données d'entraînement est comme résumée, compressée dans la masse - a priori incompréhensible pour un humain - des paramètres du modèle. Ainsi un individu malveillant, que l'on appellera \emph{attaquant} ou \emph{adversaire}, pourra retrouver des informations sur les données d'entraînement juste en utilisant les paramètres du modèle~\cite{shokri2017membership,yeom2018privacy,carlini2022membership}. \begin{figure} \centering \input{contexte/figure/tikz/train} \caption{Les données d'entraînement servent à trouver les paramètres du modèle. - attaquant utilise les paramètres pour retrouver des informations sur les données d'entraînement.} + L'attaquant utilise les paramètres pour retrouver des informations sur les données d'entraînement.} \label{fig:contexte-train} \end{figure} Un autre risque de fuite de données se trouve au moment de l'utilisation du modèle, après son entraînement. A ce moment, les utilisateurs envoient en entrée du modèle des données qu'ils peuvent vouloir garder confidentielles. -Cependant la sortie du modèle, qui a vocation à être partagée, peut révéler une parie des informations sensibles contenues dans les données d'entrée de l'utilisateur~\cite{yeom2018privacy,zhao2021infeasibility,jayaraman2022attribute,attriguard,Song2020Overlearning,malekzadeh2021honestbutcurious}. +Cependant la sortie du modèle, qui a vocation à être partagée, peut révéler une partie des informations sensibles contenues dans les données d'entrée de l'utilisateur~\cite{yeom2018privacy,zhao2021infeasibility,jayaraman2022attribute,attriguard,Song2020Overlearning,malekzadeh2021honestbutcurious}. Il s'agit du principal risque de manquement à la confidentialité que nous allons explorer dans ce manuscrit. Nous y reviendrons donc dans la Section~\ref{sec:background-conf} pour une présentation de l'état de l'art et au Chapitre~\ref{sec:aia} pour notre contribution. @@ -84,7 +84,7 @@ Quand l'adversaire cherche à inférer un attribut sensible c'est une \emph{atta \label{sec:contexte-secu} Le processus d'entraînement des réseaux de neurones est souvent secret et les utilisateurs ont accès uniquement à un modèle entraîné. Dans ce contexte un adversaire qui a accès à l'entraînement du modèle, dans un cadre d'apprentissage décentralisé par exemple, peut injecter des portes dérobées qui lui permettront de modifier les futures prédictions à sa convenance. -Considérons le scénario factice suivant : une entreprise construit un modèle commercial ayant pour but la prédiction du récidivisme. +Considérons le scénario fictif suivant : une entreprise construit un modèle commercial ayant pour but la prédiction du récidivisme. Cette entreprise vend ce modèle à l'état de Floride des Etats-Unis. Si un adversaire avait introduit une porte dérobée il pourrait choisir quelle serait la prédiction du modèle, décidant ainsi unilatéralement si le juge va penser que le coupable a une forte chance d'être récidiviste ou non. @@ -95,8 +95,8 @@ Ainsi, quand le modèle est utilisé en production, l'adversaire peut utiliser l \label{sec:contexte-conso} Nous vivons une crise climatique majeure due à l'activité humaine qui présage de graves changements pour l'ensemble du vivant ainsi que dans nos modes de vie~\cite{pielke2005hurricanes,khasnis2005global,houghton2005global,melillo2014climate,mcnutt2013climate} Bien que l'IA soit prometteuse pour nous aider à anticiper ces changements~\cite{villani2018donner} il ne faut pas que son développement et l'entraînement de modèles accélèrent le changement climatique et le réchauffement climatique. -Concrètement, le LLM Llama2 à émis 539 tonnes de $\text{CO}_2$ en prenant en compte les divers plans de compensation carbone de Meta~\cite{touvron2023llama}. -L'empreinte carbone d'un français étant estimé à 9,2 tonnes de $\text{CO}_2$ par an~\cite{carbonfr} c'est donc à peu près l'équivalent de 59 personnes pendant un an qui a été généré par Llama2. +Concrètement, le LLM Llama2 a émis 539 tonnes de $\text{CO}_2$ en prenant en compte les divers plans de compensation carbone de Meta~\cite{touvron2023llama}. +L'empreinte carbone d'un français étant estimée à 9,2 tonnes de $\text{CO}_2$ par an~\cite{carbonfr} c'est donc à peu près l'équivalent de 59 personnes pendant un an qui a été généré par Llama2. C'est donc dans l'optique d'entraîner des modèles bien proportionnés (ayant peu de paramètres) et pouvant fonctionner sur des ordinateurs portables ou des téléphones portables\footnote{\textit{Smartphone}} que sont nées les idées d'IA frugale et embarquée~\cite{schwartz2020green,verdecchia2023systematic,shadrin2019designing}. Comme nous l'avons vu plus haut, il s'agit aussi d'un positionnement stratégique de la France~\cite{stratfr}. |