diff options
author | Jan Aalmoes <jan.aalmoes@inria.fr> | 2024-09-27 15:14:05 +0200 |
---|---|---|
committer | Jan Aalmoes <jan.aalmoes@inria.fr> | 2024-09-27 15:14:05 +0200 |
commit | 07b4490dc63504079a5904cd42ab1ec6015cfb76 (patch) | |
tree | 59e16fdf007416871a22be7243db25ea96aa4720 | |
parent | 8b9c76a727b2921be03133335f3cde9e2651b7c1 (diff) |
AJout des résultats aia et de l'interprétation
-rw-r--r-- | aia/aia.tex | 34 | ||||
-rw-r--r-- | aia/fair_reg.tex | 22 | ||||
-rw-r--r-- | aia/intro.tex | 32 | ||||
-rw-r--r-- | aia/main.tex | 9 | ||||
-rw-r--r-- | aia/methodo.tex | 32 | ||||
-rw-r--r-- | aia/resultats.tex | 91 | ||||
-rw-r--r-- | aia/theo.tex | 92 |
7 files changed, 197 insertions, 115 deletions
diff --git a/aia/aia.tex b/aia/aia.tex index 39db20b..fe56ec2 100644 --- a/aia/aia.tex +++ b/aia/aia.tex @@ -1,32 +1,32 @@ \subsection{Modèle de menace}\footnote{\textit{Threat model}} -Nous considéront qu'un adversaire souhatie conduire une AIA pour un attribute sensible sur un modèle cible. +Nous considérons qu'un adversaire souhaite conduire une AIA pour un attribut sensible sur un modèle cible. Le but de l'adversaire est d'inférer l'attribut sensible à partir uniquement des prédictions du modèle cible. -L'adversaire a accès une base de donnée que nous appelons auxillière et qui ne contient pas d'individu en commun avec la base de donée d'entraînement du modèle cible que nous appelon base cible. +L'adversaire a accès une base de donnée que nous appelons auxiliaire et qui ne contient pas d'individu en commun avec la base de donnée d'entraînement du modèle cible que nous appelons base cible. La base cible ne contiens pas l'attribut sensible qui n'a donc pas été utilisé à l'entraînement. -La base auxilière contiens l'attribut sensible et des prédictions du modèle cible correspondantes à ces attributs sensibles. -La base auxilmière ne contient pas les donnés d'entrée car sinon l'adversaire pourrait simplement entraîner un modèle pour inférer l'attribut sensible à partir des données d'entrée et le modèle cible n'aporterai pas plus d'informations~\cite{jayaraman2022attribute}. -Il n'est pas du ressort de cette étude d'étudier commen un adversaire pourrait avoir accès à une telle base de donnée. +La base auxiliaire contiens l'attribut sensible et des prédictions du modèle cible correspondantes à ces attributs sensibles. +La base auxiliaire ne contient pas les donnés d'entrée car sinon l'adversaire pourrait simplement entraîner un modèle pour inférer l'attribut sensible à partir des données d'entrée et le modèle cible n'apporterai pas plus d'informations~\cite{jayaraman2022attribute}. +Il n'est pas du ressort de cette étude d'étudier comment un adversaire pourrait avoir accès à une telle base de donnée. Cela pourrait être le cas après une fuite de donnée ou une attaque de type homme du milieu\footnote{\textit{Man in the middle}}. \subsection{AIA pour les modèles de classification} -Considérons que le modèle cible prennet ses valeurs dans $F$, un ensemble fini. +Considérons que le modèle cible prenne ses valeurs dans $F$, un ensemble fini. C'est à dire que le modèle cible ne donne accès à l'attaquant que des prédictions d'étiquette. Cela peut-être le cas après application d'un seuil sur un logit par exemple. -Alors le but de l'attaquant est de trouver une fonction mesutable de $(F,\mathcal{P}(F))$ dans $(G,\mathcal{P}(G))$ qui maximise l'exactitude équilibrée. +Alors le but de l'attaquant est de trouver une fonction mesurable de $(F,\mathcal{P}(F))$ dans $(G,\mathcal{P}(G))$ qui maximise l'exactitude équilibré. Où $G$ est l'ensemble dans lequel l'attribut sensible prend ces valeurs. Cela est un cas d'application parfait pour l'algorithme que nous avons construit au Chapitre~\ref{sec:fini}. -Nous allons l'utiliser pour construir une AIA qui donne la garantie théorique d'être le meilleur modèle qui permette de classifier l'attribut sensible en utilisant la prédiction du modèle. +Nous allons l'utiliser pour construire une AIA qui donne la garantie théorique d'être le meilleur modèle qui permette de classifier l'attribut sensible en utilisant la prédiction du modèle. Nous appelons cette AIA : \AIAHard. -\subsection{AIA pour les modèles de regression} -Dans le cas d'un modèle cible qui effectu une regression nous avons $\#F$ infini donc nous ne pouvons pas utiliser \AIAHard. -Ce cas où l'adversaire a accès un modèle de regression prend en compte le cas où le modèle cible de prédiction divulgue un logit par exemple. +\subsection{AIA pour les modèles de régression} +Dans le cas d'un modèle cible qui effectua une régression nous avons $\#F$ infini donc nous ne pouvons pas utiliser \AIAHard. +Ce cas où l'adversaire a accès un modèle de régression prend en compte le cas où le modèle cible de prédiction divulgue un logit par exemple. C'est le modèle de menace qu'applique Song et. al~\cite{Song2020Overlearning} dans leur AIA. -Nous utiliserons comme modèle d'AIA une forêt aléatoire puis nous optimiserons son seuil en utilisant la courbe ROC pour prendre en compte le déséquilibre de classses dans l'attribut sensible. -Cette methode fonctione uniquement pour des attributs binaires. -C'est-à dire que pour une prédiction dans l'espace mesurable $(F,\mathcal{F})$ et un attribut sensible dans $(\{0,1\},\mathcal{P}(\{0,1\})$ -la forêt aléatoire construit une fonction de mesurbale +Nous utiliserons comme modèle d'AIA une forêt aléatoire puis nous optimiserons son seuil en utilisant la courbe ROC pour prendre en compte le déséquilibre de classes dans l'attribut sensible. +Cette méthode fonctionne uniquement pour des attributs binaires. +C'est-à dire que pour une prédiction dans l'espace mesurable $(F,\mathcal{F})$ et un attribut sensible dans $(\{0,1\},\mathcal{P}(\{0,1\}))$ +la forêt aléatoire construite une fonction de mesurable $a : (F,\mathcal{F})\rightarrow ([0,1],\mathcal{B}([0,1]))$. $a$ modélise le logit de la prédiction du modèle AIA. Ensuite nous calculons, la courbe ROC de $a$ comme nous l'avons défini à la Section~\ref{sec:background-ml-classif} et nous choisis $\upsilon^*$ tel que, pour la prédiction $a_\upsilon = 1_{[\upsilon,1]}\circ a$ : @@ -34,7 +34,7 @@ Ensuite nous calculons, la courbe ROC de $a$ comme nous l'avons défini à la Se \upsilon^* = \text{argmin}_{\upsilon\in [0,1]} (1-tpr(\upsilon))^2 + fpr^2(\upsilon) \end{equation*} -Nous réprésenton sur la Figure~\ref{fig:aia-rocopt} le choix du seuil optimal et du seuil par rapport au seuil par défaut fixé à $0,5$. +Nous représentons sur la Figure~\ref{fig:aia-rocopt} le choix du seuil optimal et du seuil par rapport au seuil par défaut fixé à $0,5$. \begin{figure} \centering \includegraphics[width=0.45\linewidth]{aia/figure/rocr.pdf} @@ -42,5 +42,5 @@ Nous réprésenton sur la Figure~\ref{fig:aia-rocopt} le choix du seuil optimal \label{fig:aia-rocopt} \end{figure} -Contrairement a \AIAHard, \AIASoft~ne donne pas la garantie de maximisaion l'exactitude équilibré. +Contrairement a \AIAHard, \AIASoft~ne donne pas la garantie de maximisation l'exactitude équilibré. Ainsi \AIASoft~constitue un approximation relativement à la théorie que nous avons décrite à la Section~\ref{sec:aia-theo}. diff --git a/aia/fair_reg.tex b/aia/fair_reg.tex index 2f2a0e0..983d088 100644 --- a/aia/fair_reg.tex +++ b/aia/fair_reg.tex @@ -1,19 +1,19 @@ -A la Section~\ref{sec:background-eq} nous avons introduits la notion de \textit{demographic parity} (DemPar). +A la Section~\ref{sec:background-eq} nous avons introduits la notion de parité démographique (DemPar). Dans le cas d'un classifieur binaire ($\hat{Y}$) avec attribut binaire ($S$), nous pouvons calculer à quel point le classifieur est proche d'être DemPar avec la quantité suivante : \begin{equation*} \text{DemParLvl} = |P(\hat{Y}=1|S=0) - P(\hat{Y}=1|S=1)| \end{equation*} -C'est l'écart de prédiction positive entre la classe majoritair(par exemple les blancs, le hommes, ...) et la classe minoritaire (les noirs, les femmes, ...). +C'est l'écart de prédiction positive entre la classe majoritaire(par exemple les blancs, le hommes, ...) et la classe minoritaire (les noires, les femmes, ...). \begin{propriete} \label{prop:aia-dpl0} - Un classifieur qui satisfat la \textit{demographic parity} a n DemParLvl égale à zéro. + Un classifieur qui satisfait la parité démographique a un DemParLvl égale à zéro. \end{propriete} La démonstration est triviale à partir de la Définition~\ref{def:background-eq-dp}. -DemPar est équivalante à dire que la prédiction du modèle est idépendante de l'attribut sensible. -Nous remarquons que cette définition n'est ni restrainte à des problème de classification, ni à des attribute senssibles binaires ni même à des attribut sensibles qui prennent leurs valeur dans un ensemble fini. +DemPar est équivalente à dire que la prédiction du modèle est indépendante de l'attribut sensible. +Nous remarquons que cette définition n'est ni restreinte à des problèmes de classifications, ni à des attributs sensibles binaires ni même à des attributs sensibles qui prennent leurs valeurs dans un ensemble fini. Ainsi nous définissons la notion suivante: -\begin{definition}{\textit{Démographic parity} généralisée.} +\begin{definition}{Parité démographique généralisée.} \label{def:aia-dempargen} Soit $(\Omega,\mathcal{T},P$) un espace probabilisé. Soient $(E,\mathcal{E})$, $(F,\mathcal{F})$ et $(G,\mathcal{G})$ des espaces mesurables. @@ -24,23 +24,23 @@ Soient les variables aléatoires suivantes : \item $S:(\Omega,\mathcal{T})\rightarrow (G,\mathcal{G})$ \item $f:(E,\mathcal{E})\rightarrow (F,\mathcal{F})$ \end{itemize} -Alors $f$ satisfait la \textit{demographic parity} généralisée si et seulement si +Alors $f$ satisfait la parité démographique généralisée si et seulement si \begin{equation*} P_{f\circ X,S} = P_{f\circ X}\otimes P_S \end{equation*} -Dit autrement, si et seulement si le classifieur $f$ est un CCA pour prédire $S$ à partire de $X$. +Dit autrement, si et seulement si le classifieur $f$ est un CCA pour prédire $S$ à partir de $X$. \end{definition} \begin{propriete} - Si un classifieur binaire satisfait la \textit{demographic parity} généralisée alors il satisfait la démographic parity. + Si un classifieur binaire satisfait la parité démographique généralisée alors il satisfait la parité démographique. \end{propriete} \begin{proof} - En gardant les objets définits dans la Définition~\ref{def:aia-dempargen}, supposons que $f$ satisfasse la \textit{demographic parity} généralisée. + En gardant les objets définis dans la Définition~\ref{def:aia-dempargen}, supposons que $f$ satisfasse la parité démographique généralisée. Alors, en notant $\hat{Y} = f\circ X$, comme $\mathcal{G} = \mathcal{F}=\mathcal{P}(\{0,1\})$, nous avons bien \begin{equation*} P(\hat{Y}=1\mid S=0) = P(\hat{Y}=1\mid S=1) \end{equation*} \end{proof} -Ainsi grâce à la Propriété~\ref{prop:aia-dpl0} nous savons que si un classifieur satisfait la \textit{demographic parity} généralisée, alors il a un DemParLvl égale à 0. +Ainsi grâce à la Propriété~\ref{prop:aia-dpl0} nous savons que si un classifieur satisfait la parité démographique généralisée, alors il a un DemParLvl égale à 0. diff --git a/aia/intro.tex b/aia/intro.tex index b921ffc..c3656b6 100644 --- a/aia/intro.tex +++ b/aia/intro.tex @@ -1,20 +1,22 @@ -Nous avons vu à la Section~\ref{} que, pour imposer l'équitée à un modèle, nous pouvons utiliser différentes méthodes qui agissent lors de l'entraînement. -Utiliser ces méthodes peut causer une augmentation de certain risque liée à la confidentialité des donnée d'entraînement, ainsi il est admis qu'il y ai un compromis à faire enre equitée et confidentialitée~\cite{dudu2023sok}. -Cependant ce compromis ne concerne que les risquées liée aux attaque de MIA et rentre en coflit avec la confidentialité diférentielles~\cite{chang2021privacy,cummings,ijcai2022p766}. +Nous avons vu à la Section~\ref{sec:background-eq-imp} que, pour imposer l'équité à un modèle, nous pouvons utiliser différentes méthodes qui agissent lors de l'entraînement. +Utiliser ces méthodes peut causer une augmentation de certain risque liée à la confidentialité des donnée d'entraînement, ainsi il est admis qu'il y ai un compromis à faire entre équité et confidentialité~\cite{duddu2023sok}. +Cependant ce compromis ne concerne que les risques liées aux attaques de MIA~\cite{chang2021privacy,cummings,ijcai2022p766}. -Dans ce chapitre nous allons étudier les intéractions entre ces mécanismes d'équitée et l'attaque AIA. -Nous allons montrer que sous cet angle, l'équitée et la confidentialitée travailent de concert. +Dans ce chapitre nous allons étudier les interactions entre ces mécanismes d'équité et l'attaque AIA. +Nous allons montrer que sous cet angle, l'équité et la confidentialité travaillent de concert. Cette étude peut être vue sous deux angles. -Le premier aspect consiste à étudier comment les mécanisme d'équitée peuvent être utilisé pour mitiger différent types d'AIA. -Le second aspect, en lien avec le primer, est d'utiliser les AIA pour contrôler dans un environement boîte noire le niveau d'équitée d'un modèle. +Le premier aspect consiste à étudier comment les mécanismes d'équité peuvent être utilisé pour mitiger différent types d'AIA. +Le second aspect, en lien avec le premier, est d'utiliser les AIA pour contrôler dans un environnement boîte noire le niveau d'équité d'un modèle. -\subsection{Contributions} -Dans ce chapitre nous apportons les contributions suivante : +\paragraph{Contributions} +Dans ce chapitre nous apportons les contributions suivantes: : \begin{itemize} - \item Une définition de l'équitée qui généralise la \textit{demographic parity} à la regression. - \item Diverse relations analytique et synthétques entre AIA, \textit{demographic parity} et \textit{equality of odds} qui remplissent les objectifs de: - calcul de niveau d'équitée en boîte noire et - garanties théoriques sur le niveau de confidentialité des donnée des utilisateurs de modèles. - \item La construction de deux nouvelles attaque AIA efficaces quand l'attribut sensible présente un déséquilibre. - \item Une étude empirique des relations entre niveau d'équitée, utilisation d'algorithmes imposants l'équitée et succès des attaques AIA. + \item Une définition de l'équité qui généralise la parité démogrpahique à la régression. + \item Diverse relations analytique et synthétique entre AIA, parité démographique et équité des chances qui remplissent les objectifs de: + \begin{itemize} + \item calcul de niveau d'équité en boîte noire et + \item garanties théoriques sur le niveau de confidentialité des données des utilisateurs de modèles. + \end{itemize} + \item La construction de deux nouvelles attaques AIA efficaces quand l'attribut sensible présente un déséquilibre. + \item Une étude empirique des relations entre niveau d'équité, utilisation d'algorithmes imposants l'équité et succès des attaques AIA. \end{itemize} diff --git a/aia/main.tex b/aia/main.tex index 5d5a58f..877052d 100644 --- a/aia/main.tex +++ b/aia/main.tex @@ -1,10 +1,9 @@ -\section{Introduction} \input{aia/intro} -\section{Equitée en regression} +\section{Équité en régression} \input{aia/fair_reg} -\section{Etude théorique de la relation entre AIA et équitée} +\section{Étude théorique de la relation entre AIA et équité} \label{sec:aia-theo} \input{aia/theo} @@ -12,10 +11,10 @@ \label{sec:aia-aia} \input{aia/aia} -\section{Méthodologie experimentale} +\section{Méthodologie expérimentale} \input{aia/methodo} -\section{Résultats experimentaux} +\section{Résultats expérimentaux} \label{sec:aia-resexp} \input{aia/resultats} diff --git a/aia/methodo.tex b/aia/methodo.tex index 80cf515..7bab0b0 100644 --- a/aia/methodo.tex +++ b/aia/methodo.tex @@ -1,46 +1,46 @@ Nous allons réaliser un série d'expériences utilisant les AIA définit plus haut. -Le but est d'observer l'exactitude équilibrée des AIA sur des modèles entraînés pour imposer l'équitée. -Pour des attributs sensibles dans un ensemble fini $G$, nous souhaiton observer si entraîner le modèle en imposant la paritée démographique raproche l'exactitude équilibrée de $\frac{1}{\#G}$ ce qui indique une protection de l'attribut sensible d'après le Théorème~\ref{th:aia-dpgood}. +Le but est d'observer l'exactitude équilibrée des AIA sur des modèles entraînés pour imposer l'équité. +Pour des attributs sensibles dans un ensemble fini $G$, nous souhaitons observer si entraîner le modèle en imposant la parité démographique rapproche l'exactitude équilibrée de $\frac{1}{\#G}$ ce qui indique une protection de l'attribut sensible d'après le Théorème~\ref{th:aia-dpgood}. De plus dans le cas de \AIAHard nous allons pouvoir vérifier expérimentalement la Propriété~\ref{prop:aia-demparlvl}. \subsection{Jeux de donnée} \label{sec:aia-methodo-jeu} \paragraph{CENSUS} -Le sondage des Etats Unis d'Amérique produit tous les dix ans un jeu de donnée appel CENSUS contenant les information de tous les citoyens\footnote{www.census.gov}. -La version que nous avons utilisé contient 30.940 donées avec 95 attributs comme le travail occupé, le status marital etc. -Parmis ces attributs certain sont sensibles comme la couleur de peau appelé \textit{race} ou le genre appelé \textit{sex}. -Avec ce jeu de donnée, nous construison un classifieur cible qui cherche à inférer si un individu gagne plus de 50.000 dollars par an. +Le sondage des Etats Unis d'Amérique produit tous les dix ans un jeu de donnée appelé CENSUS contenant les information de tous les citoyens\footnote{www.census.gov}. +La version que nous avons utilisé contient 30.940 données avec 95 attributs comme le travail occupé, le statut marital etc. +Parmi ces attributs certain sont sensibles comme la couleur de peau appelé \textit{race} ou le genre appelé \textit{sex}. +Avec ce jeu de donnée, nous construisons un classifieur cible qui cherche à inférer si un individu gagne plus de 50.000 dollars par an. \paragraph{COMPAS} -Cette base de donnée est construite à partir des affaires criminelle aux Etats Unis. -Elle est utilisé notament par les différents algorithem commerciaux de justice prédiction que nous avons introduits en Section~\ref{sec:contexte-insti}. +Cette base de donnée est construite à partir des affaires criminelles aux États Unis. +Elle est utilisé notamment par les différents algorithmes commerciaux de justice prédictive que nous avons introduits en Section~\ref{sec:contexte-insti}. Elle contient les donnée de 6.172 criminel jugé coupables en Floride. Elle contient sept attributs. \paragraph{MEPS} -Cette base de donnée provient du système de santé de Etats Unis. +Cette base de donnée provient du système de santé de États Unis. Elle contiens l'historique de trajets réalisé par 15.830 patients. Le tâche de classification du modèle cible est de prédire si un patient utilise fortement ou faiblement les services de santé. \paragraph{LFW} -Cess base de donnée contient 8.212 image de visage de personnes. +Ces base de donnée contient 8.212 images de visages de personnes. La tâche principale est de classifier si une personne a plus de 35 ans. \paragraph{Attributs sensibles} Toutes ces bases de données contiennent les attributs sensibles \textit{race} et \textit{sex}. -Nous randons binaire cas attributs : +Nous rendons binaire cas attributs : \textit{race} vaut 1 si la personne à la peu noire et 0 sinon ; \textit{sex} vaut 1 si la personne est une femme et 0 sinon. \subsection{Cheminement des données} Pour simuler le modèle de menace nous séparons chaque base de donnée de la manière suivant : chaque base de donnée est séparé en 80\% d'entraînement et 20\% d'évaluation. -Dans l'entraînment on retire l'attribut sensible et on l'utilisé pour entrainer le modèle cible. -Ensuite nous utilison l'évaluation sans l'attribut sensible pur calculer les prédictions que nous lion ligne par ligne à leur attribut sensible correspondant. -Cela crée la base auxilière qui respecte bien les exigence du modèle de menace : les donnée n'ont pas été utilisé à l'entraînement. -Cette base auxilière est ensuite separée en 80\% d'entraîneemnt et 20\% d'évaluation. -Les 80\% d'entraînement sont utilisé pourt construire le modèle d'attaque qui sert à predire l'attribut sensible à partir de la prédiction du modèle cible. +Dans l'entraînement on retire l'attribut sensible et on l'utilisé pour entraîner le modèle cible. +Ensuite nous utilisons l'évaluation sans l'attribut sensible pur calculer les prédictions que nous lions ligne par ligne à leur attribut sensible correspondant. +Cela crée la base auxiliaire qui respecte bien les exigence du modèle de menace : les donnée n'ont pas été utilisé à l'entraînement. +Cette base auxiliaire est ensuite séparée en 80\% d'entraînement et 20\% d'évaluation. +Les 80\% d'entraînement sont utilisé pour construire le modèle d'attaque qui sert à prédire l'attribut sensible à partir de la prédiction du modèle cible. Les 20\% d'évaluation servent à calculer l'exactitude équilibré du modèle d'attaque. Nous reportons dans la Section~\ref{sec:aia-resexp} contenant les résultats expérimentaux. \begin{figure} diff --git a/aia/resultats.tex b/aia/resultats.tex index efe0060..9f432ff 100644 --- a/aia/resultats.tex +++ b/aia/resultats.tex @@ -1,4 +1,4 @@ - +\FloatBarrier \begin{figure} \centering \begin{subfigure}{0.24\linewidth} @@ -35,8 +35,12 @@ \caption{Lfw (sex)} \end{subfigure} - \caption{For \AIAHard, we observe that EGD reduces the attack accuracy to random guess ($\sim$50\%)} - \label{fig:AdaptAIAEGD} + \caption{Impacte de la réduction pour une classification équitable sur le succès de \AIAHard. + \\\textit{Baseline} = sans réduction. + \\\textit{Theoretical} = $\frac{1}{2}(1+DemParLvl)$ avec réduction. + \\\textit{Empirical} = avec réduction. + } + \label{fig:aiaegd} \end{figure} @@ -77,8 +81,10 @@ \caption{Lfw (sex)} \end{subfigure} - \caption{For both \AIASoft and \AIAHard, Adversarial debisaing reduces the attack accuracy to random guess ($\sim$50\%). For \AIAHard, the theoretical bound on attack accuracy matches with the empirical results.} - \label{fig:AdaptAIADebias} + \caption{Impacte du rééquilibrage adverse sur le succès de \AIASoft. + \\\textit{baseline} = sans rééquilibrage adverse. + \\\textit{AdvDebias} = avec rééquilibrage adverse.} + \label{fig:aiadeb} \end{figure} \begin{figure} @@ -114,6 +120,79 @@ \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf} \caption{Lfw (sex)} \end{subfigure} - \caption{adverarial debiasing hard} + \caption{Impacte du rééquilibrage adverse sur le succès de \AIAHard. + \\\textit{baseline} = succes de l'attaque sans rééquilibrage adverse. + \\\textit{Empirical} = succès de l'attaque avec rééquilibrage adverse. + \\\textit{Theoretical} = $\frac{1}{2}(1+DemParLvl)$ avec rééquilibrage adverse} \label{fig:aia-adv-hard} \end{figure} + +\begin{figure}[!htb] + \centering + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/egd/census/census_egd_utility.pdf} + \caption{CENSUS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/egd/compas/compas_egd_utility.pdf} + \caption{COMPAS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/egd/meps/meps_egd_utility.pdf} + \caption{MEPS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/egd/lfw/lfw_egd_utility.pdf} + \caption{LFW} + \label{fig:utilityegd-lfw} + \end{subfigure} + \caption{Impacte de l'utilisation de la réduction pour une classification équitable sur l'utilité. + \\\textit{Baseline} = sans réduction. + \\\textit{EGD+DemPar} = avec réduction. + } + \label{fig:utilityegd} +\end{figure} + + +\begin{figure}[!htb] + \centering + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_utility.pdf} + \caption{CENSUS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_utility.pdf} + \caption{COMPAS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_utility.pdf} + \caption{MEPS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_utility.pdf} + \caption{LFW} + \label{fig:utilityadv-lfw} + \end{subfigure} + \caption{Impacte de l'utilisation du rééquilibrage adverse sur l'utilisé. + \\\textit{baseline} = sans rééquilibrage adverse. + \\\textit{AdvDebias} = avec rééquilibrage adverse. + } + \label{fig:utilityadv} +\end{figure} +Nous observons sur les Figures~\ref{fig:aiaegd},~\ref{fig:aia-adv-hard} et~\ref{fig:aiadeb} que les méthodes pour imposer l'équité on bien réduit les succès des attaques que ce soit en classification ou en régression. +De plus, nous voyons sur les Figures~\ref{fig:aiaegd} et~\ref{fig:aia-adv-hard} que le succès maximal de l'attaque vaut bien $\frac{1}{2}(1+DemParLvl)$ comme nous l'avons montré à la Propriété~\ref{prop:aia-demparlvl}. +Enfin, nous mettons en perspective ce résultat avec la dégradation d'utilité qu'entraîne l'utilisation des ces méthodes sur les Figures~\ref{fig:utilityegd} et~\ref{fig:utilityadv}. +Les deux méthodes semblent protéger de manière similaire les attributs sensibles pour \AIAHard~cependant la méthode de adverse est la seul pouvant mitiger \AIASoft. +En contrepartie la réduction pour une classification équitable semble moins dégrader l'utilité comme nous pouvons le vois en comparant les Figures~\ref{fig:utilityegd-lfw} et~\ref{fig:utilityadv-lfw}. + +En conclusion, nous recommandons d'utiliser le rééquilibrage adverse quand il y a un risque que le logit soit partage ou quand le tâche principale est une régression. +Si ce n'est pas le cas, par exemple si le modèle est utilisé localement et que uniquement la prédiction est partagé, nous recommandons d'utiliser la réduction pour une classification équitable. +\FloatBarrier diff --git a/aia/theo.tex b/aia/theo.tex index 3b8e49d..6d19da2 100644 --- a/aia/theo.tex +++ b/aia/theo.tex @@ -1,40 +1,40 @@ -\subsection{Utiliser l'équitée pour mitiger les AIA} -Commencons par présenter le résultat le plus générale, qui fonctionne aussi bien pour des modèle de classification que pour des regression. -Ce résultats est aussi indépendant du type d'attribut binaire, quantitatif au qualitatif. +\subsection{Utiliser l'équité pour mitiger les AIA} +Commençons par présenter le résultat le plus générale, qui fonctionne aussi bien pour des modèles de classifications que pour des régressions. +Ce résultat est aussi indépendant du type d'attribut binaire, quantitatif au qualitatif. \begin{theorem} \label{th:aia-dpgood} - Les deux propositions suivantes sont équivalantes : + Les deux propositions suivantes sont équivalentes : \begin{enumerate} - \item Le modèle cible satisfait la démographic parity + \item Le modèle cible satisfait la parité démographique . \item Toutes les attaques utilisant la prédiction pour inférer l'attribut sensible sont des CCA. \end{enumerate} - Et aussi, les deux propositions suivantes sont équivalantes : + Et aussi, les deux propositions suivantes sont équivalentes : \begin{enumerate} - \item Le modèle cible satisfait la démographic parity généraliée - \item Toutes les attaques utilisants le logit pour inférer l'attribut sensible sont des CCA. + \item Le modèle cible satisfait la parité démographique généralisée. + \item Toutes les attaques utilisant le logit pour inférer l'attribut sensible sont des CCA. \end{enumerate} \end{theorem} \begin{proof} - Par définition, la \textit{demographic parity} (respectivement généralisée) est equivalante à l'inpépendance entre l'attribut sensible et la prediction (respectivement le logit). - Ainsi, d'après le Lemme~\ref{lemme:aia-xycca} dire que tout classifieur de l'attribute sensible utilisant la prédiction (respectivement le logit) est un CCA est équivalant à dire que le modèle cible respecte la \textit{demographic parity} (respectivement généralisée). + Par définition, la parité démographique (respectivement généralisée) est équivalente à l'indépendance entre l'attribut sensible et la prédiction (respectivement le logit). + Ainsi, d'après le Lemme~\ref{lemme:aia-xycca} dire que tout classifieur de l'attribut sensible utilisant la prédiction (respectivement le logit) est un CCA est équivalant à dire que le modèle cible respecte la parité démographique (respectivement généralisée). \end{proof} -Ce résultat nous apprend que s'assurer que le modèle cible satisfait la \textit{demographic parity} permet de s'assurer que les attribut sensible des utilisateur soient protégé lors de l'utilisation du modèle. -Dans le cas d'un modèle cible qui réalise une classifiction binaire et en considérant un attribut binaire nous avons une propriété plus précise. +Ce résultat nous apprend que s'assurer que le modèle cible satisfait la parité démographique permet de s'assurer que les attributs sensibles des utilisateur sont protégés lors de l'utilisation du modèle. +Dans le cas d'un modèle cible qui réalise une classification binaire et en considérant un attribut binaire nous avons une propriété plus précise. \begin{propriete} \label{prop:aia-demparlvl} Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé et $(\{0,1\}$, $\mathcal{P}(\{0,1\}))$ des espaces mesurables. Soit les variables aléatoires suivantes \begin{itemize} - \item L'étiquette $Y:(\Omega,\mathcal{T})\rightarrow (\{0,1\},\mathcal{P}(\{0,1\})$ - \item La donnée d'entrée $X:(\Omega,\mathcal{T})\rightarrow (F,\mathcal{F})$ - \item L'attribute sensible $S:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\}))$ - \item L'attaque $a:(\Omega,\mathcal{T})\rightarrow\mathcal{P}(\{0,1\}))$ - \item Le modèle cible $f:(\Omega,\mathcal{T})\rightarrow\mathcal{P}(\{0,1\}))$ + \item L'étiquette $Y:(\Omega,\mathcal{T})\rightarrow (\{0,1\},\mathcal{P}(\{0,1\}))$ + \item La donnée d'entrée $X:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\})$ + \item L'attribut sensible $S:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\}))$ + \item L'attaque $a:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\}))$ + \item Le modèle cible $f:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\}))$ \end{itemize} Alors nous avons \begin{equation*} @@ -46,11 +46,13 @@ Dans le cas d'un modèle cible qui réalise une classifiction binaire et en cons On pause $\hat{Y}=f\circ X$. L'ensemble $A$ des fonction de $\{0,1\}$ vers $\{0,1\}$ contient quatre éléments : $a_0=0$, $a_1=id$, $a_2=1-id$ et $a,3=1$. - Pour chaque attaque $a\in A$ la \textit{balanced accuracy} de $a$ est -$BA(a) = \frac{1}{2}(P(a\circ \hat{Y}=0|S=0) + P(a\circ \hat{Y}=1|S=1))$. + Pour chaque attaque $a\in A$ l'exactitude équilibré de $a$ est + \begin{equation*} + BA(a) = \frac{1}{2}(P(a\circ \hat{Y}=0|S=0) + P(a\circ \hat{Y}=1|S=1)) + \end{equation*} Nous avons $BA(b_0) = BA(b_3) = \frac{1}{2}$ il n'est donc pas nécessaire de considérer ces éléments pour résoudre le problème d'optimisation. Ce problème s'écrit $\text{max}_{a\in A}BA(a)) = \text{max}(BA(a_1), BA(a_2))$. -Nous remarquon que $a_1\circ \hat{Y}=\hat{Y}$ et $a_2\circ \hat{Y}=1 - \hat{Y}$. +Nous remarquons que $a_1\circ \hat{Y}=\hat{Y}$ et $a_2\circ \hat{Y}=1 - \hat{Y}$. Ainsi, { \begin{align*} @@ -67,7 +69,7 @@ et Donc, { \begin{align*} - &\text{max}_{a\in B}BA(a) \\ + &\text{max}_{A\in B}BA(a) \\ = &\frac{1}{2}\left(1+\text{max}\left( \begin{matrix} P(\hat{Y}=0|S=0) -P(\hat{Y}=1|S=1)\\ @@ -79,12 +81,12 @@ Donc, } \end{proof} -Ainsi pour le classifieur binaire avec attribut sensbile binaire, il est suffisant de calculer le DemParLvl du modèle cible pour connaitre le maximum de \textit{balanced accuracy} ateignable par n'importe quelle attaque. -De plus, nous voyons que la \textit{balanced accuracy} maximial d'attaque vaut ${1}{2}$ si et seulement si $\text{DemParLvl}=0$. -C'est à dire que $f$ satisfait DemPar est équivalant à dire que tout attaque à une \textit{balanced accuracy} égale à $\frac{1}{2}$. +Ainsi pour le classifieur binaire avec attribut sensible binaire, il est suffisant de calculer le DemParLvl du modèle cible pour connaître le maximum d'exactitude équilibré atteignable par n'importe quelle attaque. +De plus, nous voyons que l'exactitude équilibré maximale d'attaque vaut ${1}{2}$ si et seulement si $\text{DemParLvl}=0$. +C'est à dire que $f$ satisfait la parité démographique est équivalant à dire que tout attaque à une exactitude équilibré égale à $\frac{1}{2}$. -Grâce au Théorème~\ref{th:aia-dpgood} nous savons aussi que tout autre définition d'équtiée qui n'implique pas la paritée démographique ne permet pas de mitiger les AIA. -Par exemple, nous allons montrer un cas ou l'égalitée des chances de la Définition~\ref{def:background-eq-eoo} est satisfaite mais om il existe une AIA qui donne une exactitude équillibrée suppérieur $0,5$. +Grâce au Théorème~\ref{th:aia-dpgood} nous savons aussi que tout autre définition d'équité qui n'implique pas la parité démographique ne permet pas de mitiger les AIA. +Par exemple, nous allons montrer un cas ou l'égalité des chances de la Définition~\ref{def:background-eq-eoo} est satisfaite mais où il existe une AIA qui donne une exactitude équilibré supérieur $0,5$. On représente le classifieur $\hat{Y}$ de l'étiquette $Y$ ainsi que la donnée d'entrée $X$ et l'attribut sensible $S$ dans le tableau suivant : \begin{equation*} @@ -100,12 +102,12 @@ On représente le classifieur $\hat{Y}$ de l'étiquette $Y$ ainsi que la donnée 1&1&1&0\\ \end{matrix} \end{equation*} -Nous utilisons le modèle cible utilisé est $\hat{Y}=id\circ X$. -Ce classifieur satisfait l'équitée des chances car +Nous utilisons le modèle cible $\hat{Y}=id\circ X$. +Ce classifieur satisfait l'équité des chances car $P(\hat{Y}=0\mid Y=0\wedge S=0) = P(\hat{Y}=0\mid Y=0\wedge S=1) = 1$ et $P(\hat{Y}=0\mid Y=1\wedge S=0) = P(\hat{Y}=0\mid Y=1\wedge S=1) = 0$. -Alors si on choisit comme modèle d'attaque la fonctione identitée, nous avont comme accuracy de l'AIA $0,75$ ce qui indique une fuite de l'attribut sensible. +Alors si on choisit comme modèle d'attaque la fonction identité, nous avons comme exactitude équilibré de l'AIA $0,75$ ce qui indique une fuite de l'attribut sensible. %De manière plus précises et plus générale nous avancons le théorème suivant : %\begin{theorem} @@ -144,23 +146,23 @@ Alors si on choisit comme modèle d'attaque la fonctione identitée, nous avont %We can do the same computing for $S=0$ and obtain a similar conclusion. %\end{proof} % -\subsection{Utiliser l'AIA pour contrôler le niveau d'équitée} +\subsection{Utiliser l'AIA pour contrôler le niveau d'équité} \label{sec:aia-theo-aia-eq} -De manière réciproque, le lien que nous avons démontré peut ausi être utilié dans le cas suivant. -Imaginons qu'un fournisseur de modèle d'IA ou un organisme de régulation comme la Défensseure des Droit souhaite contrôler si un modèle est équitable ou non. -Si $\#F$ ou $\#G$ sont grands voir de cardinaux infinis, vérifier diréctement des propriétés d'indépendances entre la sortie du modèle et des attributs sensible peut entraîner un coût de calcul trop élevé pour être faisable~\cite{ofverstedt2022fast}. +De manière réciproque, le lien que nous avons démontré peut aussi être utilité dans le cas suivant. +Imaginons qu'un fournisseur de modèle d'IA ou un organisme de régulation comme la Défenseure des Droit souhaite contrôler si un modèle est équitable ou non. +Si $\#F$ ou $\#G$ sont grands voir de cardinaux infinis, vérifier directement des propriétés d'indépendances entre la sortie du modèle et des attributs sensible peut entraîner un coût de calcul trop élevé pour être faisable~\cite{ofverstedt2022fast}. Grâce au Théorème~\ref{th:aia-dpgood} nous avons la garantie que que si toutes les modèles AIA ont une exactitude équilibrée égale à $\frac{1}{\#F}$ alors le modèle cible satisfait la parité démographique. -Bien sûre cette technique atteint sa limite si $\#G$ est infini car alors l'exactitude équliibrée n'est plus définie. +Bien sûre cette technique atteint sa limite si $\#G$ est infini car alors l'exactitude équilibré n'est plus définie. -Calculer l'exactitude équilibrée de toutes les modèles d'AIA est impossible. -Nous allons voir que si l'AIA qui donne une exactitdue équilibrée maximal vaut $\frac{1}{\#F}$ alors c'est le cas pour toutes. +Calculer l'exactitude équilibrée de tous les modèles d'AIA est impossible. +Nous allons voir que si l'AIA qui donne une exactitude équilibré maximal vaut $\frac{1}{\#F}$ alors c'est le cas pour toutes. \begin{theorem} \label{th:aia-bluey} Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé. - Soient $(E,\mathcal{E})$ et $(F,\mathcal{P}(F))$ des espaces mesurables avec $F$ un esemble fini. - Soient les varibles aléatoires suivantes : + Soient $(E,\mathcal{E})$ et $(F,\mathcal{P}(F))$ des espaces mesurables avec $F$ un ensemble fini. + Soient les variables aléatoires suivantes : \begin{itemize} \item $X:\Omega\rightarrow E$ \item $Y:\Omega\rightarrow F$ @@ -186,8 +188,8 @@ Nous allons voir que si l'AIA qui donne une exactitdue équilibrée maximal vaut On note $S_{\#F}$ l'ensemble des bijections de $\#F$ sur lui-même. Montrons qu'il existe $\varphi\in S_{\#F}$ telle que $\sum_{j\in\#F}M(\varphi(j),j) >1$. - Raisonons par l'absurde. - Nous supposont que + Raisonnons par l'absurde. + Nous supposons que \begin{equation*} \forall \varphi\in S_{\#F}~\sum_{j\in\#F}M(\varphi(j),j)<1 \end{equation*} @@ -218,14 +220,14 @@ Nous allons voir que si l'AIA qui donne une exactitdue équilibrée maximal vaut \end{proof} -Nous allons utiliser ce théorème pour montrer que si l'AIA maximale à une exactidue équilibrée égale à $\frac{1}{\#G}$ alors toutes les AIA ont la même éxactiture equilibrée. -On se donne $A$ l'ensemble des fonctions mesurable de $(F,\mathcal{F}$ dans $(G,\mathcal{P}(G)$. +Nous allons utiliser ce théorème pour montrer que si l'AIA maximale à une exactitude équilibré égale à $\frac{1}{\#G}$ alors toutes les AIA ont la même exactitude équilibré. +On se donne $A$ l'ensemble des fonctions mesurable de $(F,\mathcal{F})$ dans $(G,\mathcal{P}(G))$. $A$ modélise l'ensemble des AIA possibles pour un modèle cible qui prédit dans $F$ et un attribut sensible dans $G$, un ensemble fini. Supposons que $\text{max}_{a\in A} BA(a)=\frac{1}{\#G}$. Alors $\forall a\in A~BA(a)\leq\frac{1}{\#G}$. D'après la contraposée du Théorème~\ref{th:aia-bluey} nous avons alors $\forall a\in A~BA(a)\geq\frac{1}{\#G}$. Ainsi $\forall a\in A~BA(a)=\frac{1}{\#G}$. -Pour contrôler si un classifieur vérifie la paritée demographique il est donc suffisant de connaitre l'exactitude équilibrée maximial de toutes les AIA. -Comme nous venons de le voir, si cette valuer vaut $\frac{1}{\#G}$ alors le classifieur satisfait la paritée démographique. -La recherche d'une AIA qui maximise l'exactitude équilibrée est discuté à la Section~\ref{sec:aia-aia}. +Pour contrôler si un classifieur vérifie la parité démographique il est donc suffisant de connaître l'exactitude équilibré maximale de toutes les AIA. +Comme nous venons de le voir, si cette valeur vaut $\frac{1}{\#G}$ alors le classifieur satisfait la parité démographique. +La recherche d'une AIA qui maximise l'exactitude équilibré est discuté à la Section~\ref{sec:aia-aia}. |