diff options
Diffstat (limited to 'aia')
| -rw-r--r-- | aia/< | 14 | ||||
| -rw-r--r-- | aia/a.tex | 72 | ||||
| -rw-r--r-- | aia/aia.tex | 46 | ||||
| -rw-r--r-- | aia/b.tex | 36 | ||||
| -rw-r--r-- | aia/classif.tex | 96 | ||||
| -rw-r--r-- | aia/conclusion.tex | 0 | ||||
| -rw-r--r-- | aia/fair_reg.tex | 46 | ||||
| -rw-r--r-- | aia/figure/rocr.pdf | bin | 0 -> 15450 bytes | |||
| -rw-r--r-- | aia/figure/tikz/data.tex | 15 | ||||
| -rw-r--r-- | aia/intro.tex | 20 | ||||
| -rw-r--r-- | aia/main.tex | 26 | ||||
| -rw-r--r-- | aia/methodo.tex | 50 | ||||
| -rw-r--r-- | aia/related.tex | 0 | ||||
| -rw-r--r-- | aia/resultats.tex | 119 | ||||
| -rw-r--r-- | aia/theo.tex | 231 |
15 files changed, 771 insertions, 0 deletions
@@ -0,0 +1,14 @@ +Nous avons vu à la Section~\ref{} que, pour imposer l'équitée à un modèle, nous pouvons utiliser différentes méthodes qui agissent lors de l'entraînement. +Utiliser ces méthodes peut causer une augmentation de certain risque liée à la confidentialité des donnée d'entraînement, ainsi il est admis qu'il y ai un compromis à faire enre equitée et confidentialitée~\cite{dudu2023sok}. +Cependant ce compromis ne concerne que les risquées liée aux attaque de MIA et rentre en coflit avec la confidentialité diférentielles~\cite{chang2021privacy,cummings,ijcai2022p766}. + +Dans ce chapitre nous allons étudier les intéractions entre ces mécanismes d'équitée et l'attaque AIA. +Nous allons montrer que sous cet angle, l'équitée et la confidentialitée travailent de concert. +Cette étude peut être vue sous deux angles. +Le premier aspect consiste à étudier comment les mécanisme d'équitée peuvent être utilisé pour mitiger différent types d'AIA. +Le second aspect, en lien avec le primer, est d'utiliser les AIA pour contrôler dans un environement boîte noire le niveau d'équitée d'un modèle. + +\subsection{Contributions} +Dans ce chaptre nous apportons les contributions suivante : +\begin{itemize} + \itme diff --git a/aia/a.tex b/aia/a.tex new file mode 100644 index 0000000..5d25e64 --- /dev/null +++ b/aia/a.tex @@ -0,0 +1,72 @@ + +\begin{figure*}[!htb] + \centering + \footnotesize + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_soft_experimental_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_soft_experimental_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_soft_experimental_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_soft_experimental_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_soft_experimental_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_soft_experimental_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf} + \caption{Census (race)} + \end{subfigure} + + \caption{For both \AIASoft and \AIAHard, Adversarial debisaing reduces the attack accuracy to random guess ($\sim$50\%). For \AIAHard, the theoretical bound on attack accuracy matches with the empirical results.} + \label{fig:AdaptAIADebias} +\end{figure*} diff --git a/aia/aia.tex b/aia/aia.tex new file mode 100644 index 0000000..39db20b --- /dev/null +++ b/aia/aia.tex @@ -0,0 +1,46 @@ +\subsection{Modèle de menace}\footnote{\textit{Threat model}} +Nous considéront qu'un adversaire souhatie conduire une AIA pour un attribute sensible sur un modèle cible. +Le but de l'adversaire est d'inférer l'attribut sensible à partir uniquement des prédictions du modèle cible. +L'adversaire a accès une base de donnée que nous appelons auxillière et qui ne contient pas d'individu en commun avec la base de donée d'entraînement du modèle cible que nous appelon base cible. +La base cible ne contiens pas l'attribut sensible qui n'a donc pas été utilisé à l'entraînement. +La base auxilière contiens l'attribut sensible et des prédictions du modèle cible correspondantes à ces attributs sensibles. +La base auxilmière ne contient pas les donnés d'entrée car sinon l'adversaire pourrait simplement entraîner un modèle pour inférer l'attribut sensible à partir des données d'entrée et le modèle cible n'aporterai pas plus d'informations~\cite{jayaraman2022attribute}. +Il n'est pas du ressort de cette étude d'étudier commen un adversaire pourrait avoir accès à une telle base de donnée. +Cela pourrait être le cas après une fuite de donnée ou une attaque de type homme du milieu\footnote{\textit{Man in the middle}}. + +\subsection{AIA pour les modèles de classification} +Considérons que le modèle cible prennet ses valeurs dans $F$, un ensemble fini. +C'est à dire que le modèle cible ne donne accès à l'attaquant que des prédictions d'étiquette. +Cela peut-être le cas après application d'un seuil sur un logit par exemple. +Alors le but de l'attaquant est de trouver une fonction mesutable de $(F,\mathcal{P}(F))$ dans $(G,\mathcal{P}(G))$ qui maximise l'exactitude équilibrée. +Où $G$ est l'ensemble dans lequel l'attribut sensible prend ces valeurs. +Cela est un cas d'application parfait pour l'algorithme que nous avons construit au Chapitre~\ref{sec:fini}. +Nous allons l'utiliser pour construir une AIA qui donne la garantie théorique d'être le meilleur modèle qui permette de classifier l'attribut sensible en utilisant la prédiction du modèle. +Nous appelons cette AIA : \AIAHard. + +\subsection{AIA pour les modèles de regression} +Dans le cas d'un modèle cible qui effectu une regression nous avons $\#F$ infini donc nous ne pouvons pas utiliser \AIAHard. +Ce cas où l'adversaire a accès un modèle de regression prend en compte le cas où le modèle cible de prédiction divulgue un logit par exemple. +C'est le modèle de menace qu'applique Song et. al~\cite{Song2020Overlearning} dans leur AIA. + +Nous utiliserons comme modèle d'AIA une forêt aléatoire puis nous optimiserons son seuil en utilisant la courbe ROC pour prendre en compte le déséquilibre de classses dans l'attribut sensible. +Cette methode fonctione uniquement pour des attributs binaires. +C'est-à dire que pour une prédiction dans l'espace mesurable $(F,\mathcal{F})$ et un attribut sensible dans $(\{0,1\},\mathcal{P}(\{0,1\})$ +la forêt aléatoire construit une fonction de mesurbale +$a : (F,\mathcal{F})\rightarrow ([0,1],\mathcal{B}([0,1]))$. +$a$ modélise le logit de la prédiction du modèle AIA. +Ensuite nous calculons, la courbe ROC de $a$ comme nous l'avons défini à la Section~\ref{sec:background-ml-classif} et nous choisis $\upsilon^*$ tel que, pour la prédiction $a_\upsilon = 1_{[\upsilon,1]}\circ a$ : +\begin{equation*} + \upsilon^* = \text{argmin}_{\upsilon\in [0,1]} + (1-tpr(\upsilon))^2 + fpr^2(\upsilon) +\end{equation*} +Nous réprésenton sur la Figure~\ref{fig:aia-rocopt} le choix du seuil optimal et du seuil par rapport au seuil par défaut fixé à $0,5$. +\begin{figure} + \centering + \includegraphics[width=0.45\linewidth]{aia/figure/rocr.pdf} + \caption{Optimisation du seuil du modèle d'attaque \AIASoft.} + \label{fig:aia-rocopt} +\end{figure} + +Contrairement a \AIAHard, \AIASoft~ne donne pas la garantie de maximisaion l'exactitude équilibré. +Ainsi \AIASoft~constitue un approximation relativement à la théorie que nous avons décrite à la Section~\ref{sec:aia-theo}. diff --git a/aia/b.tex b/aia/b.tex new file mode 100644 index 0000000..608a632 --- /dev/null +++ b/aia/b.tex @@ -0,0 +1,36 @@ +\begin{figure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_sex.pdf} + \caption{Census (sex)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_race.pdf} + \caption{Compas (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_sex.pdf} + \caption{Compas (sex)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_race.pdf} + \caption{Meps (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_sex.pdf} + \caption{Meps (sex)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_race.pdf} + \caption{Lfw (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf} + \caption{Lfw (sex)} + \end{subfigure} + \caption{adverarial debiasing hard} + \label{fig:aia-adv-hard} +\end{figure} diff --git a/aia/classif.tex b/aia/classif.tex new file mode 100644 index 0000000..67e9874 --- /dev/null +++ b/aia/classif.tex @@ -0,0 +1,96 @@ +\begin{theorem} + \label{th:aia-dpgood} + Si le modèle cible satisfait la démographic parity alors l'attaque n'importe qu'elle classifieur utilisant la prédiction pour inférer l'attribut sensible est un CCA. + Si le modèle cible satisfait la démographic parity généraliée alors l'attaque utilisant le logit pour inférer l'attribut sensibl est un CCA. +\end{theorem} + +Le théorème précedent permet de + +Pour démontrer ce résultat, commencons par nous rapeler de la raison pour la quelle nous avons défini les CCA comme tel au début du Chaptire~\ref{sec:fini}. +Nous voulions englober dans cette définition les classifieur qui essaient de prédire un attribute indépendant de la donnée d'entrée. +Cependant nous n'avons jamais démontré que de tels classifieurs sont des CCA. +C'est ce que nous proposons avec le lemme suivant. + +\begin{lemma} + \label{lemme:aia-xycca} + Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé. + Soient $X:(\Omega,\mathcal{T}) \rightarrow (E,\mathcal{E})$ et $Y:\Omega \rightarrow (F,\mathcal{F})$ des variables aléatoires. + Les deux propositions suivantes sont équivalantes : + \begin{enumerate} + \item $P_{(X,Y)} = P_X\otimes P_Y$. + \item Toute fonction mesurable $f:(E,\mathcal{T})\rightarrow (F,\mathcal{F})$ est un CCA pour prédire $Y$ à partir de $X$. + \end{enumerate} +\end{lemma} + +\begin{proof} + En gardant les objets définis dans le Lemme~\ref{lemme:aia-xycca}. + Nous allons prouver séparément les deux implications. + \paragraph{$(1)\implies(2)$} + Nous supposons que $P_{(X,Y)} = P_X\otimes P_Y$. + Soit $f:(E,\mathcal{T})\rightarrow (F,\mathcal{F})$, un fonction mesurerable, + nous allons montrer que $f$ est un CCA, c'est-à dire que $P_{(f\circ X,Y)} = P_{f\circ X}\otimes P_Y$. + + Soient $(A,B)\in\mathcal{E}\times\mathcal{F}$ + \begin{align*} + &P_{(f\circ X,Y)}(A,B)&\\ + =&P(\{f\circ X\in A\}\cap\{Y\in B\})&\\ + =&P(\{X\in f^{-1}(A)\}\cap\{Y\in B\})&\\ + &&\textit{Comme $X$ et $Y$ sont indépendantes.}\\ + =&P_X(f^{-1}(A))P_Y(B)&\\ + =&P_{f\circ X}(A)P_Y(B)& + \end{align*} + + Ainsi, $\forall (A,B)\in\mathcal{E}\times\mathcal{F}~P_{(f\circ X,Y)}(A,B) = P_{f\circ X}(A)P_Y(B)$. + D'après la définition de le mesure produit donnée à la Section~\ref{sec:background-proba}, nous avons donc bien $P_{(f\circ X,Y)} = P_{f\circ X}\otimes P_Y$. + Ce qui est bien la définition de l'indépendant donnée en Section~\ref{sec:background-proba}. + + \paragraph{$(2)\implies (1)$} + Nous supposons que tout classifieur de $Y$ à partir de $X$ est un CCA. + Montrons que $P_{(X,Y)} = P_{f\circ X}\otimes P_Y$. + Soit $(A,B)\in\mathcal{E}\times\mathcal{F}$. + Nous allons montrer que + $P(X\in A\cap Y\in B) = P(X\in A)P(Y\in B)$. + + \paragraph{Cas 1 : $\mathcal{F}=\{\emptyset,F\}$} + Si $B=\emptyset$ alors + $P(X\in A\cap Y\in B) = P(X\in A)P(Y\in B) = \emptyset$. + Si $B=F$ alors + $P(X\in A\cap Y\in B) = P(X\in A)P(Y\in B) = P(X\in A)$. + + \paragraph{Cas 2 : $\#\mathcal{F}>2$} + Alors il existe $C\in\mathcal{F}$ tel que $C\neq\emptyset$ et $F\backslash C\neq\emptyset$. + Nous pouvons donc choisir $c$ dans $C$ et $c'$ dans $F\backslash C$. + Nous construisons la fonction suivante: + \begin{equation*} + f:\left\{ + \begin{matrix} + E\rightarrow F\\ + e\mapsto\left\{ + \begin{matrix} + c~\text{si}~e\in A\\ + c'~\text{sinon} + \end{matrix} + \right. + \end{matrix} + \right. + \end{equation*} + Alors $f:(E,\mathcal{E})\rightarrow (F,\mathcal{F})$ est une fonction mesurable et $f^{-1}(C) = A$. + Ainsi + \begin{align*} + &P(X\in A\cap Y\in B)\\ + =&P(X\in f^{-1}(C)\cap Y\in B)\\ + \text{Comme $f$ est un CCA.}&\\ + =&P(f\circ X\in C)P(Y\in B)\\ + =&P(X\in A)P(Y\in B) + \end{align*} + +\end{proof} + +Désormais la démonstration du Théorème~\ref{th:aia-dpgood} devient évidente. + +\begin{proof} + Par définition, la \textit{demographic parity} (respectivement généralisée) est equivalante à l'inpépendance entre l'attribut sensible et la prediction (respectivement le logit). + Ainsi, d'après le Lemme~\ref{lemme:aia-xycca} tout classifieur de l'attribute sensible utilisant la prédiction (respectivement le logit) est un CCA. + En particulier les attaques \AIAHard~et \AIASoft. +\end{proof} + diff --git a/aia/conclusion.tex b/aia/conclusion.tex new file mode 100644 index 0000000..e69de29 --- /dev/null +++ b/aia/conclusion.tex diff --git a/aia/fair_reg.tex b/aia/fair_reg.tex new file mode 100644 index 0000000..2f2a0e0 --- /dev/null +++ b/aia/fair_reg.tex @@ -0,0 +1,46 @@ +A la Section~\ref{sec:background-eq} nous avons introduits la notion de \textit{demographic parity} (DemPar). +Dans le cas d'un classifieur binaire ($\hat{Y}$) avec attribut binaire ($S$), nous pouvons calculer à quel point le classifieur est proche d'être DemPar avec la quantité suivante : +\begin{equation*} + \text{DemParLvl} = |P(\hat{Y}=1|S=0) - P(\hat{Y}=1|S=1)| +\end{equation*} +C'est l'écart de prédiction positive entre la classe majoritair(par exemple les blancs, le hommes, ...) et la classe minoritaire (les noirs, les femmes, ...). +\begin{propriete} + \label{prop:aia-dpl0} + Un classifieur qui satisfat la \textit{demographic parity} a n DemParLvl égale à zéro. +\end{propriete} +La démonstration est triviale à partir de la Définition~\ref{def:background-eq-dp}. + +DemPar est équivalante à dire que la prédiction du modèle est idépendante de l'attribut sensible. +Nous remarquons que cette définition n'est ni restrainte à des problème de classification, ni à des attribute senssibles binaires ni même à des attribut sensibles qui prennent leurs valeur dans un ensemble fini. +Ainsi nous définissons la notion suivante: +\begin{definition}{\textit{Démographic parity} généralisée.} + \label{def:aia-dempargen} +Soit $(\Omega,\mathcal{T},P$) un espace probabilisé. +Soient $(E,\mathcal{E})$, $(F,\mathcal{F})$ et $(G,\mathcal{G})$ des espaces mesurables. +Soient les variables aléatoires suivantes : +\begin{itemize} + \item $X:(\Omega,\mathcal{T})\rightarrow (E,\mathcal{E})$ + \item $Y:(\Omega,\mathcal{T})\rightarrow (F,\mathcal{F})$ + \item $S:(\Omega,\mathcal{T})\rightarrow (G,\mathcal{G})$ + \item $f:(E,\mathcal{E})\rightarrow (F,\mathcal{F})$ +\end{itemize} +Alors $f$ satisfait la \textit{demographic parity} généralisée si et seulement si +\begin{equation*} + P_{f\circ X,S} = P_{f\circ X}\otimes P_S +\end{equation*} +Dit autrement, si et seulement si le classifieur $f$ est un CCA pour prédire $S$ à partire de $X$. +\end{definition} + +\begin{propriete} + Si un classifieur binaire satisfait la \textit{demographic parity} généralisée alors il satisfait la démographic parity. +\end{propriete} + +\begin{proof} + En gardant les objets définits dans la Définition~\ref{def:aia-dempargen}, supposons que $f$ satisfasse la \textit{demographic parity} généralisée. + Alors, en notant $\hat{Y} = f\circ X$, comme $\mathcal{G} = \mathcal{F}=\mathcal{P}(\{0,1\})$, nous avons bien + \begin{equation*} + P(\hat{Y}=1\mid S=0) = P(\hat{Y}=1\mid S=1) + \end{equation*} +\end{proof} + +Ainsi grâce à la Propriété~\ref{prop:aia-dpl0} nous savons que si un classifieur satisfait la \textit{demographic parity} généralisée, alors il a un DemParLvl égale à 0. diff --git a/aia/figure/rocr.pdf b/aia/figure/rocr.pdf Binary files differnew file mode 100644 index 0000000..fc23efd --- /dev/null +++ b/aia/figure/rocr.pdf diff --git a/aia/figure/tikz/data.tex b/aia/figure/tikz/data.tex new file mode 100644 index 0000000..c43d496 --- /dev/null +++ b/aia/figure/tikz/data.tex @@ -0,0 +1,15 @@ +\input{synthetic/figure/tikz/data} +\begin{tikzpicture} + \node[database,label={[align=center]above:Donné\\cible}] (base) at (0,0) {}; + \node[rectangle,draw,align=center] (cible) at (10,0) {Modèle\\cible}; + \draw[->,align=center] (base) to[bend left] node[midway,above] {80\% entraînement\\sans attribut sensible} (cible); + \draw[->] (base) to[bend right] node[midway,below] (test) {20\% evaluation} (cible); + \node[database,label={[align=left]right:Donnée\\auxilière}] (aux) at (10,-5.5) {}; + \draw[->] (test) to[out=-90,in=90] node[midway,above] {\hspace{50px}Attribut sensible} (aux); + \draw[->] (cible) to node[midway,right] {Prédiction} (aux); + \node[rectangle,draw,align=center] (attaque) at (5,-5.5) {Modèle\\AIA}; + \draw[->] (aux) to[bend right] node[midway,above] {80\% entraînement} (attaque); + \draw[->] (aux) to[bend left] node[midway,below] {20\% evaluation} (attaque); + \node[rectangle,align=center] (result) at (0,-5.5) {Exactitude\\équilibrée}; + \draw[->] (attaque) to (result); +\end{tikzpicture} diff --git a/aia/intro.tex b/aia/intro.tex new file mode 100644 index 0000000..b921ffc --- /dev/null +++ b/aia/intro.tex @@ -0,0 +1,20 @@ +Nous avons vu à la Section~\ref{} que, pour imposer l'équitée à un modèle, nous pouvons utiliser différentes méthodes qui agissent lors de l'entraînement. +Utiliser ces méthodes peut causer une augmentation de certain risque liée à la confidentialité des donnée d'entraînement, ainsi il est admis qu'il y ai un compromis à faire enre equitée et confidentialitée~\cite{dudu2023sok}. +Cependant ce compromis ne concerne que les risquées liée aux attaque de MIA et rentre en coflit avec la confidentialité diférentielles~\cite{chang2021privacy,cummings,ijcai2022p766}. + +Dans ce chapitre nous allons étudier les intéractions entre ces mécanismes d'équitée et l'attaque AIA. +Nous allons montrer que sous cet angle, l'équitée et la confidentialitée travailent de concert. +Cette étude peut être vue sous deux angles. +Le premier aspect consiste à étudier comment les mécanisme d'équitée peuvent être utilisé pour mitiger différent types d'AIA. +Le second aspect, en lien avec le primer, est d'utiliser les AIA pour contrôler dans un environement boîte noire le niveau d'équitée d'un modèle. + +\subsection{Contributions} +Dans ce chapitre nous apportons les contributions suivante : +\begin{itemize} + \item Une définition de l'équitée qui généralise la \textit{demographic parity} à la regression. + \item Diverse relations analytique et synthétques entre AIA, \textit{demographic parity} et \textit{equality of odds} qui remplissent les objectifs de: + calcul de niveau d'équitée en boîte noire et + garanties théoriques sur le niveau de confidentialité des donnée des utilisateurs de modèles. + \item La construction de deux nouvelles attaque AIA efficaces quand l'attribut sensible présente un déséquilibre. + \item Une étude empirique des relations entre niveau d'équitée, utilisation d'algorithmes imposants l'équitée et succès des attaques AIA. +\end{itemize} diff --git a/aia/main.tex b/aia/main.tex new file mode 100644 index 0000000..5d5a58f --- /dev/null +++ b/aia/main.tex @@ -0,0 +1,26 @@ +\section{Introduction} +\input{aia/intro} + +\section{Equitée en regression} +\input{aia/fair_reg} + +\section{Etude théorique de la relation entre AIA et équitée} +\label{sec:aia-theo} +\input{aia/theo} + +\section{Construction de modèles d'AIA} +\label{sec:aia-aia} +\input{aia/aia} + +\section{Méthodologie experimentale} +\input{aia/methodo} + +\section{Résultats experimentaux} +\label{sec:aia-resexp} +\input{aia/resultats} + +\section{Travaux voisins} +\input{aia/related} + +\section{Conclusion} +\input{aia/conclusion} diff --git a/aia/methodo.tex b/aia/methodo.tex new file mode 100644 index 0000000..80cf515 --- /dev/null +++ b/aia/methodo.tex @@ -0,0 +1,50 @@ +Nous allons réaliser un série d'expériences utilisant les AIA définit plus haut. +Le but est d'observer l'exactitude équilibrée des AIA sur des modèles entraînés pour imposer l'équitée. +Pour des attributs sensibles dans un ensemble fini $G$, nous souhaiton observer si entraîner le modèle en imposant la paritée démographique raproche l'exactitude équilibrée de $\frac{1}{\#G}$ ce qui indique une protection de l'attribut sensible d'après le Théorème~\ref{th:aia-dpgood}. +De plus dans le cas de \AIAHard nous allons pouvoir vérifier expérimentalement la Propriété~\ref{prop:aia-demparlvl}. + +\subsection{Jeux de donnée} +\label{sec:aia-methodo-jeu} + +\paragraph{CENSUS} +Le sondage des Etats Unis d'Amérique produit tous les dix ans un jeu de donnée appel CENSUS contenant les information de tous les citoyens\footnote{www.census.gov}. +La version que nous avons utilisé contient 30.940 donées avec 95 attributs comme le travail occupé, le status marital etc. +Parmis ces attributs certain sont sensibles comme la couleur de peau appelé \textit{race} ou le genre appelé \textit{sex}. +Avec ce jeu de donnée, nous construison un classifieur cible qui cherche à inférer si un individu gagne plus de 50.000 dollars par an. + +\paragraph{COMPAS} +Cette base de donnée est construite à partir des affaires criminelle aux Etats Unis. +Elle est utilisé notament par les différents algorithem commerciaux de justice prédiction que nous avons introduits en Section~\ref{sec:contexte-insti}. +Elle contient les donnée de 6.172 criminel jugé coupables en Floride. +Elle contient sept attributs. + +\paragraph{MEPS} +Cette base de donnée provient du système de santé de Etats Unis. +Elle contiens l'historique de trajets réalisé par 15.830 patients. +Le tâche de classification du modèle cible est de prédire si un patient utilise fortement ou faiblement les services de santé. + +\paragraph{LFW} +Cess base de donnée contient 8.212 image de visage de personnes. +La tâche principale est de classifier si une personne a plus de 35 ans. + +\paragraph{Attributs sensibles} +Toutes ces bases de données contiennent les attributs sensibles \textit{race} et \textit{sex}. +Nous randons binaire cas attributs : +\textit{race} vaut 1 si la personne à la peu noire et 0 sinon ; +\textit{sex} vaut 1 si la personne est une femme et 0 sinon. + +\subsection{Cheminement des données} +Pour simuler le modèle de menace nous séparons chaque base de donnée de la manière suivant : +chaque base de donnée est séparé en 80\% d'entraînement et 20\% d'évaluation. +Dans l'entraînment on retire l'attribut sensible et on l'utilisé pour entrainer le modèle cible. +Ensuite nous utilison l'évaluation sans l'attribut sensible pur calculer les prédictions que nous lion ligne par ligne à leur attribut sensible correspondant. +Cela crée la base auxilière qui respecte bien les exigence du modèle de menace : les donnée n'ont pas été utilisé à l'entraînement. +Cette base auxilière est ensuite separée en 80\% d'entraîneemnt et 20\% d'évaluation. +Les 80\% d'entraînement sont utilisé pourt construire le modèle d'attaque qui sert à predire l'attribut sensible à partir de la prédiction du modèle cible. +Les 20\% d'évaluation servent à calculer l'exactitude équilibré du modèle d'attaque. +Nous reportons dans la Section~\ref{sec:aia-resexp} contenant les résultats expérimentaux. +\begin{figure} +\input{aia/figure/tikz/data} +\caption{Simulation du modèle de menace} +\end{figure} + diff --git a/aia/related.tex b/aia/related.tex new file mode 100644 index 0000000..e69de29 --- /dev/null +++ b/aia/related.tex diff --git a/aia/resultats.tex b/aia/resultats.tex new file mode 100644 index 0000000..efe0060 --- /dev/null +++ b/aia/resultats.tex @@ -0,0 +1,119 @@ + +\begin{figure} + \centering + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/census/census_egd_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/census/census_egd_attack_hard_sex.pdf} + \caption{Census (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/compas/compas_egd_attack_hard_race.pdf} + \caption{Compas (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/compas/compas_egd_attack_hard_sex.pdf} + \caption{Compas (sex)} + \end{subfigure} +\centering + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/meps/meps_egd_attack_hard_race.pdf} + \caption{Meps (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/meps/meps_egd_attack_hard_sex.pdf} + \caption{Meps (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/lfw/lfw_egd_attack_hard_race.pdf} + \caption{Lfw (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/lfw/lfw_egd_attack_hard_sex.pdf} + \caption{Lfw (sex)} + \end{subfigure} + + \caption{For \AIAHard, we observe that EGD reduces the attack accuracy to random guess ($\sim$50\%)} + \label{fig:AdaptAIAEGD} +\end{figure} + + + +\begin{figure}[!htb] + \centering + \footnotesize + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_soft_experimental_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_soft_experimental_sex.pdf} + \caption{Census (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_soft_experimental_race.pdf} + \caption{Compas (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_soft_experimental_sex.pdf} + \caption{Compas (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_soft_experimental_race.pdf} + \caption{Meps (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_soft_experimental_sex.pdf} + \caption{Meps (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_race.pdf} + \caption{Lfw (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_sex.pdf} + \caption{Lfw (sex)} + \end{subfigure} + + \caption{For both \AIASoft and \AIAHard, Adversarial debisaing reduces the attack accuracy to random guess ($\sim$50\%). For \AIAHard, the theoretical bound on attack accuracy matches with the empirical results.} + \label{fig:AdaptAIADebias} +\end{figure} + +\begin{figure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_sex.pdf} + \caption{Census (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_race.pdf} + \caption{Compas (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_sex.pdf} + \caption{Compas (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_race.pdf} + \caption{Meps (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_sex.pdf} + \caption{Meps (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_race.pdf} + \caption{Lfw (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf} + \caption{Lfw (sex)} + \end{subfigure} + \caption{adverarial debiasing hard} + \label{fig:aia-adv-hard} +\end{figure} diff --git a/aia/theo.tex b/aia/theo.tex new file mode 100644 index 0000000..3b8e49d --- /dev/null +++ b/aia/theo.tex @@ -0,0 +1,231 @@ +\subsection{Utiliser l'équitée pour mitiger les AIA} +Commencons par présenter le résultat le plus générale, qui fonctionne aussi bien pour des modèle de classification que pour des regression. +Ce résultats est aussi indépendant du type d'attribut binaire, quantitatif au qualitatif. + +\begin{theorem} + \label{th:aia-dpgood} + Les deux propositions suivantes sont équivalantes : + \begin{enumerate} + \item Le modèle cible satisfait la démographic parity + \item Toutes les attaques utilisant la prédiction pour inférer l'attribut sensible sont des CCA. + \end{enumerate} + + Et aussi, les deux propositions suivantes sont équivalantes : + \begin{enumerate} + \item Le modèle cible satisfait la démographic parity généraliée + \item Toutes les attaques utilisants le logit pour inférer l'attribut sensible sont des CCA. + \end{enumerate} +\end{theorem} + +\begin{proof} + Par définition, la \textit{demographic parity} (respectivement généralisée) est equivalante à l'inpépendance entre l'attribut sensible et la prediction (respectivement le logit). + Ainsi, d'après le Lemme~\ref{lemme:aia-xycca} dire que tout classifieur de l'attribute sensible utilisant la prédiction (respectivement le logit) est un CCA est équivalant à dire que le modèle cible respecte la \textit{demographic parity} (respectivement généralisée). +\end{proof} + +Ce résultat nous apprend que s'assurer que le modèle cible satisfait la \textit{demographic parity} permet de s'assurer que les attribut sensible des utilisateur soient protégé lors de l'utilisation du modèle. +Dans le cas d'un modèle cible qui réalise une classifiction binaire et en considérant un attribut binaire nous avons une propriété plus précise. + +\begin{propriete} + \label{prop:aia-demparlvl} + Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé et $(\{0,1\}$, $\mathcal{P}(\{0,1\}))$ des espaces mesurables. + Soit les variables aléatoires suivantes + \begin{itemize} + \item L'étiquette $Y:(\Omega,\mathcal{T})\rightarrow (\{0,1\},\mathcal{P}(\{0,1\})$ + \item La donnée d'entrée $X:(\Omega,\mathcal{T})\rightarrow (F,\mathcal{F})$ + \item L'attribute sensible $S:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\}))$ + \item L'attaque $a:(\Omega,\mathcal{T})\rightarrow\mathcal{P}(\{0,1\}))$ + \item Le modèle cible $f:(\Omega,\mathcal{T})\rightarrow\mathcal{P}(\{0,1\}))$ + \end{itemize} + Alors nous avons + \begin{equation*} + \text{max}_{a}BA(a) = \frac{1}{2}(1+\text(DemParLvl(f))) + \end{equation*} +\end{propriete} + +\begin{proof} + On pause $\hat{Y}=f\circ X$. + L'ensemble $A$ des fonction de $\{0,1\}$ vers $\{0,1\}$ contient quatre éléments : +$a_0=0$, $a_1=id$, $a_2=1-id$ et $a,3=1$. + Pour chaque attaque $a\in A$ la \textit{balanced accuracy} de $a$ est +$BA(a) = \frac{1}{2}(P(a\circ \hat{Y}=0|S=0) + P(a\circ \hat{Y}=1|S=1))$. +Nous avons $BA(b_0) = BA(b_3) = \frac{1}{2}$ il n'est donc pas nécessaire de considérer ces éléments pour résoudre le problème d'optimisation. +Ce problème s'écrit $\text{max}_{a\in A}BA(a)) = \text{max}(BA(a_1), BA(a_2))$. +Nous remarquon que $a_1\circ \hat{Y}=\hat{Y}$ et $a_2\circ \hat{Y}=1 - \hat{Y}$. +Ainsi, +{ +\begin{align*} + BA(a_1) &= \frac{1}{2}(P(\hat{Y}=0|S=0) + P(\hat{Y}=1|S=1))\\ + &=\frac{1}{2}(1+P(\hat{Y}=1|S=1) - P(\hat{Y}=1|S=0)) +\end{align*} +} +et +{ +\begin{align*} + BA(a_2)=\frac{1}{2}(1+P(\hat{Y}=1|S=0) - P(\hat{Y}=1|S=1)) +\end{align*} +} +Donc, +{ +\begin{align*} + &\text{max}_{a\in B}BA(a) \\ + = &\frac{1}{2}\left(1+\text{max}\left( + \begin{matrix} + P(\hat{Y}=0|S=0) -P(\hat{Y}=1|S=1)\\ + P(\hat{Y}=1|S=0) -P(\hat{Y}=0|S=1) + \end{matrix} + \right)\right)\\ + =&\frac{1}{2}(1+|P(\hat{Y}=1|S=1) - P(\hat{Y}=1|S=0)|) +\end{align*} +} +\end{proof} + +Ainsi pour le classifieur binaire avec attribut sensbile binaire, il est suffisant de calculer le DemParLvl du modèle cible pour connaitre le maximum de \textit{balanced accuracy} ateignable par n'importe quelle attaque. +De plus, nous voyons que la \textit{balanced accuracy} maximial d'attaque vaut ${1}{2}$ si et seulement si $\text{DemParLvl}=0$. +C'est à dire que $f$ satisfait DemPar est équivalant à dire que tout attaque à une \textit{balanced accuracy} égale à $\frac{1}{2}$. + +Grâce au Théorème~\ref{th:aia-dpgood} nous savons aussi que tout autre définition d'équtiée qui n'implique pas la paritée démographique ne permet pas de mitiger les AIA. +Par exemple, nous allons montrer un cas ou l'égalitée des chances de la Définition~\ref{def:background-eq-eoo} est satisfaite mais om il existe une AIA qui donne une exactitude équillibrée suppérieur $0,5$. + +On représente le classifieur $\hat{Y}$ de l'étiquette $Y$ ainsi que la donnée d'entrée $X$ et l'attribut sensible $S$ dans le tableau suivant : +\begin{equation*} + \begin{matrix} + X&Y&\hat{Y}&S\\ + 0&0&0&0\\ + 0&0&0&1\\ + 0&0&0&0\\ + 0&0&0&0\\ + 1&1&1&1\\ + 1&1&1&1\\ + 1&1&1&1\\ + 1&1&1&0\\ + \end{matrix} +\end{equation*} +Nous utilisons le modèle cible utilisé est $\hat{Y}=id\circ X$. +Ce classifieur satisfait l'équitée des chances car +$P(\hat{Y}=0\mid Y=0\wedge S=0) = P(\hat{Y}=0\mid Y=0\wedge S=1) = 1$ +et +$P(\hat{Y}=0\mid Y=1\wedge S=0) = P(\hat{Y}=0\mid Y=1\wedge S=1) = 0$. +Alors si on choisit comme modèle d'attaque la fonctione identitée, nous avont comme accuracy de l'AIA $0,75$ ce qui indique une fuite de l'attribut sensible. + +%De manière plus précises et plus générale nous avancons le théorème suivant : +%\begin{theorem} +%\label{th:eoo} + %Si $\hat{Y}$ satisfait l'équitée des chances pour $Y$ et $S$, alors l'exactitude équilibrée de l'AIA est de $\frac{1}{\#F}$ si et seulement si $Y$ est independant de $S$ ou si + %for $Y$ and $S$ then the balanced accuracy of AH is $\frac{1}{2}$ if and only if $Y$ is independent of $S$ or $\hat{Y}$ is independent of $Y$. +%\end{theorem} +%Those two conditions are unlikely to happen with real world dataset and target models. +%Indeed, $Y$ is independent of $S$ means that the ground truth label is independent of the sensitive attribute which never happens as we have observed in the experiment section. +%And $\hat{Y}$ is independent of $Y$ means that the target model did not managed to learn anything: it does not have any utility which defies the purpose of using it in a production and commercial environment. +%Since both of those conditions are not practical, we close the case of EO by saying that it is not fit as a defense against attribute inference attack at inference time. +%We prove the theorem: +%\begin{proof} +%Let $a$ be the attack model trained for AS: $\hat{S}=a\circ \hat{Y}$. +%By the total probability formula +%\begin{align*}&P(\hat{S}=0|S=0)\\ +%=&P(\hat{S}=0|S=0Y=0)P(Y=0|S=0)\\ +%+&P(\hat{S}=0|S=0Y=1)P(Y=1|S=0) +%\end{align*} +%and as well +%\begin{align*}&P(\hat{S}=1|S=1)\\ + %=&P(\hat{S}=1|S=1Y=0)P(Y=0|S=1)\\ + %+&P(\hat{S}=1|S=1Y=1)P(Y=1|S=1) +%\end{align*} +%Then we substitute those terms in the definition of the balanced accuracy of the target model. +%\begin{align*} + %&\frac{P(\hat{S}=0|S=0)+P(\hat{S}=1|S=1)}{2}\\ + %=&\frac{1}{2}+\frac{1}{2}\left(P(Y=0|S=0)-P(Y=0|S=1)\right)\\ + %&\left(P(\hat{Y}\in a^{-1}(\{1\})|S=1Y=0) - + %P(\hat{Y}\in a^{-1}(\{1\})|S=1Y=1)\right) +%\end{align*} +%The balanced accuracy is equal to 0.5 if and only if $P(Y=0|S=0)=P(Y=0|S=1)$ +%or $\forall a~P(\hat{Y}\in a^{-1}(\{1\})|S=1Y=0)=P(\hat{Y}\in a^{-1}(\{1\})|S=1Y=1)$. +%The first equation means that $Y$ is independent of $S$. +%The second means that for $S=1$ the trained target model did not learn. +%We can do the same computing for $S=0$ and obtain a similar conclusion. +%\end{proof} +% +\subsection{Utiliser l'AIA pour contrôler le niveau d'équitée} +\label{sec:aia-theo-aia-eq} +De manière réciproque, le lien que nous avons démontré peut ausi être utilié dans le cas suivant. +Imaginons qu'un fournisseur de modèle d'IA ou un organisme de régulation comme la Défensseure des Droit souhaite contrôler si un modèle est équitable ou non. +Si $\#F$ ou $\#G$ sont grands voir de cardinaux infinis, vérifier diréctement des propriétés d'indépendances entre la sortie du modèle et des attributs sensible peut entraîner un coût de calcul trop élevé pour être faisable~\cite{ofverstedt2022fast}. + +Grâce au Théorème~\ref{th:aia-dpgood} nous avons la garantie que que si toutes les modèles AIA ont une exactitude équilibrée égale à $\frac{1}{\#F}$ alors le modèle cible satisfait la parité démographique. +Bien sûre cette technique atteint sa limite si $\#G$ est infini car alors l'exactitude équliibrée n'est plus définie. + +Calculer l'exactitude équilibrée de toutes les modèles d'AIA est impossible. +Nous allons voir que si l'AIA qui donne une exactitdue équilibrée maximal vaut $\frac{1}{\#F}$ alors c'est le cas pour toutes. + +\begin{theorem} + \label{th:aia-bluey} + Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé. + Soient $(E,\mathcal{E})$ et $(F,\mathcal{P}(F))$ des espaces mesurables avec $F$ un esemble fini. + Soient les varibles aléatoires suivantes : + \begin{itemize} + \item $X:\Omega\rightarrow E$ + \item $Y:\Omega\rightarrow F$ + \end{itemize} + Soit $A$ l'ensemble des fonctions mesurables de $(E,\mathcal{E})$ dans $(F,\mathcal{P}(F))$. + Nous appelons $BA$ la fonction qui à toutes fonction $a$ de $A$ associe l'exactitude équilibrée de $a \circ X$ pour l'étiquette $Y$. + \begin{equation*} + \exists a\in A~BA(a)< \frac{1}{\#F} + \implies + \exists a\in A~BA(a)>\frac{1}{\#F} + \end{equation*} +\end{theorem} + +\begin{proof} + Soit $a\in A$ telle que $BA(a)<\frac{1}{\#F}$. + Nous allons montrer qu'il existe $b\in A$ telle que $BA(b)>\frac{1}{\#F}$ + + A la manière de la démonstration du Théorème~\ref{th:fini-bacca}, on se donne la matrice + \begin{equation*} + M(i,j) = P(a\circ X = y_i\mid Y=y_j) + \end{equation*} + + On note $S_{\#F}$ l'ensemble des bijections de $\#F$ sur lui-même. + Montrons qu'il existe + $\varphi\in S_{\#F}$ telle que $\sum_{j\in\#F}M(\varphi(j),j) >1$. + Raisonons par l'absurde. + Nous supposont que + \begin{equation*} + \forall \varphi\in S_{\#F}~\sum_{j\in\#F}M(\varphi(j),j)<1 + \end{equation*} + Alors + \begin{align*} + &\sum_{\varphi\in S_{\#F}}\sum_{j\in\#F}M(\varphi(j),j)<N!\\ + \implies&\sum_{j\in\#F}\sum_{\varphi\in S_{\#F}}M(\varphi(j),j)<N!\\ + \implies&\sum_{j\in\#F}\sum_{i\in\#F}(N-1)!M(i,j)<N!\\ + \implies&\sum_{j\in\#F}\sum_{i\in\#F}M(i,j)<N\\ + \end{align*} + Ce qui est absurde car + \begin{equation*} + \sum_{i\in\#F} M(i,j) = + \sum_{i\in\#F}P(a\circ X=y_i\mid Y=y_j)=1 + \end{equation*} + Donc + \begin{equation*} + \sum_{j\in\#F}\sum_{i\in\#F}M(i,j) = N + \end{equation*} + + Ainsi, nous avons $\varphi\in S_{\#F}$ telle que + $\sum_{j\in\#F}M(\varphi(j),j)>1$. + Comme nous l'avons montré dans la preuve du Théorème~\ref{th:fini-bacca}, nous avons $u\in\mathcal{H}^{\#F}$ tel que en posant + \begin{equation*} + b = u_{\#F-1}\circ\cdots\circ u_0\circ a + \end{equation*} + alors $BA(b)>\frac{1}{\#F}$. + +\end{proof} + +Nous allons utiliser ce théorème pour montrer que si l'AIA maximale à une exactidue équilibrée égale à $\frac{1}{\#G}$ alors toutes les AIA ont la même éxactiture equilibrée. +On se donne $A$ l'ensemble des fonctions mesurable de $(F,\mathcal{F}$ dans $(G,\mathcal{P}(G)$. +$A$ modélise l'ensemble des AIA possibles pour un modèle cible qui prédit dans $F$ et un attribut sensible dans $G$, un ensemble fini. +Supposons que $\text{max}_{a\in A} BA(a)=\frac{1}{\#G}$. +Alors $\forall a\in A~BA(a)\leq\frac{1}{\#G}$. +D'après la contraposée du Théorème~\ref{th:aia-bluey} nous avons alors $\forall a\in A~BA(a)\geq\frac{1}{\#G}$. +Ainsi $\forall a\in A~BA(a)=\frac{1}{\#G}$. + +Pour contrôler si un classifieur vérifie la paritée demographique il est donc suffisant de connaitre l'exactitude équilibrée maximial de toutes les AIA. +Comme nous venons de le voir, si cette valuer vaut $\frac{1}{\#G}$ alors le classifieur satisfait la paritée démographique. +La recherche d'une AIA qui maximise l'exactitude équilibrée est discuté à la Section~\ref{sec:aia-aia}. |