diff options
Diffstat (limited to 'aia')
| -rw-r--r-- | aia/< | 14 | ||||
| -rw-r--r-- | aia/a.tex | 72 | ||||
| -rw-r--r-- | aia/aia.tex | 46 | ||||
| -rw-r--r-- | aia/b.tex | 36 | ||||
| -rw-r--r-- | aia/conclusion.tex | 0 | ||||
| -rw-r--r-- | aia/figure/rocr.pdf | bin | 0 -> 15450 bytes | |||
| -rw-r--r-- | aia/figure/tikz/data.tex | 15 | ||||
| -rw-r--r-- | aia/main.tex | 26 | ||||
| -rw-r--r-- | aia/methodo.tex | 50 | ||||
| -rw-r--r-- | aia/related.tex | 0 | ||||
| -rw-r--r-- | aia/theo.tex | 146 |
11 files changed, 391 insertions, 14 deletions
@@ -0,0 +1,14 @@ +Nous avons vu à la Section~\ref{} que, pour imposer l'équitée à un modèle, nous pouvons utiliser différentes méthodes qui agissent lors de l'entraînement. +Utiliser ces méthodes peut causer une augmentation de certain risque liée à la confidentialité des donnée d'entraînement, ainsi il est admis qu'il y ai un compromis à faire enre equitée et confidentialitée~\cite{dudu2023sok}. +Cependant ce compromis ne concerne que les risquées liée aux attaque de MIA et rentre en coflit avec la confidentialité diférentielles~\cite{chang2021privacy,cummings,ijcai2022p766}. + +Dans ce chapitre nous allons étudier les intéractions entre ces mécanismes d'équitée et l'attaque AIA. +Nous allons montrer que sous cet angle, l'équitée et la confidentialitée travailent de concert. +Cette étude peut être vue sous deux angles. +Le premier aspect consiste à étudier comment les mécanisme d'équitée peuvent être utilisé pour mitiger différent types d'AIA. +Le second aspect, en lien avec le primer, est d'utiliser les AIA pour contrôler dans un environement boîte noire le niveau d'équitée d'un modèle. + +\subsection{Contributions} +Dans ce chaptre nous apportons les contributions suivante : +\begin{itemize} + \itme diff --git a/aia/a.tex b/aia/a.tex new file mode 100644 index 0000000..5d25e64 --- /dev/null +++ b/aia/a.tex @@ -0,0 +1,72 @@ + +\begin{figure*}[!htb] + \centering + \footnotesize + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_soft_experimental_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_soft_experimental_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_soft_experimental_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_soft_experimental_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_soft_experimental_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_soft_experimental_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_sex.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewdith} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf} + \caption{Census (race)} + \end{subfigure} + + \caption{For both \AIASoft and \AIAHard, Adversarial debisaing reduces the attack accuracy to random guess ($\sim$50\%). For \AIAHard, the theoretical bound on attack accuracy matches with the empirical results.} + \label{fig:AdaptAIADebias} +\end{figure*} diff --git a/aia/aia.tex b/aia/aia.tex new file mode 100644 index 0000000..39db20b --- /dev/null +++ b/aia/aia.tex @@ -0,0 +1,46 @@ +\subsection{Modèle de menace}\footnote{\textit{Threat model}} +Nous considéront qu'un adversaire souhatie conduire une AIA pour un attribute sensible sur un modèle cible. +Le but de l'adversaire est d'inférer l'attribut sensible à partir uniquement des prédictions du modèle cible. +L'adversaire a accès une base de donnée que nous appelons auxillière et qui ne contient pas d'individu en commun avec la base de donée d'entraînement du modèle cible que nous appelon base cible. +La base cible ne contiens pas l'attribut sensible qui n'a donc pas été utilisé à l'entraînement. +La base auxilière contiens l'attribut sensible et des prédictions du modèle cible correspondantes à ces attributs sensibles. +La base auxilmière ne contient pas les donnés d'entrée car sinon l'adversaire pourrait simplement entraîner un modèle pour inférer l'attribut sensible à partir des données d'entrée et le modèle cible n'aporterai pas plus d'informations~\cite{jayaraman2022attribute}. +Il n'est pas du ressort de cette étude d'étudier commen un adversaire pourrait avoir accès à une telle base de donnée. +Cela pourrait être le cas après une fuite de donnée ou une attaque de type homme du milieu\footnote{\textit{Man in the middle}}. + +\subsection{AIA pour les modèles de classification} +Considérons que le modèle cible prennet ses valeurs dans $F$, un ensemble fini. +C'est à dire que le modèle cible ne donne accès à l'attaquant que des prédictions d'étiquette. +Cela peut-être le cas après application d'un seuil sur un logit par exemple. +Alors le but de l'attaquant est de trouver une fonction mesutable de $(F,\mathcal{P}(F))$ dans $(G,\mathcal{P}(G))$ qui maximise l'exactitude équilibrée. +Où $G$ est l'ensemble dans lequel l'attribut sensible prend ces valeurs. +Cela est un cas d'application parfait pour l'algorithme que nous avons construit au Chapitre~\ref{sec:fini}. +Nous allons l'utiliser pour construir une AIA qui donne la garantie théorique d'être le meilleur modèle qui permette de classifier l'attribut sensible en utilisant la prédiction du modèle. +Nous appelons cette AIA : \AIAHard. + +\subsection{AIA pour les modèles de regression} +Dans le cas d'un modèle cible qui effectu une regression nous avons $\#F$ infini donc nous ne pouvons pas utiliser \AIAHard. +Ce cas où l'adversaire a accès un modèle de regression prend en compte le cas où le modèle cible de prédiction divulgue un logit par exemple. +C'est le modèle de menace qu'applique Song et. al~\cite{Song2020Overlearning} dans leur AIA. + +Nous utiliserons comme modèle d'AIA une forêt aléatoire puis nous optimiserons son seuil en utilisant la courbe ROC pour prendre en compte le déséquilibre de classses dans l'attribut sensible. +Cette methode fonctione uniquement pour des attributs binaires. +C'est-à dire que pour une prédiction dans l'espace mesurable $(F,\mathcal{F})$ et un attribut sensible dans $(\{0,1\},\mathcal{P}(\{0,1\})$ +la forêt aléatoire construit une fonction de mesurbale +$a : (F,\mathcal{F})\rightarrow ([0,1],\mathcal{B}([0,1]))$. +$a$ modélise le logit de la prédiction du modèle AIA. +Ensuite nous calculons, la courbe ROC de $a$ comme nous l'avons défini à la Section~\ref{sec:background-ml-classif} et nous choisis $\upsilon^*$ tel que, pour la prédiction $a_\upsilon = 1_{[\upsilon,1]}\circ a$ : +\begin{equation*} + \upsilon^* = \text{argmin}_{\upsilon\in [0,1]} + (1-tpr(\upsilon))^2 + fpr^2(\upsilon) +\end{equation*} +Nous réprésenton sur la Figure~\ref{fig:aia-rocopt} le choix du seuil optimal et du seuil par rapport au seuil par défaut fixé à $0,5$. +\begin{figure} + \centering + \includegraphics[width=0.45\linewidth]{aia/figure/rocr.pdf} + \caption{Optimisation du seuil du modèle d'attaque \AIASoft.} + \label{fig:aia-rocopt} +\end{figure} + +Contrairement a \AIAHard, \AIASoft~ne donne pas la garantie de maximisaion l'exactitude équilibré. +Ainsi \AIASoft~constitue un approximation relativement à la théorie que nous avons décrite à la Section~\ref{sec:aia-theo}. diff --git a/aia/b.tex b/aia/b.tex new file mode 100644 index 0000000..608a632 --- /dev/null +++ b/aia/b.tex @@ -0,0 +1,36 @@ +\begin{figure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_sex.pdf} + \caption{Census (sex)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_race.pdf} + \caption{Compas (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_sex.pdf} + \caption{Compas (sex)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_race.pdf} + \caption{Meps (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_sex.pdf} + \caption{Meps (sex)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_race.pdf} + \caption{Lfw (race)} + \end{subfigure} + \begin{subfigure}{0.48\linewidth} + \includegraphics[width=0.48\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf} + \caption{Lfw (sex)} + \end{subfigure} + \caption{adverarial debiasing hard} + \label{fig:aia-adv-hard} +\end{figure} diff --git a/aia/conclusion.tex b/aia/conclusion.tex new file mode 100644 index 0000000..e69de29 --- /dev/null +++ b/aia/conclusion.tex diff --git a/aia/figure/rocr.pdf b/aia/figure/rocr.pdf Binary files differnew file mode 100644 index 0000000..fc23efd --- /dev/null +++ b/aia/figure/rocr.pdf diff --git a/aia/figure/tikz/data.tex b/aia/figure/tikz/data.tex new file mode 100644 index 0000000..c43d496 --- /dev/null +++ b/aia/figure/tikz/data.tex @@ -0,0 +1,15 @@ +\input{synthetic/figure/tikz/data} +\begin{tikzpicture} + \node[database,label={[align=center]above:Donné\\cible}] (base) at (0,0) {}; + \node[rectangle,draw,align=center] (cible) at (10,0) {Modèle\\cible}; + \draw[->,align=center] (base) to[bend left] node[midway,above] {80\% entraînement\\sans attribut sensible} (cible); + \draw[->] (base) to[bend right] node[midway,below] (test) {20\% evaluation} (cible); + \node[database,label={[align=left]right:Donnée\\auxilière}] (aux) at (10,-5.5) {}; + \draw[->] (test) to[out=-90,in=90] node[midway,above] {\hspace{50px}Attribut sensible} (aux); + \draw[->] (cible) to node[midway,right] {Prédiction} (aux); + \node[rectangle,draw,align=center] (attaque) at (5,-5.5) {Modèle\\AIA}; + \draw[->] (aux) to[bend right] node[midway,above] {80\% entraînement} (attaque); + \draw[->] (aux) to[bend left] node[midway,below] {20\% evaluation} (attaque); + \node[rectangle,align=center] (result) at (0,-5.5) {Exactitude\\équilibrée}; + \draw[->] (attaque) to (result); +\end{tikzpicture} diff --git a/aia/main.tex b/aia/main.tex index 8e6059c..5d5a58f 100644 --- a/aia/main.tex +++ b/aia/main.tex @@ -5,20 +5,22 @@ \input{aia/fair_reg} \section{Etude théorique de la relation entre AIA et équitée} +\label{sec:aia-theo} \input{aia/theo} -\section{Regression} -\label{sec:aia-soft} +\section{Construction de modèles d'AIA} +\label{sec:aia-aia} +\input{aia/aia} -\section{AIA} -\section{Modèle de menace} -threat model -\label{sec:aia-tm} -\section{Méthodologie} -\subsection{Jeux de donné} -\label{sec:aia-methodo-jeu} -The US census is a snapshot of the US adult population that is done every ten year by the US government\footnote{www.census.gov}. -It produces a database where each row is an individual and each column is an attribute that describe people. +\section{Méthodologie experimentale} +\input{aia/methodo} -\section{Résultats} +\section{Résultats experimentaux} +\label{sec:aia-resexp} \input{aia/resultats} + +\section{Travaux voisins} +\input{aia/related} + +\section{Conclusion} +\input{aia/conclusion} diff --git a/aia/methodo.tex b/aia/methodo.tex new file mode 100644 index 0000000..80cf515 --- /dev/null +++ b/aia/methodo.tex @@ -0,0 +1,50 @@ +Nous allons réaliser un série d'expériences utilisant les AIA définit plus haut. +Le but est d'observer l'exactitude équilibrée des AIA sur des modèles entraînés pour imposer l'équitée. +Pour des attributs sensibles dans un ensemble fini $G$, nous souhaiton observer si entraîner le modèle en imposant la paritée démographique raproche l'exactitude équilibrée de $\frac{1}{\#G}$ ce qui indique une protection de l'attribut sensible d'après le Théorème~\ref{th:aia-dpgood}. +De plus dans le cas de \AIAHard nous allons pouvoir vérifier expérimentalement la Propriété~\ref{prop:aia-demparlvl}. + +\subsection{Jeux de donnée} +\label{sec:aia-methodo-jeu} + +\paragraph{CENSUS} +Le sondage des Etats Unis d'Amérique produit tous les dix ans un jeu de donnée appel CENSUS contenant les information de tous les citoyens\footnote{www.census.gov}. +La version que nous avons utilisé contient 30.940 donées avec 95 attributs comme le travail occupé, le status marital etc. +Parmis ces attributs certain sont sensibles comme la couleur de peau appelé \textit{race} ou le genre appelé \textit{sex}. +Avec ce jeu de donnée, nous construison un classifieur cible qui cherche à inférer si un individu gagne plus de 50.000 dollars par an. + +\paragraph{COMPAS} +Cette base de donnée est construite à partir des affaires criminelle aux Etats Unis. +Elle est utilisé notament par les différents algorithem commerciaux de justice prédiction que nous avons introduits en Section~\ref{sec:contexte-insti}. +Elle contient les donnée de 6.172 criminel jugé coupables en Floride. +Elle contient sept attributs. + +\paragraph{MEPS} +Cette base de donnée provient du système de santé de Etats Unis. +Elle contiens l'historique de trajets réalisé par 15.830 patients. +Le tâche de classification du modèle cible est de prédire si un patient utilise fortement ou faiblement les services de santé. + +\paragraph{LFW} +Cess base de donnée contient 8.212 image de visage de personnes. +La tâche principale est de classifier si une personne a plus de 35 ans. + +\paragraph{Attributs sensibles} +Toutes ces bases de données contiennent les attributs sensibles \textit{race} et \textit{sex}. +Nous randons binaire cas attributs : +\textit{race} vaut 1 si la personne à la peu noire et 0 sinon ; +\textit{sex} vaut 1 si la personne est une femme et 0 sinon. + +\subsection{Cheminement des données} +Pour simuler le modèle de menace nous séparons chaque base de donnée de la manière suivant : +chaque base de donnée est séparé en 80\% d'entraînement et 20\% d'évaluation. +Dans l'entraînment on retire l'attribut sensible et on l'utilisé pour entrainer le modèle cible. +Ensuite nous utilison l'évaluation sans l'attribut sensible pur calculer les prédictions que nous lion ligne par ligne à leur attribut sensible correspondant. +Cela crée la base auxilière qui respecte bien les exigence du modèle de menace : les donnée n'ont pas été utilisé à l'entraînement. +Cette base auxilière est ensuite separée en 80\% d'entraîneemnt et 20\% d'évaluation. +Les 80\% d'entraînement sont utilisé pourt construire le modèle d'attaque qui sert à predire l'attribut sensible à partir de la prédiction du modèle cible. +Les 20\% d'évaluation servent à calculer l'exactitude équilibré du modèle d'attaque. +Nous reportons dans la Section~\ref{sec:aia-resexp} contenant les résultats expérimentaux. +\begin{figure} +\input{aia/figure/tikz/data} +\caption{Simulation du modèle de menace} +\end{figure} + diff --git a/aia/related.tex b/aia/related.tex new file mode 100644 index 0000000..e69de29 --- /dev/null +++ b/aia/related.tex diff --git a/aia/theo.tex b/aia/theo.tex index 2a826b1..3b8e49d 100644 --- a/aia/theo.tex +++ b/aia/theo.tex @@ -26,6 +26,7 @@ Ce résultat nous apprend que s'assurer que le modèle cible satisfait la \texti Dans le cas d'un modèle cible qui réalise une classifiction binaire et en considérant un attribut binaire nous avons une propriété plus précise. \begin{propriete} + \label{prop:aia-demparlvl} Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé et $(\{0,1\}$, $\mathcal{P}(\{0,1\}))$ des espaces mesurables. Soit les variables aléatoires suivantes \begin{itemize} @@ -83,7 +84,148 @@ De plus, nous voyons que la \textit{balanced accuracy} maximial d'attaque vaut $ C'est à dire que $f$ satisfait DemPar est équivalant à dire que tout attaque à une \textit{balanced accuracy} égale à $\frac{1}{2}$. Grâce au Théorème~\ref{th:aia-dpgood} nous savons aussi que tout autre définition d'équtiée qui n'implique pas la paritée démographique ne permet pas de mitiger les AIA. -Par exemple, nous allons montrer que l'égalitée de chances de la Définition~\ref{def:background-eq-eoo} en permet pas de mitiger l'AIA dans le cas binaire que nous avons étuié précédement. +Par exemple, nous allons montrer un cas ou l'égalitée des chances de la Définition~\ref{def:background-eq-eoo} est satisfaite mais om il existe une AIA qui donne une exactitude équillibrée suppérieur $0,5$. -\subsection{Utiliser l'AIA pour contrôler le niveau d'équitée}. +On représente le classifieur $\hat{Y}$ de l'étiquette $Y$ ainsi que la donnée d'entrée $X$ et l'attribut sensible $S$ dans le tableau suivant : +\begin{equation*} + \begin{matrix} + X&Y&\hat{Y}&S\\ + 0&0&0&0\\ + 0&0&0&1\\ + 0&0&0&0\\ + 0&0&0&0\\ + 1&1&1&1\\ + 1&1&1&1\\ + 1&1&1&1\\ + 1&1&1&0\\ + \end{matrix} +\end{equation*} +Nous utilisons le modèle cible utilisé est $\hat{Y}=id\circ X$. +Ce classifieur satisfait l'équitée des chances car +$P(\hat{Y}=0\mid Y=0\wedge S=0) = P(\hat{Y}=0\mid Y=0\wedge S=1) = 1$ +et +$P(\hat{Y}=0\mid Y=1\wedge S=0) = P(\hat{Y}=0\mid Y=1\wedge S=1) = 0$. +Alors si on choisit comme modèle d'attaque la fonctione identitée, nous avont comme accuracy de l'AIA $0,75$ ce qui indique une fuite de l'attribut sensible. + +%De manière plus précises et plus générale nous avancons le théorème suivant : +%\begin{theorem} +%\label{th:eoo} + %Si $\hat{Y}$ satisfait l'équitée des chances pour $Y$ et $S$, alors l'exactitude équilibrée de l'AIA est de $\frac{1}{\#F}$ si et seulement si $Y$ est independant de $S$ ou si + %for $Y$ and $S$ then the balanced accuracy of AH is $\frac{1}{2}$ if and only if $Y$ is independent of $S$ or $\hat{Y}$ is independent of $Y$. +%\end{theorem} +%Those two conditions are unlikely to happen with real world dataset and target models. +%Indeed, $Y$ is independent of $S$ means that the ground truth label is independent of the sensitive attribute which never happens as we have observed in the experiment section. +%And $\hat{Y}$ is independent of $Y$ means that the target model did not managed to learn anything: it does not have any utility which defies the purpose of using it in a production and commercial environment. +%Since both of those conditions are not practical, we close the case of EO by saying that it is not fit as a defense against attribute inference attack at inference time. +%We prove the theorem: +%\begin{proof} +%Let $a$ be the attack model trained for AS: $\hat{S}=a\circ \hat{Y}$. +%By the total probability formula +%\begin{align*}&P(\hat{S}=0|S=0)\\ +%=&P(\hat{S}=0|S=0Y=0)P(Y=0|S=0)\\ +%+&P(\hat{S}=0|S=0Y=1)P(Y=1|S=0) +%\end{align*} +%and as well +%\begin{align*}&P(\hat{S}=1|S=1)\\ + %=&P(\hat{S}=1|S=1Y=0)P(Y=0|S=1)\\ + %+&P(\hat{S}=1|S=1Y=1)P(Y=1|S=1) +%\end{align*} +%Then we substitute those terms in the definition of the balanced accuracy of the target model. +%\begin{align*} + %&\frac{P(\hat{S}=0|S=0)+P(\hat{S}=1|S=1)}{2}\\ + %=&\frac{1}{2}+\frac{1}{2}\left(P(Y=0|S=0)-P(Y=0|S=1)\right)\\ + %&\left(P(\hat{Y}\in a^{-1}(\{1\})|S=1Y=0) - + %P(\hat{Y}\in a^{-1}(\{1\})|S=1Y=1)\right) +%\end{align*} +%The balanced accuracy is equal to 0.5 if and only if $P(Y=0|S=0)=P(Y=0|S=1)$ +%or $\forall a~P(\hat{Y}\in a^{-1}(\{1\})|S=1Y=0)=P(\hat{Y}\in a^{-1}(\{1\})|S=1Y=1)$. +%The first equation means that $Y$ is independent of $S$. +%The second means that for $S=1$ the trained target model did not learn. +%We can do the same computing for $S=0$ and obtain a similar conclusion. +%\end{proof} +% +\subsection{Utiliser l'AIA pour contrôler le niveau d'équitée} +\label{sec:aia-theo-aia-eq} +De manière réciproque, le lien que nous avons démontré peut ausi être utilié dans le cas suivant. +Imaginons qu'un fournisseur de modèle d'IA ou un organisme de régulation comme la Défensseure des Droit souhaite contrôler si un modèle est équitable ou non. +Si $\#F$ ou $\#G$ sont grands voir de cardinaux infinis, vérifier diréctement des propriétés d'indépendances entre la sortie du modèle et des attributs sensible peut entraîner un coût de calcul trop élevé pour être faisable~\cite{ofverstedt2022fast}. + +Grâce au Théorème~\ref{th:aia-dpgood} nous avons la garantie que que si toutes les modèles AIA ont une exactitude équilibrée égale à $\frac{1}{\#F}$ alors le modèle cible satisfait la parité démographique. +Bien sûre cette technique atteint sa limite si $\#G$ est infini car alors l'exactitude équliibrée n'est plus définie. + +Calculer l'exactitude équilibrée de toutes les modèles d'AIA est impossible. +Nous allons voir que si l'AIA qui donne une exactitdue équilibrée maximal vaut $\frac{1}{\#F}$ alors c'est le cas pour toutes. + +\begin{theorem} + \label{th:aia-bluey} + Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé. + Soient $(E,\mathcal{E})$ et $(F,\mathcal{P}(F))$ des espaces mesurables avec $F$ un esemble fini. + Soient les varibles aléatoires suivantes : + \begin{itemize} + \item $X:\Omega\rightarrow E$ + \item $Y:\Omega\rightarrow F$ + \end{itemize} + Soit $A$ l'ensemble des fonctions mesurables de $(E,\mathcal{E})$ dans $(F,\mathcal{P}(F))$. + Nous appelons $BA$ la fonction qui à toutes fonction $a$ de $A$ associe l'exactitude équilibrée de $a \circ X$ pour l'étiquette $Y$. + \begin{equation*} + \exists a\in A~BA(a)< \frac{1}{\#F} + \implies + \exists a\in A~BA(a)>\frac{1}{\#F} + \end{equation*} +\end{theorem} + +\begin{proof} + Soit $a\in A$ telle que $BA(a)<\frac{1}{\#F}$. + Nous allons montrer qu'il existe $b\in A$ telle que $BA(b)>\frac{1}{\#F}$ + + A la manière de la démonstration du Théorème~\ref{th:fini-bacca}, on se donne la matrice + \begin{equation*} + M(i,j) = P(a\circ X = y_i\mid Y=y_j) + \end{equation*} + + On note $S_{\#F}$ l'ensemble des bijections de $\#F$ sur lui-même. + Montrons qu'il existe + $\varphi\in S_{\#F}$ telle que $\sum_{j\in\#F}M(\varphi(j),j) >1$. + Raisonons par l'absurde. + Nous supposont que + \begin{equation*} + \forall \varphi\in S_{\#F}~\sum_{j\in\#F}M(\varphi(j),j)<1 + \end{equation*} + Alors + \begin{align*} + &\sum_{\varphi\in S_{\#F}}\sum_{j\in\#F}M(\varphi(j),j)<N!\\ + \implies&\sum_{j\in\#F}\sum_{\varphi\in S_{\#F}}M(\varphi(j),j)<N!\\ + \implies&\sum_{j\in\#F}\sum_{i\in\#F}(N-1)!M(i,j)<N!\\ + \implies&\sum_{j\in\#F}\sum_{i\in\#F}M(i,j)<N\\ + \end{align*} + Ce qui est absurde car + \begin{equation*} + \sum_{i\in\#F} M(i,j) = + \sum_{i\in\#F}P(a\circ X=y_i\mid Y=y_j)=1 + \end{equation*} + Donc + \begin{equation*} + \sum_{j\in\#F}\sum_{i\in\#F}M(i,j) = N + \end{equation*} + + Ainsi, nous avons $\varphi\in S_{\#F}$ telle que + $\sum_{j\in\#F}M(\varphi(j),j)>1$. + Comme nous l'avons montré dans la preuve du Théorème~\ref{th:fini-bacca}, nous avons $u\in\mathcal{H}^{\#F}$ tel que en posant + \begin{equation*} + b = u_{\#F-1}\circ\cdots\circ u_0\circ a + \end{equation*} + alors $BA(b)>\frac{1}{\#F}$. + +\end{proof} + +Nous allons utiliser ce théorème pour montrer que si l'AIA maximale à une exactidue équilibrée égale à $\frac{1}{\#G}$ alors toutes les AIA ont la même éxactiture equilibrée. +On se donne $A$ l'ensemble des fonctions mesurable de $(F,\mathcal{F}$ dans $(G,\mathcal{P}(G)$. +$A$ modélise l'ensemble des AIA possibles pour un modèle cible qui prédit dans $F$ et un attribut sensible dans $G$, un ensemble fini. +Supposons que $\text{max}_{a\in A} BA(a)=\frac{1}{\#G}$. +Alors $\forall a\in A~BA(a)\leq\frac{1}{\#G}$. +D'après la contraposée du Théorème~\ref{th:aia-bluey} nous avons alors $\forall a\in A~BA(a)\geq\frac{1}{\#G}$. +Ainsi $\forall a\in A~BA(a)=\frac{1}{\#G}$. +Pour contrôler si un classifieur vérifie la paritée demographique il est donc suffisant de connaitre l'exactitude équilibrée maximial de toutes les AIA. +Comme nous venons de le voir, si cette valuer vaut $\frac{1}{\#G}$ alors le classifieur satisfait la paritée démographique. +La recherche d'une AIA qui maximise l'exactitude équilibrée est discuté à la Section~\ref{sec:aia-aia}. |