avnacé aia, remerciement notations, notes

5 files changed, 287 insertions, 6 deletions

diff --git a/aia/fair_reg.tex b/aia/fair_reg.tex
new file mode 100644
index 0000000..2f2a0e0
--- /dev/null
+++ b/aia/fair_reg.tex
@@ -0,0 +1,46 @@
+A la Section~\ref{sec:background-eq} nous avons introduits la notion de \textit{demographic parity} (DemPar).
+Dans le cas d'un classifieur binaire ($\hat{Y}$) avec attribut binaire ($S$), nous pouvons calculer à quel point le classifieur est proche d'être DemPar avec la quantité suivante :
+\begin{equation*}
+    \text{DemParLvl} = |P(\hat{Y}=1|S=0) - P(\hat{Y}=1|S=1)|
+\end{equation*}
+C'est l'écart de prédiction positive entre la classe majoritair(par exemple les blancs, le hommes, ...) et la classe minoritaire (les noirs, les femmes, ...).
+\begin{propriete}
+    \label{prop:aia-dpl0}
+    Un classifieur qui satisfat la \textit{demographic parity} a n DemParLvl égale à zéro.
+\end{propriete}
+La démonstration est triviale à partir de la Définition~\ref{def:background-eq-dp}.
+
+DemPar est équivalante à dire que la prédiction du modèle est idépendante de l'attribut sensible.
+Nous remarquons que cette définition n'est ni restrainte à des problème de classification, ni à des attribute senssibles binaires ni même à des attribut sensibles qui prennent leurs valeur dans un ensemble fini.
+Ainsi nous définissons la notion suivante:
+\begin{definition}{\textit{Démographic parity} généralisée.}
+    \label{def:aia-dempargen}
+Soit $(\Omega,\mathcal{T},P$) un espace probabilisé.
+Soient $(E,\mathcal{E})$, $(F,\mathcal{F})$ et $(G,\mathcal{G})$ des espaces mesurables.
+Soient les variables aléatoires suivantes : 
+\begin{itemize}
+    \item $X:(\Omega,\mathcal{T})\rightarrow (E,\mathcal{E})$
+    \item $Y:(\Omega,\mathcal{T})\rightarrow (F,\mathcal{F})$
+    \item $S:(\Omega,\mathcal{T})\rightarrow (G,\mathcal{G})$
+    \item $f:(E,\mathcal{E})\rightarrow (F,\mathcal{F})$
+\end{itemize}
+Alors $f$ satisfait la \textit{demographic parity} généralisée si et seulement si 
+\begin{equation*}
+    P_{f\circ X,S} = P_{f\circ X}\otimes P_S
+\end{equation*}
+Dit autrement, si et seulement si le classifieur $f$ est un CCA pour prédire $S$ à partire de $X$.
+\end{definition}
+
+\begin{propriete}
+    Si un classifieur binaire satisfait la \textit{demographic parity} généralisée alors il satisfait la démographic parity.
+\end{propriete}
+
+\begin{proof}
+    En gardant les objets définits dans la Définition~\ref{def:aia-dempargen}, supposons que $f$ satisfasse la \textit{demographic parity} généralisée.
+    Alors, en notant $\hat{Y} = f\circ X$, comme $\mathcal{G} = \mathcal{F}=\mathcal{P}(\{0,1\})$, nous avons bien
+    \begin{equation*}
+        P(\hat{Y}=1\mid S=0) = P(\hat{Y}=1\mid S=1)
+    \end{equation*}
+\end{proof}
+
+Ainsi grâce à la Propriété~\ref{prop:aia-dpl0} nous savons que si un classifieur satisfait la \textit{demographic parity} généralisée, alors il a un DemParLvl égale à 0.
diff --git a/aia/intro.tex b/aia/intro.tex
new file mode 100644
index 0000000..b921ffc
--- /dev/null
+++ b/aia/intro.tex
@@ -0,0 +1,20 @@
+Nous avons vu à la Section~\ref{} que, pour imposer l'équitée à un modèle, nous pouvons utiliser différentes méthodes qui agissent lors de l'entraînement.
+Utiliser ces méthodes peut causer une augmentation de certain risque liée à la confidentialité des donnée d'entraînement, ainsi il est admis qu'il y ai un compromis à faire enre equitée et confidentialitée~\cite{dudu2023sok}.
+Cependant ce compromis ne concerne que les risquées liée aux attaque de MIA et rentre en coflit avec la confidentialité diférentielles~\cite{chang2021privacy,cummings,ijcai2022p766}.
+
+Dans ce chapitre nous allons étudier les intéractions entre ces mécanismes d'équitée et l'attaque AIA.
+Nous allons montrer que sous cet angle, l'équitée et la confidentialitée travailent de concert.
+Cette étude peut être vue sous deux angles.
+Le premier aspect consiste à étudier comment les mécanisme d'équitée peuvent être utilisé pour mitiger différent types d'AIA.
+Le second aspect, en lien avec le primer, est d'utiliser les AIA pour contrôler dans un environement boîte noire le niveau d'équitée d'un modèle.
+
+\subsection{Contributions}
+Dans ce chapitre nous apportons les contributions suivante :
+\begin{itemize}
+    \item Une définition de l'équitée qui généralise la \textit{demographic parity} à la regression.
+    \item Diverse relations analytique et synthétques entre AIA, \textit{demographic parity} et \textit{equality of odds} qui remplissent les objectifs de:
+    calcul de niveau d'équitée en boîte noire et
+    garanties théoriques sur le niveau de confidentialité des donnée des utilisateurs de modèles.
+    \item La construction de deux nouvelles attaque AIA efficaces quand l'attribut sensible présente un déséquilibre.
+    \item Une étude empirique des relations entre niveau d'équitée, utilisation d'algorithmes imposants l'équitée et succès des attaques AIA.
+\end{itemize}
diff --git a/aia/main.tex b/aia/main.tex
index 07f5b67..8e6059c 100644
--- a/aia/main.tex
+++ b/aia/main.tex
@@ -1,17 +1,24 @@
+\section{Introduction}
+\input{aia/intro}
 
-\section{AIA}
-\section{Modèle de menace}
-threat model
-\label{sec:aia-tm}
+\section{Equitée en regression}
+\input{aia/fair_reg}
 
-\section{Classification}
-\input{aia/classif}
+\section{Etude théorique de la relation entre AIA et équitée}
+\input{aia/theo}
 
 \section{Regression}
 \label{sec:aia-soft}
 
+\section{AIA}
+\section{Modèle de menace}
+threat model
+\label{sec:aia-tm}
 \section{Méthodologie}
 \subsection{Jeux de donné}
 \label{sec:aia-methodo-jeu}
 The US census is a snapshot of the US adult population that is done every ten year by the US government\footnote{www.census.gov}.
 It produces a database where each row is an individual and each column is an attribute that describe people.
+
+\section{Résultats}
+\input{aia/resultats}
diff --git a/aia/resultats.tex b/aia/resultats.tex
new file mode 100644
index 0000000..efe0060
--- /dev/null
+++ b/aia/resultats.tex
@@ -0,0 +1,119 @@
+
+\begin{figure}
+    \centering
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/egd/census/census_egd_attack_hard_race.pdf}
+        \caption{Census (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/egd/census/census_egd_attack_hard_sex.pdf}
+        \caption{Census (sex)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+       \includegraphics[width=\linewidth]{ACSAC/figures/egd/compas/compas_egd_attack_hard_race.pdf}
+        \caption{Compas (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/egd/compas/compas_egd_attack_hard_sex.pdf}
+        \caption{Compas (sex)}
+    \end{subfigure}
+\centering
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/egd/meps/meps_egd_attack_hard_race.pdf}
+        \caption{Meps (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/egd/meps/meps_egd_attack_hard_sex.pdf}
+        \caption{Meps (sex)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/egd/lfw/lfw_egd_attack_hard_race.pdf}
+        \caption{Lfw (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/egd/lfw/lfw_egd_attack_hard_sex.pdf}
+        \caption{Lfw (sex)}
+    \end{subfigure}
+
+    \caption{For \AIAHard, we observe that EGD reduces the attack accuracy to random guess ($\sim$50\%)}
+    \label{fig:AdaptAIAEGD}
+\end{figure}
+
+
+
+\begin{figure}[!htb]
+   \centering
+   \footnotesize
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_soft_experimental_race.pdf}
+        \caption{Census (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_soft_experimental_sex.pdf}
+        \caption{Census (sex)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_soft_experimental_race.pdf}
+        \caption{Compas (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_soft_experimental_sex.pdf}
+        \caption{Compas (sex)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_soft_experimental_race.pdf}
+        \caption{Meps (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_soft_experimental_sex.pdf}
+        \caption{Meps (sex)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_race.pdf}
+        \caption{Lfw (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_sex.pdf}
+        \caption{Lfw (sex)}
+    \end{subfigure}
+
+   \caption{For both \AIASoft and \AIAHard, Adversarial debisaing reduces the attack accuracy to random guess ($\sim$50\%). For \AIAHard, the theoretical bound on attack accuracy matches with the empirical results.}
+   \label{fig:AdaptAIADebias}
+\end{figure}
+
+\begin{figure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_race.pdf}
+        \caption{Census (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_sex.pdf}
+        \caption{Census (sex)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_race.pdf}
+        \caption{Compas (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_sex.pdf}
+        \caption{Compas (sex)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_race.pdf}
+        \caption{Meps (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_sex.pdf}
+        \caption{Meps (sex)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_race.pdf}
+        \caption{Lfw (race)}
+    \end{subfigure}
+    \begin{subfigure}{0.24\linewidth}
+        \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf}
+        \caption{Lfw (sex)}
+    \end{subfigure}
+    \caption{adverarial debiasing hard}
+    \label{fig:aia-adv-hard}
+\end{figure}
diff --git a/aia/theo.tex b/aia/theo.tex
new file mode 100644
index 0000000..2a826b1
--- /dev/null
+++ b/aia/theo.tex
@@ -0,0 +1,89 @@
+\subsection{Utiliser l'équitée pour mitiger les AIA}
+Commencons par présenter le résultat le plus générale, qui fonctionne aussi bien pour des modèle de classification que pour des regression.
+Ce résultats est aussi indépendant du type d'attribut binaire, quantitatif au qualitatif.
+
+\begin{theorem}
+    \label{th:aia-dpgood}
+    Les deux propositions suivantes sont équivalantes :
+    \begin{enumerate}
+        \item Le modèle cible satisfait la démographic parity 
+        \item Toutes les attaques utilisant la prédiction pour inférer l'attribut sensible sont des CCA.
+    \end{enumerate}
+
+    Et aussi, les deux propositions suivantes sont équivalantes :
+    \begin{enumerate}
+        \item Le modèle cible satisfait la démographic parity généraliée
+        \item Toutes les attaques utilisants le logit pour inférer l'attribut sensible sont des CCA.
+    \end{enumerate}
+\end{theorem}
+
+\begin{proof}
+    Par définition, la \textit{demographic parity} (respectivement généralisée) est equivalante à l'inpépendance entre l'attribut sensible et la prediction (respectivement le logit).
+    Ainsi, d'après le Lemme~\ref{lemme:aia-xycca} dire que tout classifieur de l'attribute sensible utilisant la prédiction (respectivement le logit) est un CCA est équivalant à dire que le modèle cible respecte la \textit{demographic parity} (respectivement généralisée).
+\end{proof}
+
+Ce résultat nous apprend que s'assurer que le modèle cible satisfait la \textit{demographic parity} permet de s'assurer que les attribut sensible des utilisateur soient protégé lors de l'utilisation du modèle.
+Dans le cas d'un modèle cible qui réalise une classifiction binaire et en considérant un attribut binaire nous avons une propriété plus précise.
+
+\begin{propriete}
+    Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé et $(\{0,1\}$, $\mathcal{P}(\{0,1\}))$ des espaces mesurables.
+    Soit les variables aléatoires suivantes
+    \begin{itemize}
+        \item L'étiquette $Y:(\Omega,\mathcal{T})\rightarrow (\{0,1\},\mathcal{P}(\{0,1\})$
+        \item La donnée d'entrée $X:(\Omega,\mathcal{T})\rightarrow (F,\mathcal{F})$
+        \item L'attribute sensible $S:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\}))$
+        \item L'attaque $a:(\Omega,\mathcal{T})\rightarrow\mathcal{P}(\{0,1\}))$
+        \item Le modèle cible $f:(\Omega,\mathcal{T})\rightarrow\mathcal{P}(\{0,1\}))$
+    \end{itemize}
+    Alors nous avons 
+    \begin{equation*}
+        \text{max}_{a}BA(a) = \frac{1}{2}(1+\text(DemParLvl(f)))
+    \end{equation*}
+\end{propriete}
+
+\begin{proof}
+    On pause $\hat{Y}=f\circ X$.
+    L'ensemble $A$ des fonction de $\{0,1\}$ vers $\{0,1\}$ contient quatre éléments : 
+$a_0=0$, $a_1=id$, $a_2=1-id$ et $a,3=1$.
+    Pour chaque attaque $a\in A$ la \textit{balanced accuracy} de $a$ est 
+$BA(a) = \frac{1}{2}(P(a\circ \hat{Y}=0|S=0) + P(a\circ \hat{Y}=1|S=1))$.
+Nous avons $BA(b_0) = BA(b_3) = \frac{1}{2}$ il n'est donc pas nécessaire de considérer ces éléments pour résoudre le problème d'optimisation.
+Ce problème s'écrit $\text{max}_{a\in A}BA(a)) = \text{max}(BA(a_1), BA(a_2))$.
+Nous remarquon que $a_1\circ \hat{Y}=\hat{Y}$ et $a_2\circ \hat{Y}=1 - \hat{Y}$.
+Ainsi, 
+{
+\begin{align*}
+    BA(a_1) &= \frac{1}{2}(P(\hat{Y}=0|S=0) + P(\hat{Y}=1|S=1))\\
+    &=\frac{1}{2}(1+P(\hat{Y}=1|S=1) - P(\hat{Y}=1|S=0))
+\end{align*}
+}
+et 
+{
+\begin{align*}
+    BA(a_2)=\frac{1}{2}(1+P(\hat{Y}=1|S=0) - P(\hat{Y}=1|S=1))
+\end{align*}
+}
+Donc, 
+{
+\begin{align*}
+    &\text{max}_{a\in B}BA(a) \\
+    = &\frac{1}{2}\left(1+\text{max}\left(
+    \begin{matrix}
+        P(\hat{Y}=0|S=0) -P(\hat{Y}=1|S=1)\\ 
+        P(\hat{Y}=1|S=0) -P(\hat{Y}=0|S=1)
+    \end{matrix}
+    \right)\right)\\
+    =&\frac{1}{2}(1+|P(\hat{Y}=1|S=1) - P(\hat{Y}=1|S=0)|)
+\end{align*}
+}
+\end{proof}
+
+Ainsi pour le classifieur binaire avec attribut sensbile binaire, il est suffisant de calculer le DemParLvl du modèle cible pour connaitre le maximum de \textit{balanced accuracy} ateignable par n'importe quelle attaque.
+De plus, nous voyons que la \textit{balanced accuracy} maximial d'attaque vaut ${1}{2}$ si et seulement si $\text{DemParLvl}=0$.
+C'est à dire que $f$ satisfait DemPar est équivalant à dire que tout attaque à une \textit{balanced accuracy} égale à $\frac{1}{2}$.
+
+Grâce au Théorème~\ref{th:aia-dpgood} nous savons aussi que tout autre définition d'équtiée qui n'implique pas la paritée démographique ne permet pas de mitiger les AIA. 
+Par exemple, nous allons montrer que l'égalitée de chances de la Définition~\ref{def:background-eq-eoo} en permet pas de mitiger l'AIA dans le cas binaire que nous avons étuié précédement.
+
+\subsection{Utiliser l'AIA pour contrôler le niveau d'équitée}.
+