From faa07a8f3337c5d191597ea9b9587cc0969d663c Mon Sep 17 00:00:00 2001 From: Jan Aalmoes Date: Fri, 13 Sep 2024 00:07:42 +0200 Subject: =?UTF-8?q?avnac=C3=A9=20aia,=20remerciement=20notations,=20notes?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- aia/fair_reg.tex | 46 +++++++++++++++++++++ aia/intro.tex | 20 +++++++++ aia/main.tex | 19 ++++++--- aia/resultats.tex | 119 ++++++++++++++++++++++++++++++++++++++++++++++++++++++ aia/theo.tex | 89 ++++++++++++++++++++++++++++++++++++++++ 5 files changed, 287 insertions(+), 6 deletions(-) create mode 100644 aia/fair_reg.tex create mode 100644 aia/intro.tex create mode 100644 aia/resultats.tex create mode 100644 aia/theo.tex (limited to 'aia') diff --git a/aia/fair_reg.tex b/aia/fair_reg.tex new file mode 100644 index 0000000..2f2a0e0 --- /dev/null +++ b/aia/fair_reg.tex @@ -0,0 +1,46 @@ +A la Section~\ref{sec:background-eq} nous avons introduits la notion de \textit{demographic parity} (DemPar). +Dans le cas d'un classifieur binaire ($\hat{Y}$) avec attribut binaire ($S$), nous pouvons calculer à quel point le classifieur est proche d'être DemPar avec la quantité suivante : +\begin{equation*} + \text{DemParLvl} = |P(\hat{Y}=1|S=0) - P(\hat{Y}=1|S=1)| +\end{equation*} +C'est l'écart de prédiction positive entre la classe majoritair(par exemple les blancs, le hommes, ...) et la classe minoritaire (les noirs, les femmes, ...). +\begin{propriete} + \label{prop:aia-dpl0} + Un classifieur qui satisfat la \textit{demographic parity} a n DemParLvl égale à zéro. +\end{propriete} +La démonstration est triviale à partir de la Définition~\ref{def:background-eq-dp}. + +DemPar est équivalante à dire que la prédiction du modèle est idépendante de l'attribut sensible. +Nous remarquons que cette définition n'est ni restrainte à des problème de classification, ni à des attribute senssibles binaires ni même à des attribut sensibles qui prennent leurs valeur dans un ensemble fini. +Ainsi nous définissons la notion suivante: +\begin{definition}{\textit{Démographic parity} généralisée.} + \label{def:aia-dempargen} +Soit $(\Omega,\mathcal{T},P$) un espace probabilisé. +Soient $(E,\mathcal{E})$, $(F,\mathcal{F})$ et $(G,\mathcal{G})$ des espaces mesurables. +Soient les variables aléatoires suivantes : +\begin{itemize} + \item $X:(\Omega,\mathcal{T})\rightarrow (E,\mathcal{E})$ + \item $Y:(\Omega,\mathcal{T})\rightarrow (F,\mathcal{F})$ + \item $S:(\Omega,\mathcal{T})\rightarrow (G,\mathcal{G})$ + \item $f:(E,\mathcal{E})\rightarrow (F,\mathcal{F})$ +\end{itemize} +Alors $f$ satisfait la \textit{demographic parity} généralisée si et seulement si +\begin{equation*} + P_{f\circ X,S} = P_{f\circ X}\otimes P_S +\end{equation*} +Dit autrement, si et seulement si le classifieur $f$ est un CCA pour prédire $S$ à partire de $X$. +\end{definition} + +\begin{propriete} + Si un classifieur binaire satisfait la \textit{demographic parity} généralisée alors il satisfait la démographic parity. +\end{propriete} + +\begin{proof} + En gardant les objets définits dans la Définition~\ref{def:aia-dempargen}, supposons que $f$ satisfasse la \textit{demographic parity} généralisée. + Alors, en notant $\hat{Y} = f\circ X$, comme $\mathcal{G} = \mathcal{F}=\mathcal{P}(\{0,1\})$, nous avons bien + \begin{equation*} + P(\hat{Y}=1\mid S=0) = P(\hat{Y}=1\mid S=1) + \end{equation*} +\end{proof} + +Ainsi grâce à la Propriété~\ref{prop:aia-dpl0} nous savons que si un classifieur satisfait la \textit{demographic parity} généralisée, alors il a un DemParLvl égale à 0. diff --git a/aia/intro.tex b/aia/intro.tex new file mode 100644 index 0000000..b921ffc --- /dev/null +++ b/aia/intro.tex @@ -0,0 +1,20 @@ +Nous avons vu à la Section~\ref{} que, pour imposer l'équitée à un modèle, nous pouvons utiliser différentes méthodes qui agissent lors de l'entraînement. +Utiliser ces méthodes peut causer une augmentation de certain risque liée à la confidentialité des donnée d'entraînement, ainsi il est admis qu'il y ai un compromis à faire enre equitée et confidentialitée~\cite{dudu2023sok}. +Cependant ce compromis ne concerne que les risquées liée aux attaque de MIA et rentre en coflit avec la confidentialité diférentielles~\cite{chang2021privacy,cummings,ijcai2022p766}. + +Dans ce chapitre nous allons étudier les intéractions entre ces mécanismes d'équitée et l'attaque AIA. +Nous allons montrer que sous cet angle, l'équitée et la confidentialitée travailent de concert. +Cette étude peut être vue sous deux angles. +Le premier aspect consiste à étudier comment les mécanisme d'équitée peuvent être utilisé pour mitiger différent types d'AIA. +Le second aspect, en lien avec le primer, est d'utiliser les AIA pour contrôler dans un environement boîte noire le niveau d'équitée d'un modèle. + +\subsection{Contributions} +Dans ce chapitre nous apportons les contributions suivante : +\begin{itemize} + \item Une définition de l'équitée qui généralise la \textit{demographic parity} à la regression. + \item Diverse relations analytique et synthétques entre AIA, \textit{demographic parity} et \textit{equality of odds} qui remplissent les objectifs de: + calcul de niveau d'équitée en boîte noire et + garanties théoriques sur le niveau de confidentialité des donnée des utilisateurs de modèles. + \item La construction de deux nouvelles attaque AIA efficaces quand l'attribut sensible présente un déséquilibre. + \item Une étude empirique des relations entre niveau d'équitée, utilisation d'algorithmes imposants l'équitée et succès des attaques AIA. +\end{itemize} diff --git a/aia/main.tex b/aia/main.tex index 07f5b67..8e6059c 100644 --- a/aia/main.tex +++ b/aia/main.tex @@ -1,17 +1,24 @@ +\section{Introduction} +\input{aia/intro} -\section{AIA} -\section{Modèle de menace} -threat model -\label{sec:aia-tm} +\section{Equitée en regression} +\input{aia/fair_reg} -\section{Classification} -\input{aia/classif} +\section{Etude théorique de la relation entre AIA et équitée} +\input{aia/theo} \section{Regression} \label{sec:aia-soft} +\section{AIA} +\section{Modèle de menace} +threat model +\label{sec:aia-tm} \section{Méthodologie} \subsection{Jeux de donné} \label{sec:aia-methodo-jeu} The US census is a snapshot of the US adult population that is done every ten year by the US government\footnote{www.census.gov}. It produces a database where each row is an individual and each column is an attribute that describe people. + +\section{Résultats} +\input{aia/resultats} diff --git a/aia/resultats.tex b/aia/resultats.tex new file mode 100644 index 0000000..efe0060 --- /dev/null +++ b/aia/resultats.tex @@ -0,0 +1,119 @@ + +\begin{figure} + \centering + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/census/census_egd_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/census/census_egd_attack_hard_sex.pdf} + \caption{Census (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/compas/compas_egd_attack_hard_race.pdf} + \caption{Compas (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/compas/compas_egd_attack_hard_sex.pdf} + \caption{Compas (sex)} + \end{subfigure} +\centering + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/meps/meps_egd_attack_hard_race.pdf} + \caption{Meps (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/meps/meps_egd_attack_hard_sex.pdf} + \caption{Meps (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/lfw/lfw_egd_attack_hard_race.pdf} + \caption{Lfw (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/egd/lfw/lfw_egd_attack_hard_sex.pdf} + \caption{Lfw (sex)} + \end{subfigure} + + \caption{For \AIAHard, we observe that EGD reduces the attack accuracy to random guess ($\sim$50\%)} + \label{fig:AdaptAIAEGD} +\end{figure} + + + +\begin{figure}[!htb] + \centering + \footnotesize + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_soft_experimental_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_soft_experimental_sex.pdf} + \caption{Census (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_soft_experimental_race.pdf} + \caption{Compas (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_soft_experimental_sex.pdf} + \caption{Compas (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_soft_experimental_race.pdf} + \caption{Meps (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_soft_experimental_sex.pdf} + \caption{Meps (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_race.pdf} + \caption{Lfw (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_sex.pdf} + \caption{Lfw (sex)} + \end{subfigure} + + \caption{For both \AIASoft and \AIAHard, Adversarial debisaing reduces the attack accuracy to random guess ($\sim$50\%). For \AIAHard, the theoretical bound on attack accuracy matches with the empirical results.} + \label{fig:AdaptAIADebias} +\end{figure} + +\begin{figure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_race.pdf} + \caption{Census (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_attack_hard_sex.pdf} + \caption{Census (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_race.pdf} + \caption{Compas (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_attack_hard_sex.pdf} + \caption{Compas (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_race.pdf} + \caption{Meps (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_attack_hard_sex.pdf} + \caption{Meps (sex)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_race.pdf} + \caption{Lfw (race)} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf} + \caption{Lfw (sex)} + \end{subfigure} + \caption{adverarial debiasing hard} + \label{fig:aia-adv-hard} +\end{figure} diff --git a/aia/theo.tex b/aia/theo.tex new file mode 100644 index 0000000..2a826b1 --- /dev/null +++ b/aia/theo.tex @@ -0,0 +1,89 @@ +\subsection{Utiliser l'équitée pour mitiger les AIA} +Commencons par présenter le résultat le plus générale, qui fonctionne aussi bien pour des modèle de classification que pour des regression. +Ce résultats est aussi indépendant du type d'attribut binaire, quantitatif au qualitatif. + +\begin{theorem} + \label{th:aia-dpgood} + Les deux propositions suivantes sont équivalantes : + \begin{enumerate} + \item Le modèle cible satisfait la démographic parity + \item Toutes les attaques utilisant la prédiction pour inférer l'attribut sensible sont des CCA. + \end{enumerate} + + Et aussi, les deux propositions suivantes sont équivalantes : + \begin{enumerate} + \item Le modèle cible satisfait la démographic parity généraliée + \item Toutes les attaques utilisants le logit pour inférer l'attribut sensible sont des CCA. + \end{enumerate} +\end{theorem} + +\begin{proof} + Par définition, la \textit{demographic parity} (respectivement généralisée) est equivalante à l'inpépendance entre l'attribut sensible et la prediction (respectivement le logit). + Ainsi, d'après le Lemme~\ref{lemme:aia-xycca} dire que tout classifieur de l'attribute sensible utilisant la prédiction (respectivement le logit) est un CCA est équivalant à dire que le modèle cible respecte la \textit{demographic parity} (respectivement généralisée). +\end{proof} + +Ce résultat nous apprend que s'assurer que le modèle cible satisfait la \textit{demographic parity} permet de s'assurer que les attribut sensible des utilisateur soient protégé lors de l'utilisation du modèle. +Dans le cas d'un modèle cible qui réalise une classifiction binaire et en considérant un attribut binaire nous avons une propriété plus précise. + +\begin{propriete} + Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé et $(\{0,1\}$, $\mathcal{P}(\{0,1\}))$ des espaces mesurables. + Soit les variables aléatoires suivantes + \begin{itemize} + \item L'étiquette $Y:(\Omega,\mathcal{T})\rightarrow (\{0,1\},\mathcal{P}(\{0,1\})$ + \item La donnée d'entrée $X:(\Omega,\mathcal{T})\rightarrow (F,\mathcal{F})$ + \item L'attribute sensible $S:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\}))$ + \item L'attaque $a:(\Omega,\mathcal{T})\rightarrow\mathcal{P}(\{0,1\}))$ + \item Le modèle cible $f:(\Omega,\mathcal{T})\rightarrow\mathcal{P}(\{0,1\}))$ + \end{itemize} + Alors nous avons + \begin{equation*} + \text{max}_{a}BA(a) = \frac{1}{2}(1+\text(DemParLvl(f))) + \end{equation*} +\end{propriete} + +\begin{proof} + On pause $\hat{Y}=f\circ X$. + L'ensemble $A$ des fonction de $\{0,1\}$ vers $\{0,1\}$ contient quatre éléments : +$a_0=0$, $a_1=id$, $a_2=1-id$ et $a,3=1$. + Pour chaque attaque $a\in A$ la \textit{balanced accuracy} de $a$ est +$BA(a) = \frac{1}{2}(P(a\circ \hat{Y}=0|S=0) + P(a\circ \hat{Y}=1|S=1))$. +Nous avons $BA(b_0) = BA(b_3) = \frac{1}{2}$ il n'est donc pas nécessaire de considérer ces éléments pour résoudre le problème d'optimisation. +Ce problème s'écrit $\text{max}_{a\in A}BA(a)) = \text{max}(BA(a_1), BA(a_2))$. +Nous remarquon que $a_1\circ \hat{Y}=\hat{Y}$ et $a_2\circ \hat{Y}=1 - \hat{Y}$. +Ainsi, +{ +\begin{align*} + BA(a_1) &= \frac{1}{2}(P(\hat{Y}=0|S=0) + P(\hat{Y}=1|S=1))\\ + &=\frac{1}{2}(1+P(\hat{Y}=1|S=1) - P(\hat{Y}=1|S=0)) +\end{align*} +} +et +{ +\begin{align*} + BA(a_2)=\frac{1}{2}(1+P(\hat{Y}=1|S=0) - P(\hat{Y}=1|S=1)) +\end{align*} +} +Donc, +{ +\begin{align*} + &\text{max}_{a\in B}BA(a) \\ + = &\frac{1}{2}\left(1+\text{max}\left( + \begin{matrix} + P(\hat{Y}=0|S=0) -P(\hat{Y}=1|S=1)\\ + P(\hat{Y}=1|S=0) -P(\hat{Y}=0|S=1) + \end{matrix} + \right)\right)\\ + =&\frac{1}{2}(1+|P(\hat{Y}=1|S=1) - P(\hat{Y}=1|S=0)|) +\end{align*} +} +\end{proof} + +Ainsi pour le classifieur binaire avec attribut sensbile binaire, il est suffisant de calculer le DemParLvl du modèle cible pour connaitre le maximum de \textit{balanced accuracy} ateignable par n'importe quelle attaque. +De plus, nous voyons que la \textit{balanced accuracy} maximial d'attaque vaut ${1}{2}$ si et seulement si $\text{DemParLvl}=0$. +C'est à dire que $f$ satisfait DemPar est équivalant à dire que tout attaque à une \textit{balanced accuracy} égale à $\frac{1}{2}$. + +Grâce au Théorème~\ref{th:aia-dpgood} nous savons aussi que tout autre définition d'équtiée qui n'implique pas la paritée démographique ne permet pas de mitiger les AIA. +Par exemple, nous allons montrer que l'égalitée de chances de la Définition~\ref{def:background-eq-eoo} en permet pas de mitiger l'AIA dans le cas binaire que nous avons étuié précédement. + +\subsection{Utiliser l'AIA pour contrôler le niveau d'équitée}. + -- cgit v1.2.3