diff options
Diffstat (limited to 'aia/resultats.tex')
-rw-r--r-- | aia/resultats.tex | 91 |
1 files changed, 85 insertions, 6 deletions
diff --git a/aia/resultats.tex b/aia/resultats.tex index efe0060..9f432ff 100644 --- a/aia/resultats.tex +++ b/aia/resultats.tex @@ -1,4 +1,4 @@ - +\FloatBarrier \begin{figure} \centering \begin{subfigure}{0.24\linewidth} @@ -35,8 +35,12 @@ \caption{Lfw (sex)} \end{subfigure} - \caption{For \AIAHard, we observe that EGD reduces the attack accuracy to random guess ($\sim$50\%)} - \label{fig:AdaptAIAEGD} + \caption{Impacte de la réduction pour une classification équitable sur le succès de \AIAHard. + \\\textit{Baseline} = sans réduction. + \\\textit{Theoretical} = $\frac{1}{2}(1+DemParLvl)$ avec réduction. + \\\textit{Empirical} = avec réduction. + } + \label{fig:aiaegd} \end{figure} @@ -77,8 +81,10 @@ \caption{Lfw (sex)} \end{subfigure} - \caption{For both \AIASoft and \AIAHard, Adversarial debisaing reduces the attack accuracy to random guess ($\sim$50\%). For \AIAHard, the theoretical bound on attack accuracy matches with the empirical results.} - \label{fig:AdaptAIADebias} + \caption{Impacte du rééquilibrage adverse sur le succès de \AIASoft. + \\\textit{baseline} = sans rééquilibrage adverse. + \\\textit{AdvDebias} = avec rééquilibrage adverse.} + \label{fig:aiadeb} \end{figure} \begin{figure} @@ -114,6 +120,79 @@ \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf} \caption{Lfw (sex)} \end{subfigure} - \caption{adverarial debiasing hard} + \caption{Impacte du rééquilibrage adverse sur le succès de \AIAHard. + \\\textit{baseline} = succes de l'attaque sans rééquilibrage adverse. + \\\textit{Empirical} = succès de l'attaque avec rééquilibrage adverse. + \\\textit{Theoretical} = $\frac{1}{2}(1+DemParLvl)$ avec rééquilibrage adverse} \label{fig:aia-adv-hard} \end{figure} + +\begin{figure}[!htb] + \centering + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/egd/census/census_egd_utility.pdf} + \caption{CENSUS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/egd/compas/compas_egd_utility.pdf} + \caption{COMPAS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/egd/meps/meps_egd_utility.pdf} + \caption{MEPS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/egd/lfw/lfw_egd_utility.pdf} + \caption{LFW} + \label{fig:utilityegd-lfw} + \end{subfigure} + \caption{Impacte de l'utilisation de la réduction pour une classification équitable sur l'utilité. + \\\textit{Baseline} = sans réduction. + \\\textit{EGD+DemPar} = avec réduction. + } + \label{fig:utilityegd} +\end{figure} + + +\begin{figure}[!htb] + \centering + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_utility.pdf} + \caption{CENSUS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_utility.pdf} + \caption{COMPAS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_utility.pdf} + \caption{MEPS} + \end{subfigure} + \begin{subfigure}{0.24\linewidth} + \centering + \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_utility.pdf} + \caption{LFW} + \label{fig:utilityadv-lfw} + \end{subfigure} + \caption{Impacte de l'utilisation du rééquilibrage adverse sur l'utilisé. + \\\textit{baseline} = sans rééquilibrage adverse. + \\\textit{AdvDebias} = avec rééquilibrage adverse. + } + \label{fig:utilityadv} +\end{figure} +Nous observons sur les Figures~\ref{fig:aiaegd},~\ref{fig:aia-adv-hard} et~\ref{fig:aiadeb} que les méthodes pour imposer l'équité on bien réduit les succès des attaques que ce soit en classification ou en régression. +De plus, nous voyons sur les Figures~\ref{fig:aiaegd} et~\ref{fig:aia-adv-hard} que le succès maximal de l'attaque vaut bien $\frac{1}{2}(1+DemParLvl)$ comme nous l'avons montré à la Propriété~\ref{prop:aia-demparlvl}. +Enfin, nous mettons en perspective ce résultat avec la dégradation d'utilité qu'entraîne l'utilisation des ces méthodes sur les Figures~\ref{fig:utilityegd} et~\ref{fig:utilityadv}. +Les deux méthodes semblent protéger de manière similaire les attributs sensibles pour \AIAHard~cependant la méthode de adverse est la seul pouvant mitiger \AIASoft. +En contrepartie la réduction pour une classification équitable semble moins dégrader l'utilité comme nous pouvons le vois en comparant les Figures~\ref{fig:utilityegd-lfw} et~\ref{fig:utilityadv-lfw}. + +En conclusion, nous recommandons d'utiliser le rééquilibrage adverse quand il y a un risque que le logit soit partage ou quand le tâche principale est une régression. +Si ce n'est pas le cas, par exemple si le modèle est utilisé localement et que uniquement la prédiction est partagé, nous recommandons d'utiliser la réduction pour une classification équitable. +\FloatBarrier |