summaryrefslogtreecommitdiff
path: root/aia/resultats.tex
diff options
context:
space:
mode:
Diffstat (limited to 'aia/resultats.tex')
-rw-r--r--aia/resultats.tex91
1 files changed, 85 insertions, 6 deletions
diff --git a/aia/resultats.tex b/aia/resultats.tex
index efe0060..9f432ff 100644
--- a/aia/resultats.tex
+++ b/aia/resultats.tex
@@ -1,4 +1,4 @@
-
+\FloatBarrier
\begin{figure}
\centering
\begin{subfigure}{0.24\linewidth}
@@ -35,8 +35,12 @@
\caption{Lfw (sex)}
\end{subfigure}
- \caption{For \AIAHard, we observe that EGD reduces the attack accuracy to random guess ($\sim$50\%)}
- \label{fig:AdaptAIAEGD}
+ \caption{Impacte de la réduction pour une classification équitable sur le succès de \AIAHard.
+ \\\textit{Baseline} = sans réduction.
+ \\\textit{Theoretical} = $\frac{1}{2}(1+DemParLvl)$ avec réduction.
+ \\\textit{Empirical} = avec réduction.
+ }
+ \label{fig:aiaegd}
\end{figure}
@@ -77,8 +81,10 @@
\caption{Lfw (sex)}
\end{subfigure}
- \caption{For both \AIASoft and \AIAHard, Adversarial debisaing reduces the attack accuracy to random guess ($\sim$50\%). For \AIAHard, the theoretical bound on attack accuracy matches with the empirical results.}
- \label{fig:AdaptAIADebias}
+ \caption{Impacte du rééquilibrage adverse sur le succès de \AIASoft.
+ \\\textit{baseline} = sans rééquilibrage adverse.
+ \\\textit{AdvDebias} = avec rééquilibrage adverse.}
+ \label{fig:aiadeb}
\end{figure}
\begin{figure}
@@ -114,6 +120,79 @@
\includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf}
\caption{Lfw (sex)}
\end{subfigure}
- \caption{adverarial debiasing hard}
+ \caption{Impacte du rééquilibrage adverse sur le succès de \AIAHard.
+ \\\textit{baseline} = succes de l'attaque sans rééquilibrage adverse.
+ \\\textit{Empirical} = succès de l'attaque avec rééquilibrage adverse.
+ \\\textit{Theoretical} = $\frac{1}{2}(1+DemParLvl)$ avec rééquilibrage adverse}
\label{fig:aia-adv-hard}
\end{figure}
+
+\begin{figure}[!htb]
+ \centering
+ \begin{subfigure}{0.24\linewidth}
+ \centering
+ \includegraphics[width=\linewidth]{ACSAC/figures/egd/census/census_egd_utility.pdf}
+ \caption{CENSUS}
+ \end{subfigure}
+ \begin{subfigure}{0.24\linewidth}
+ \centering
+ \includegraphics[width=\linewidth]{ACSAC/figures/egd/compas/compas_egd_utility.pdf}
+ \caption{COMPAS}
+ \end{subfigure}
+ \begin{subfigure}{0.24\linewidth}
+ \centering
+ \includegraphics[width=\linewidth]{ACSAC/figures/egd/meps/meps_egd_utility.pdf}
+ \caption{MEPS}
+ \end{subfigure}
+ \begin{subfigure}{0.24\linewidth}
+ \centering
+ \includegraphics[width=\linewidth]{ACSAC/figures/egd/lfw/lfw_egd_utility.pdf}
+ \caption{LFW}
+ \label{fig:utilityegd-lfw}
+ \end{subfigure}
+ \caption{Impacte de l'utilisation de la réduction pour une classification équitable sur l'utilité.
+ \\\textit{Baseline} = sans réduction.
+ \\\textit{EGD+DemPar} = avec réduction.
+ }
+ \label{fig:utilityegd}
+\end{figure}
+
+
+\begin{figure}[!htb]
+ \centering
+ \begin{subfigure}{0.24\linewidth}
+ \centering
+ \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/census/census_advdeb_utility.pdf}
+ \caption{CENSUS}
+ \end{subfigure}
+ \begin{subfigure}{0.24\linewidth}
+ \centering
+ \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/compas/compas_advdeb_utility.pdf}
+ \caption{COMPAS}
+ \end{subfigure}
+ \begin{subfigure}{0.24\linewidth}
+ \centering
+ \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/meps/meps_advdeb_utility.pdf}
+ \caption{MEPS}
+ \end{subfigure}
+ \begin{subfigure}{0.24\linewidth}
+ \centering
+ \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_utility.pdf}
+ \caption{LFW}
+ \label{fig:utilityadv-lfw}
+ \end{subfigure}
+ \caption{Impacte de l'utilisation du rééquilibrage adverse sur l'utilisé.
+ \\\textit{baseline} = sans rééquilibrage adverse.
+ \\\textit{AdvDebias} = avec rééquilibrage adverse.
+ }
+ \label{fig:utilityadv}
+\end{figure}
+Nous observons sur les Figures~\ref{fig:aiaegd},~\ref{fig:aia-adv-hard} et~\ref{fig:aiadeb} que les méthodes pour imposer l'équité on bien réduit les succès des attaques que ce soit en classification ou en régression.
+De plus, nous voyons sur les Figures~\ref{fig:aiaegd} et~\ref{fig:aia-adv-hard} que le succès maximal de l'attaque vaut bien $\frac{1}{2}(1+DemParLvl)$ comme nous l'avons montré à la Propriété~\ref{prop:aia-demparlvl}.
+Enfin, nous mettons en perspective ce résultat avec la dégradation d'utilité qu'entraîne l'utilisation des ces méthodes sur les Figures~\ref{fig:utilityegd} et~\ref{fig:utilityadv}.
+Les deux méthodes semblent protéger de manière similaire les attributs sensibles pour \AIAHard~cependant la méthode de adverse est la seul pouvant mitiger \AIASoft.
+En contrepartie la réduction pour une classification équitable semble moins dégrader l'utilité comme nous pouvons le vois en comparant les Figures~\ref{fig:utilityegd-lfw} et~\ref{fig:utilityadv-lfw}.
+
+En conclusion, nous recommandons d'utiliser le rééquilibrage adverse quand il y a un risque que le logit soit partage ou quand le tâche principale est une régression.
+Si ce n'est pas le cas, par exemple si le modèle est utilisé localement et que uniquement la prédiction est partagé, nous recommandons d'utiliser la réduction pour une classification équitable.
+\FloatBarrier