diff options
Diffstat (limited to 'aia/resultats.tex')
| -rw-r--r-- | aia/resultats.tex | 50 |
1 files changed, 44 insertions, 6 deletions
diff --git a/aia/resultats.tex b/aia/resultats.tex index f88dc1f..12483d8 100644 --- a/aia/resultats.tex +++ b/aia/resultats.tex @@ -28,11 +28,12 @@ \end{subfigure} \begin{subfigure}{0.24\linewidth} \includegraphics[width=\linewidth]{ACSAC/figures/egd/lfw/lfw_egd_attack_hard_race.pdf} - \caption{Lfw (race)} + \caption{LFW (race)} + \label{subfig:aia-theodifexp} \end{subfigure} \begin{subfigure}{0.24\linewidth} \includegraphics[width=\linewidth]{ACSAC/figures/egd/lfw/lfw_egd_attack_hard_sex.pdf} - \caption{Lfw (sex)} + \caption{LFW (sex)} \end{subfigure} \caption{Impact de la réduction pour une classification équitable sur le succès de \AIAHard. @@ -74,11 +75,12 @@ \end{subfigure} \begin{subfigure}{0.24\linewidth} \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_race.pdf} - \caption{Lfw (race)} + \caption{LFW (race)} \end{subfigure} \begin{subfigure}{0.24\linewidth} \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_sex.pdf} - \caption{Lfw (sex)} + \caption{LFW (sex)} + \label{subfig:aia-softlfwsex} \end{subfigure} \caption{Impact du rééquilibrage adverse sur le succès de \AIASoft. @@ -114,11 +116,11 @@ \end{subfigure} \begin{subfigure}{0.24\linewidth} \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_race.pdf} - \caption{Lfw (race)} + \caption{LFW (race)} \end{subfigure} \begin{subfigure}{0.24\linewidth} \includegraphics[width=\linewidth]{ACSAC/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf} - \caption{Lfw (sex)} + \caption{LFW (sex)} \end{subfigure} \caption{Impact du rééquilibrage adverse sur le succès de \AIAHard. \\\textit{baseline} = succès de l'attaque sans rééquilibrage adverse. @@ -187,6 +189,10 @@ } \label{fig:utilityadv} \end{figure} +Nous montrons dans cette section les résultats expérimentaux. +Dans un premiers temps nous proposons une analyse globale des résultats, dans un second temps nous décrivons chaque figure en rentrant plus dans les détails. + +\subsubsection{Synthèse des résultats} Nous observons sur les Figures~\ref{fig:aiaegd},~\ref{fig:aia-adv-hard} et~\ref{fig:aiadeb} que les méthodes pour imposer l'équité ont bien réduit les succès des attaques, que ce soit en classification ou en régression. De plus, nous voyons sur les Figures~\ref{fig:aiaegd} et~\ref{fig:aia-adv-hard} que le succès maximal de l'attaque vaut bien $\frac{1}{2}(1+DemParLvl)$ comme nous l'avons montré à la Propriété~\ref{prop:aia-demparlvl}. Enfin, nous mettons en perspective ce résultat avec la dégradation d'utilité qu'entraîne l'utilisation de ces méthodes sur les Figures~\ref{fig:utilityegd} et~\ref{fig:utilityadv}. @@ -195,4 +201,36 @@ En contrepartie, la réduction pour une classification équitable semble moins d En conclusion, nous recommandons d'utiliser le rééquilibrage adverse quand il y a un risque que le logit soit partagé ou quand la tâche principale est une régression. Si ce n'est pas le cas, par exemple si le modèle est utilisé localement et que seule la prédiction est partagée, nous recommandons d'utiliser la réduction pour une classification équitable. + +\subsubsection{Analyse détaillée des résultats} +La Figure~\ref{fig:aiaegd} présente l'exactitude équilibrée de~\AIAHard~avec et sans utilisation de la méthode de réduction pour une classification équitable. +Comme nous utilisons \AIAHard~sur cette figure nous avons la garantie que le résultat de l'attaque correspond à la maximisation de l'exactitude équilibrée sur les données d'entraînement de l'attaque. +Cependant, il peut arriver des cas extrêmes où l'attribut sensible est presque indépendant de la sortie du modèle cible. +Cela signifie que le nombre d'individus ayant l'attribut sensible 0 dans la classe 0 vas être presque égale au nombre d'individus ayant l'attribut sensible 0 dans la classe 1. +Ainsi en séparant les jeux de donnée en entraînement (A) et évaluation (B), il est possible que la tendance soit opposé dans A et B. +Par exemple : dans A il y a plus d'individus ayant un attribut sensible 0 dans la classe 0 que dans la classe 1 alors que dans B il y a plus d'individus ayant un attribut sensible 0 dans la classe 1 que dans la classe 0. +Dans ce cas une attaque entraîné sur A et évalué sur B aura une exactitude équilibrée inférieur à 0,5 comme nous pouvons l'observer sur la Figure~\ref{fig:aiaegd} pour COMPAS, MEPS et LFW. +Nous observons aussi ce phénomène sur la Figure~\ref{fig:aia-adv-hard}. +Ces cas sont fréquents pour les boîtes à moustache dénotées \textquote{\textit{Empirical}} car elles ont été obtenu en attaquant un modèle cible entraîné avec un mécanisme qui cherche à impose la parité démographique, soit justement l'indépendance de la sortie et de l'attribut sensible. + +Les boîtes à moustaches dénotées \textit{\textquote{Theoretical}} sont obtenus sur les données d'évaluation en calculant $\frac{1}{2}(1+DemParLvl)$. +Elles permettent de vérifier expérimentalement la Propriété~\ref{prop:aia-demparlvl} qui assure que l'exactitude équilibrée de~\AIAHard~doit être égale à $\frac{1}{2}(1+DemParLvl)$. +On remarque que c'est vrai sauf dans le cas indiqué plus haut où~\AIAHard~se trompe à cause de la presque indépendance entre attribut sensible et sortie du modèle cible et donne une exactitude équilibrée inférieur à 0,5. +Dans ce cas le résultat théorique vaut $1-\text{le résultat expérimentale}$. +Cela explique la différence observé sur certaines figures, comme par exemple à la Sous-figure~\ref{subfig:aia-theodifexp}. + +Nous observons sur l'ensemble des figures présentant des résultats d'attaques que l'écart inter-quartile peut atteindre 10 points d'exactitude équilibrée ce qui indique que le résultat de l'attaque est dépendant de la séparation en entraînement et évaluation. +Cela peut venir du fait que les jeux de données sont déséquilibré ce qui augmente la probabilité de générer des sous ensembles qui ne contiennent pas assez de données pour chaque classe. + +Sur l'ensemble des expériences, l'inférence du genre sur le jeu de données LFW est la plus sensible car elle atteint une médiane de 0.8 d'exactitude équilibrée sans utilisation de mécanisme de protection. +Pour mettre cela en perspectives, les autres attaques sans utilisation de mécanisme atteignent un médiane moyenne de 0.59 d'exactitude équilibrée. +Cela met en avant le risque que représente l'AIA et l'intérêt de mitiger ces attaques. +Concernant la protection, nous observons que les mécanismes imposant l'équité ne permettent pas dans tous les cas de réduire le risque comme par exemple avec la Sous-figure~\ref{subfig:aia-theodifexp}. +Sur cette figure nous observons que la boîte à moustache \textquote{\textit{Baseline}} est presque au même niveau que les deux autres avec un médiane passant de 0.6 à 0.58. +Cela indique que le mécanisme n'a pas empêché~\AIAHard~d'inférer l'attribut sensible et que le DemParLvl est presque le même avant et après utilisation du mécanisme. +Comme le DemParLvl n'a pas beaucoup diminué, le mécanisme n'a pas rempli le rôle pour lequel il a été crée : imposer la parité démographique et atteindre un DemParLvl égale à 0,5. +En contre partie, quand le mécanisme arrive à imposer la parité démographique nous observons que l'exactitude équilibrée de l'attaque est diminué comme sur la Sous-figure~\ref{subfig:aia-softlfwsex}. +Sur cette figure la médiane de l'exactitude équilibrée de l'attaque passe de 0.8 à 0.5. +C'est-à-dire que le risque pour l'attribut sensible passe de très marqué à inexistant. + \FloatBarrier |