diff options
author | Jan Aalmoes <jan.aalmoes@inria.fr> | 2024-10-23 11:23:19 +0200 |
---|---|---|
committer | Jan Aalmoes <jan.aalmoes@inria.fr> | 2024-10-23 11:23:19 +0200 |
commit | 9f05641cde4df70e4e323ac2cc66014ec6cf4737 (patch) | |
tree | b32a0a49e756a798b2b10ae2f272118b7ee3b8dd | |
parent | 4311199d52eec10b1adf5925fb97c515b92a9eb7 (diff) |
Correction Emeline sur les modifs Antoine
-rw-r--r-- | aia/resultats.tex | 30 | ||||
-rw-r--r-- | classification_finie/introduction.tex | 2 |
2 files changed, 16 insertions, 16 deletions
diff --git a/aia/resultats.tex b/aia/resultats.tex index 12483d8..f56371f 100644 --- a/aia/resultats.tex +++ b/aia/resultats.tex @@ -189,8 +189,8 @@ } \label{fig:utilityadv} \end{figure} -Nous montrons dans cette section les résultats expérimentaux. -Dans un premiers temps nous proposons une analyse globale des résultats, dans un second temps nous décrivons chaque figure en rentrant plus dans les détails. +Nous montrerons dans cette section les résultats expérimentaux. +Dans un premier temps nous proposerons une analyse globale des résultats, dans un second temps nous décrirons chaque figure en rentrant plus dans les détails. \subsubsection{Synthèse des résultats} Nous observons sur les Figures~\ref{fig:aiaegd},~\ref{fig:aia-adv-hard} et~\ref{fig:aiadeb} que les méthodes pour imposer l'équité ont bien réduit les succès des attaques, que ce soit en classification ou en régression. @@ -206,30 +206,30 @@ Si ce n'est pas le cas, par exemple si le modèle est utilisé localement et que La Figure~\ref{fig:aiaegd} présente l'exactitude équilibrée de~\AIAHard~avec et sans utilisation de la méthode de réduction pour une classification équitable. Comme nous utilisons \AIAHard~sur cette figure nous avons la garantie que le résultat de l'attaque correspond à la maximisation de l'exactitude équilibrée sur les données d'entraînement de l'attaque. Cependant, il peut arriver des cas extrêmes où l'attribut sensible est presque indépendant de la sortie du modèle cible. -Cela signifie que le nombre d'individus ayant l'attribut sensible 0 dans la classe 0 vas être presque égale au nombre d'individus ayant l'attribut sensible 0 dans la classe 1. -Ainsi en séparant les jeux de donnée en entraînement (A) et évaluation (B), il est possible que la tendance soit opposé dans A et B. +Cela signifie que le nombre d'individus ayant l'attribut sensible 0 dans la classe 0 va être presque égal au nombre d'individus ayant l'attribut sensible 0 dans la classe 1. +Ainsi en séparant les jeux de donnée en entraînement (A) et évaluation (B), il est possible que la tendance soit opposée dans A et B. Par exemple : dans A il y a plus d'individus ayant un attribut sensible 0 dans la classe 0 que dans la classe 1 alors que dans B il y a plus d'individus ayant un attribut sensible 0 dans la classe 1 que dans la classe 0. -Dans ce cas une attaque entraîné sur A et évalué sur B aura une exactitude équilibrée inférieur à 0,5 comme nous pouvons l'observer sur la Figure~\ref{fig:aiaegd} pour COMPAS, MEPS et LFW. +Dans ce cas une attaque entraînée sur A et évaluée sur B aura une exactitude équilibrée inférieure à 0,5 comme nous pouvons l'observer sur la Figure~\ref{fig:aiaegd} pour COMPAS, MEPS et LFW. Nous observons aussi ce phénomène sur la Figure~\ref{fig:aia-adv-hard}. -Ces cas sont fréquents pour les boîtes à moustache dénotées \textquote{\textit{Empirical}} car elles ont été obtenu en attaquant un modèle cible entraîné avec un mécanisme qui cherche à impose la parité démographique, soit justement l'indépendance de la sortie et de l'attribut sensible. +Ces cas sont fréquents pour les boîtes à moustache dénotées \textquote{\textit{Empirical}} car elles ont été obtenues en attaquant un modèle cible entraîné avec un mécanisme qui cherche à impose la parité démographique, soit justement l'indépendance de la sortie et de l'attribut sensible. -Les boîtes à moustaches dénotées \textit{\textquote{Theoretical}} sont obtenus sur les données d'évaluation en calculant $\frac{1}{2}(1+DemParLvl)$. +Les boîtes à moustaches dénotées \textit{\textquote{Theoretical}} sont obtenues sur les données d'évaluation en calculant $\frac{1}{2}(1+DemParLvl)$. Elles permettent de vérifier expérimentalement la Propriété~\ref{prop:aia-demparlvl} qui assure que l'exactitude équilibrée de~\AIAHard~doit être égale à $\frac{1}{2}(1+DemParLvl)$. -On remarque que c'est vrai sauf dans le cas indiqué plus haut où~\AIAHard~se trompe à cause de la presque indépendance entre attribut sensible et sortie du modèle cible et donne une exactitude équilibrée inférieur à 0,5. -Dans ce cas le résultat théorique vaut $1-\text{le résultat expérimentale}$. -Cela explique la différence observé sur certaines figures, comme par exemple à la Sous-figure~\ref{subfig:aia-theodifexp}. +On remarque que c'est vrai sauf dans le cas indiqué plus haut où~\AIAHard~se trompe à cause de la presque indépendance entre attribut sensible et sortie du modèle cible et donne une exactitude équilibrée inférieure à 0,5. +Dans ce cas le résultat théorique vaut $1-\text{le résultat expérimental}$. +Cela explique la différence observée sur certaines figures, comme par exemple à la Sous-figure~\ref{subfig:aia-theodifexp}. -Nous observons sur l'ensemble des figures présentant des résultats d'attaques que l'écart inter-quartile peut atteindre 10 points d'exactitude équilibrée ce qui indique que le résultat de l'attaque est dépendant de la séparation en entraînement et évaluation. +Nous observons sur l'ensemble des figures présentant des résultats d'attaque que l'écart inter-quartile peut atteindre 10 points d'exactitude équilibrée ce qui indique que le résultat de l'attaque est dépendant de la séparation en entraînement et évaluation. Cela peut venir du fait que les jeux de données sont déséquilibré ce qui augmente la probabilité de générer des sous ensembles qui ne contiennent pas assez de données pour chaque classe. Sur l'ensemble des expériences, l'inférence du genre sur le jeu de données LFW est la plus sensible car elle atteint une médiane de 0.8 d'exactitude équilibrée sans utilisation de mécanisme de protection. -Pour mettre cela en perspectives, les autres attaques sans utilisation de mécanisme atteignent un médiane moyenne de 0.59 d'exactitude équilibrée. +Pour mettre cela en perspective, les autres attaques sans utilisation de mécanisme atteignent une médiane moyenne de 0.59 d'exactitude équilibrée. Cela met en avant le risque que représente l'AIA et l'intérêt de mitiger ces attaques. Concernant la protection, nous observons que les mécanismes imposant l'équité ne permettent pas dans tous les cas de réduire le risque comme par exemple avec la Sous-figure~\ref{subfig:aia-theodifexp}. -Sur cette figure nous observons que la boîte à moustache \textquote{\textit{Baseline}} est presque au même niveau que les deux autres avec un médiane passant de 0.6 à 0.58. +Sur cette figure nous observons que la boîte à moustaches \textquote{\textit{Baseline}} est presque au même niveau que les deux autres avec une médiane passant de 0.6 à 0.58. Cela indique que le mécanisme n'a pas empêché~\AIAHard~d'inférer l'attribut sensible et que le DemParLvl est presque le même avant et après utilisation du mécanisme. -Comme le DemParLvl n'a pas beaucoup diminué, le mécanisme n'a pas rempli le rôle pour lequel il a été crée : imposer la parité démographique et atteindre un DemParLvl égale à 0,5. -En contre partie, quand le mécanisme arrive à imposer la parité démographique nous observons que l'exactitude équilibrée de l'attaque est diminué comme sur la Sous-figure~\ref{subfig:aia-softlfwsex}. +Comme le DemParLvl n'a pas beaucoup diminué, le mécanisme n'a pas rempli le rôle pour lequel il a été créé : imposer la parité démographique et atteindre un DemParLvl égal à 0,5. +En contrepartie, quand le mécanisme arrive à imposer la parité démographique, nous observons que l'exactitude équilibrée de l'attaque est diminuée comme sur la Sous-figure~\ref{subfig:aia-softlfwsex}. Sur cette figure la médiane de l'exactitude équilibrée de l'attaque passe de 0.8 à 0.5. C'est-à-dire que le risque pour l'attribut sensible passe de très marqué à inexistant. diff --git a/classification_finie/introduction.tex b/classification_finie/introduction.tex index a2574cc..78d385b 100644 --- a/classification_finie/introduction.tex +++ b/classification_finie/introduction.tex @@ -11,4 +11,4 @@ $E$ correspond à l'ensemble des uplets possibles des sorties des classifieurs f Nous commençons notre étude en considérant que nous avons une base de données ayant deux colonnes. L'une contient des éléments de $E$ et l'autre contient des étiquettes de $F$. Une solution évidente est d'essayer toutes les fonctions possibles de $E$ dans $F$ mais cela n'est pas possible pour de grands ensembles. -Ainsi nous allons chercher un solution qui soit économe en nombre d'opérations. +Ainsi nous allons chercher une solution qui soit économe en nombre d'opérations. |