diff options
author | Jan Aalmoes <jan.aalmoes@inria.fr> | 2024-09-23 20:54:42 +0200 |
---|---|---|
committer | Jan Aalmoes <jan.aalmoes@inria.fr> | 2024-09-23 20:54:42 +0200 |
commit | 5362d389988afb2750d27e7e6c5d401571dfba6e (patch) | |
tree | 381d52745fb20e54cdb16cd140e5ffea7d0ac76d /background/eq.tex | |
parent | caa9990c96141450f62a8076f560761f517dc884 (diff) |
Fini du background, ne manque plus que la relecture
Diffstat (limited to 'background/eq.tex')
-rw-r--r-- | background/eq.tex | 45 |
1 files changed, 43 insertions, 2 deletions
diff --git a/background/eq.tex b/background/eq.tex index b756361..a53f479 100644 --- a/background/eq.tex +++ b/background/eq.tex @@ -97,7 +97,48 @@ Ces définitions peuvent être imposé au modèle de trois manières: Le modèle est biaisé mais sa sortie est filtrée. \end{enumerate} Comme nous nous intéressons au interaction entre équitée et confidentialité, le Chapitre~\ref{sec:aia} s'inscrit dans la lignée de travaux précédent qui se concentrent sur les méchanismes entraitements~\cite{chang2021privacy}. +Nous allons en présenter deux que nous allons utiliser dans la suite du manuscrit. -\paragraph{Déscente de gradient exponentiée} +\paragraph{Déscente de gradient exponentié} +L'aproche par réduction pour une classification équitable\footnote{\textit{Reductions approaches to fair classification}} traduit une définition d'équité en termé de contraintes d'inégalités~\cite{reductions}. +Par exemple la partié démographique peut se reformuler de la manière suivante +\begin{equation*} + \left\{ + \begin{matrix} + &E(f\circ X\mid S=0)-E(f\circ X)\leq\epsilon_0\\ + \text{et}&\\ + &-E(f\circ X\mid S=0)+E(f\circ X)\leq\epsilon_1\\ + \end{matrix} + \right. +\end{equation*} +Où $\epsilon_0$ et $\epsilon_1$ ont été rajouté pour relaxer la contrainte permettant de contrôler le compromis entre utilité en confidentialité. +Ensuite ces contraintes sont utilisés avec le problème de minimisation sous la forme d'une lagrangien comme nous l'avons vu à la Section~\ref{sec:background-opti-sous}. + +Pour trouver le point selle Agarwal et al. utilisent en algorithme qui produit un classifieur stochastique\footnote{randomized classifieur}. +C'est un classifieur particulier qui n'est pas déterministe. +Lors de l'apprentissage, plusieurs solutions approchant le point selle sont trouvé qui correspondent à plusieur sous-classifieurs. +Ensuite pour chaque prédiction un choix aléatoire est réalisé pour sélectione l'un des sous-classifieur qui sera évalué sur la donnée d'entré. + +\paragraph{Rééquilibrage adversariel}\footnote{\textit{Adversarial debiasing}} +Cette méthode prend le problème sous un tout autre angle~\cite{10.1145/3278721.3278779}. +Au lieu d'integrer les contraintes d'équitée lors de l'apprantissage, elle utilise l'idée suivante : +La partié démographique signifie que l'attribut sensible est indépendant de la sortie, donc si il est impossible pour un adversaire de prédire l'attribut sensible à partir du logit, le modèle doit satisfaire cette définition. +Cette une remarque très juste que nous allons étudié en détail et démontrer dans les Chapitres~\ref{sec:fini} et~\ref{sec:aia}. + +La méthode de Zhan et al. consiste donc utiliser deux réseaux de neuronnes. +L'un infére la tâche principle, l'autre utilise le logit du premier pour inférer l'attribut sensible nous l'appelons adversaire. +Ces deux classifieur sont entraîné simultanément dans un contexte adversariel. +Cela signifi que la fonction de cout est de la forme +\begin{equation} + \label{eq:background-ml-adv} + C(x) = F(x) - sA(x) +\end{equation} +Où $F$ est le coût du classifieur principale et $A$ celui de l'adversaire. +Nous voyons que minimiser $C$ à tendence à minimiser $F$ et maximiser $A$ ce qui signifie trouver les paramètres du classifieur de la tâche principle qui vas réaliser une bonne classification tout en empêchant l'adversaire d'inférer l'attribut sensible. +L'avantage de cette méthode par rapport aux multiplicateurs de Lagrange est que ici on protège directement le logit au lieu de la prédiction ce qui est plus générale. +Cela serai impossible et génererai une quantité infinie (non-dénombrable) de contraintes si on devais les écrire sous une forme acceptable pour un lagrangien. + +Le principale désantage de cette methode est dans le paramètre $s$ de l'Equation~\ref{eq:background-ml-adv}. +Ce paramètre sert à avoir un bon équilibre entre la tâche principle et contrer l'adversaire. +Cependant, comme Zhang et al. le précise, il est très dificile de le trouver et rentre dans la catégorire de l'optimisation des hyperparamètre des réseaux de neuronnes. -\paragraph{Rééquilibrage adversariel} |