From 57715cacec8d0f0d3d1436a26f92ae5c0f0e128e Mon Sep 17 00:00:00 2001 From: Jan Aalmoes Date: Tue, 27 Aug 2024 21:07:18 +0200 Subject: debut du background sur ZF --- background/eq.tex | 42 ++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 42 insertions(+) create mode 100644 background/eq.tex (limited to 'background/eq.tex') diff --git a/background/eq.tex b/background/eq.tex new file mode 100644 index 0000000..8a76ee7 --- /dev/null +++ b/background/eq.tex @@ -0,0 +1,42 @@ + +\label{sec:bck_fair} +Algorithmic fairness aims at reducing biases in ML model predictions. +Indeed, data records belonging to certain subgroups influence $targetmodel$'s predictions more than others. +For instance in criminal justice, the ethnicity of a culprit plays a non-negligible role in the prediction of them reoffending~\cite{fairjustice}. Generally, data records in the minority subgroup face unfair prediction behaviour compared to data records in the majority subgroup. These subgroups are identified based on a sensitive attribute (e.g., race or sex). +Those biases are learnt by $targetmodel$ as they are part of the distribution of the training dataset. +There is two main categories of fairness of a ML model: + +\textbf{Individual fairness} ensures that two data records with same attributes except for $S$ have the same model prediction. +This notion does not dwell on sensitive attribute and as such is not really useful in our goal of mitigating attribute inference attack at inference time. +So we set it aside for the rest of the paper. + +\textbf{Group fairness} comes from the idea that different subgroups defined by an attribute such a skin color or gender should be treated equally. +We focus our study on group fairness where $S$ represents either sex or race (i.e., $S(i)$ equals to 0 for woman, 1 for man, and 0 for black, 1 for white, respectively). +There are different definitions of group fairness which have been introduced in prior work. +We discuss two well-established and commonly used metrics: demographic parity and equality of odds. + +\begin{definition} +\label{def:dp} + $\hat{Y}$ satisfies demparity for $S$ if and only if: $P(\hat{Y}=0 | S=0) = P(\hat{Y}=0 | S=1)$. + From that, we will call $|P(\hat{Y}=0 | S=0) - P(\hat{Y}=0 | S=1)|$ the demPar-level of $\hat{Y}$. +\end{definition} + +demparity is the historical definition of fairness. +Legally, disparate impact is the fairness definition recognized by law, where 80\% disparity is an agreed upon tolerance decided in the legal arena. +demparity ensures that the number of correct prediction is the same for each population. +However, this may result in different false positive and true positive rates if the true outcome does actually vary with $S$~\cite{dpbad}. +Hardt et al.~\cite{fairmetric2} proposed eo as a modification of demparity to ensure that both the true positive rate and false positive rate will be the same for each population. + +\begin{definition} + \label{def:eo} + $\hat{Y}$, classifier of $Y$, satisfies equality of odds for $S$ if and only if: $\forall (\hat{y},y)\in\{0,1\}^2 \quad + P(\hat{Y}=\hat{y} | S=0,Y=y) = P(\hat{Y}=\hat{y} | S=1,Y=y)$. +\end{definition} + +The above fairness definitions can be achieved using three main fairness mechanisms: (a) pre-processing, (b) in-processing and (c) post-processing. \textit{Pre-processing} algorithms such as reweighing requires access to the training data and assigns weights to the data records to remove discrimination~\cite{preprocessing}. +\textit{In-processing} algorithms such as advdebias~\cite{debiase} and egd~\cite{reductions} add constraint during $targetmodel$'s training to ensure fairness. %reductions +\textit{Post-processing} techniques, in turn, hide the bias in output predictions to satisfy the above fairness constraints but the underlying model is still biased. +Similar to previous work~\cite{chang2021privacy}, we focus on in-processing algorithms. + +Our work focuses on the theoretical guaranties on attribute inference attacks given by the different fairness notions and not so much on how to implement in-processing fairness mechanism. +Nevertheless in the experiment section we try production ready state of the art implementations of those fairness constraints along unconstrained ML algorithm. -- cgit v1.2.3 From faa07a8f3337c5d191597ea9b9587cc0969d663c Mon Sep 17 00:00:00 2001 From: Jan Aalmoes Date: Fri, 13 Sep 2024 00:07:42 +0200 Subject: =?UTF-8?q?avnac=C3=A9=20aia,=20remerciement=20notations,=20notes?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- background/eq.tex | 30 ++++++++++++++++-------------- 1 file changed, 16 insertions(+), 14 deletions(-) (limited to 'background/eq.tex') diff --git a/background/eq.tex b/background/eq.tex index 8a76ee7..446ad95 100644 --- a/background/eq.tex +++ b/background/eq.tex @@ -1,22 +1,24 @@ \label{sec:bck_fair} -Algorithmic fairness aims at reducing biases in ML model predictions. -Indeed, data records belonging to certain subgroups influence $targetmodel$'s predictions more than others. -For instance in criminal justice, the ethnicity of a culprit plays a non-negligible role in the prediction of them reoffending~\cite{fairjustice}. Generally, data records in the minority subgroup face unfair prediction behaviour compared to data records in the majority subgroup. These subgroups are identified based on a sensitive attribute (e.g., race or sex). -Those biases are learnt by $targetmodel$ as they are part of the distribution of the training dataset. -There is two main categories of fairness of a ML model: +L'équitée algorithmique à pour but de réduire les bias dans le modèle prédictif. +En effet, le fait qu'une donnée d'entraînement appratienne à certainne minorité peut avoir un impacte sur la qualitée de la prédiction. +Par exemple en justice prédictie, la couleur de peau d'un peau d'un coupable jou un rôle qui n'est pas négligable dans la prédiction du récidivisme au Etats Unis~\cite{fairjustice}. +Les minoritée sont identifié par un attribut sensible comme la couleur de peau, le genre ou l'orientation sexuelle. +Pour savoir si un attribut est sensible ou non, nous pouvons nous référer à l'observatoire de inégalités. +Ces bias sont appris par le modèle car ils sont présent dans les donnés d'entraînement qui reflète la population dans laquelle ces donnée ont été prélevés. -\textbf{Individual fairness} ensures that two data records with same attributes except for $S$ have the same model prediction. -This notion does not dwell on sensitive attribute and as such is not really useful in our goal of mitigating attribute inference attack at inference time. -So we set it aside for the rest of the paper. +L'équitée en apprantissag automatique se présente sous deux aspect qui mettent lumière deux visions différentes : -\textbf{Group fairness} comes from the idea that different subgroups defined by an attribute such a skin color or gender should be treated equally. -We focus our study on group fairness where $S$ represents either sex or race (i.e., $S(i)$ equals to 0 for woman, 1 for man, and 0 for black, 1 for white, respectively). -There are different definitions of group fairness which have been introduced in prior work. -We discuss two well-established and commonly used metrics: demographic parity and equality of odds. +\textbf{L'équitée individuelle}\footnote{Individual fairness} +cherche à faire en sorte que deux donnée, à toutes choses égale exepté l'attribut sensible, produisent la même prédiction. + +\textbf{L'équitée de groupe}\footnote{Group fairness} +Vient de l'idée que different sous groupes défini par un critère de discrimination devrait être traite de manière similaire. +Il y a différentes définitions mathématiques de l'équite de groupe. +Nous allons en regarder deux qui sont bien établis dans la litérature et souvant utilisé : la paritée demographique\footnote{Demographic parity} et l'équitée de chances\footnote{Equality of odds}. \begin{definition} -\label{def:dp} +\label{def:background-eq-dp} $\hat{Y}$ satisfies demparity for $S$ if and only if: $P(\hat{Y}=0 | S=0) = P(\hat{Y}=0 | S=1)$. From that, we will call $|P(\hat{Y}=0 | S=0) - P(\hat{Y}=0 | S=1)|$ the demPar-level of $\hat{Y}$. \end{definition} @@ -28,7 +30,7 @@ However, this may result in different false positive and true positive rates if Hardt et al.~\cite{fairmetric2} proposed eo as a modification of demparity to ensure that both the true positive rate and false positive rate will be the same for each population. \begin{definition} - \label{def:eo} + \label{def:background-eq-eoo} $\hat{Y}$, classifier of $Y$, satisfies equality of odds for $S$ if and only if: $\forall (\hat{y},y)\in\{0,1\}^2 \quad P(\hat{Y}=\hat{y} | S=0,Y=y) = P(\hat{Y}=\hat{y} | S=1,Y=y)$. \end{definition} -- cgit v1.2.3 From 4aae3ea0427a6c9e9a8519a38d9d9d0ac5f0ec9c Mon Sep 17 00:00:00 2001 From: Jan Aalmoes Date: Sat, 21 Sep 2024 16:27:27 +0200 Subject: fin intro --- background/eq.tex | 99 ++++++++++++++++++++++++++++++++++++++++++++----------- 1 file changed, 79 insertions(+), 20 deletions(-) (limited to 'background/eq.tex') diff --git a/background/eq.tex b/background/eq.tex index 446ad95..b756361 100644 --- a/background/eq.tex +++ b/background/eq.tex @@ -1,12 +1,43 @@ - \label{sec:bck_fair} L'équitée algorithmique à pour but de réduire les bias dans le modèle prédictif. -En effet, le fait qu'une donnée d'entraînement appratienne à certainne minorité peut avoir un impacte sur la qualitée de la prédiction. +C'est-à dire, comment peut on faire en sorte que le modèle ne désavantage pas ou n'avantge pas certain sous-groupes ? +En effet, le fait qu'une donnée appratienne à certainne minorité peut avoir un impacte sur la qualitée de la prédiction. Par exemple en justice prédictie, la couleur de peau d'un peau d'un coupable jou un rôle qui n'est pas négligable dans la prédiction du récidivisme au Etats Unis~\cite{fairjustice}. -Les minoritée sont identifié par un attribut sensible comme la couleur de peau, le genre ou l'orientation sexuelle. -Pour savoir si un attribut est sensible ou non, nous pouvons nous référer à l'observatoire de inégalités. +Pour savoir si un attribut est sensible ou non, non pouvon non referer à la liste des vignt-cinq critère de disrimination présenté à la Section~\ref{sec:contexte-legal-discrimination}. Ces bias sont appris par le modèle car ils sont présent dans les donnés d'entraînement qui reflète la population dans laquelle ces donnée ont été prélevés. +Nous représentons sur la Figure~\ref{fig:background-eq-logi} comment une regression logistique peut présenter une différence de traitement entre deux sous groupe de la population. +Nous observons que comme il y a moins de donnée de femmes, le modèle à appris une courbe qui se rapproche plus des données hommes. +Comme le seuil de ce modèle est situé à $0,5$, nous voyons que tous le points rouges qui correspondent au femmes passent au dessus du seuil représenté par la ligne horizontale grise. +Ainsi, bien que les étiquettes soient répartis équitablement chez les hommes et ches les femmes, le modèle classife toutes les femme dans la classe 1. +Il sagit ici d'un cas scolaire sur des données générés mais supposons que la classe 1 soit désavantageuse. +Par exemple, imaginons que ce modèle soit utilisé dans un programme de rectruement automatique. +La classe 0 implique que le candidat est séléctioné, classe 1 implique que le candidat est réjété. +Alors ce programme serait discriminatoire car bien que 50\% des femme et 50\% des homme ont une étiquette qui les rendent adminssibles, le programme ne sélectione que des candidats hommes. + +\begin{figure} + \centering + \includegraphics[width=0.5\linewidth]{background/figure/eq/reg_unfair.pdf} + \begin{tabular}{|c|c|c|c|} + \hline + &\textbf{Homme}&\textbf{Femme}&\textbf{Total}\\ + \hline + \textbf{Effectif}&100&20&120\\ + \hline + \makecell{ + \textbf{Répartition}\\ + $\#\{Y=0\}/\#\{Y=1\}$} + &10/10&50/50&60/60\\ + \hline + \textbf{Exactitude}&1&0,5&0,92\\ + \hline + \end{tabular} + \caption{Exemple d'un regression logistique qui a une meilleur performance pour le homme que pour les femmes. + Les donnée provienne d'une génération et servent uniquement à titre d'illustration. + La regression logisitque à bien été optimisé sur les donnée générés en utilise l'algorithme de scikit learn~\cite{scikit-learn}} + \label{fig:background-eq-logi} +\end{figure} +\subsubsection{Définitions de l'équitée} L'équitée en apprantissag automatique se présente sous deux aspect qui mettent lumière deux visions différentes : \textbf{L'équitée individuelle}\footnote{Individual fairness} @@ -15,30 +46,58 @@ cherche à faire en sorte que deux donnée, à toutes choses égale exepté l'at \textbf{L'équitée de groupe}\footnote{Group fairness} Vient de l'idée que different sous groupes défini par un critère de discrimination devrait être traite de manière similaire. Il y a différentes définitions mathématiques de l'équite de groupe. -Nous allons en regarder deux qui sont bien établis dans la litérature et souvant utilisé : la paritée demographique\footnote{Demographic parity} et l'équitée de chances\footnote{Equality of odds}. +Nous allons en regarder trois qui sont bien établis dans la litérature et souvant utilisé : l'effet différencié\footnote{disparate impact} la paritée demographique\footnote{Demographic parity} et l'équitée de chances\footnote{Equality of odds}. + +Pour cela nous allons considérer le cadre suivant : +Nous avons un classifieur modélisé par une variable aléatoire $\hat{Y}$ qui essai d'inférer l'étiquette $Y$. +Ces deux variables prennent leurs valeurs dans un ensemble $F$. +De plus, nous avons l'attribut sensible modélisé par $S$ qui prend ses valeurs dans $G$. + +\begin{definition} +\label{def:background-eq-di} + L'\emph{effet différencié} de $\hat{Y}$ est + \begin{equation*} + \frac{P(\hat{Y}=Y\mid S=0)}{P(\hat{Y}=Y\mid S=1)} + \end{equation*} + Cette notion ne fonctionne que pour $F=G=\{0,1\}$. +\end{definition} + +Cette définition est utilisé au Etats Unis pour montrer qu'une structure a une politique de discrimination à l'encontre d'une minorité comme nous l'avons vus à la Section~\ref{sec:contexte-legal}. + \begin{definition} \label{def:background-eq-dp} - $\hat{Y}$ satisfies demparity for $S$ if and only if: $P(\hat{Y}=0 | S=0) = P(\hat{Y}=0 | S=1)$. - From that, we will call $|P(\hat{Y}=0 | S=0) - P(\hat{Y}=0 | S=1)|$ the demPar-level of $\hat{Y}$. + $\hat{Y}$ satisfait la \emph{parité démographique} pour $S$ si et seulement si : $\forall (y,s_1,s_2)\in F\times G\times G~P(\hat{Y}=y | S=s_1) = P(\hat{Y}=y | S=s_2)$. \end{definition} -demparity is the historical definition of fairness. -Legally, disparate impact is the fairness definition recognized by law, where 80\% disparity is an agreed upon tolerance decided in the legal arena. -demparity ensures that the number of correct prediction is the same for each population. -However, this may result in different false positive and true positive rates if the true outcome does actually vary with $S$~\cite{dpbad}. -Hardt et al.~\cite{fairmetric2} proposed eo as a modification of demparity to ensure that both the true positive rate and false positive rate will be the same for each population. +La parité démographique ne prend pas en compte l'étiquette, cette définition est equivalante à dire que l'attribut sensbile est indépendante de la prédiction (même si l'étiquette ne l'est pas). +Cela peut créer de cas où en cherchant à imposer cette metrique, nous obtenons des taux de vrais et de faux positif différents pour les sous groupes~\cite{dpbad}. +Ainsi, la parité demographique peut être repsécté tout en dégradant l'effet différencié. +Il n'est pas nécéssaire que si $\hat{Y}=Y$ (le classifieur infère parfaitement l'étiquette) alors la parite démographique soit respécté. +Chercher à imposer cette définition revient à faire de la discrimination positive. +Pour certaines applications cette effet n'est pas souaitable. +Ainsi Hardt et al.~\cite{fairmetric2} propose de modifier la parité démographique pour prendre en compte l'étiquette ce qui donne la définition suivante : \begin{definition} \label{def:background-eq-eoo} - $\hat{Y}$, classifier of $Y$, satisfies equality of odds for $S$ if and only if: $\forall (\hat{y},y)\in\{0,1\}^2 \quad - P(\hat{Y}=\hat{y} | S=0,Y=y) = P(\hat{Y}=\hat{y} | S=1,Y=y)$. + $\hat{Y}$ satisfait l'équitée des chances pour $S$ si et seulement si : $\forall (\hat{y},y,s_1,s_2)\in E\times E\times G\times G \quad + P(\hat{Y}=\hat{y} | S=s_1,Y=y) = P(\hat{Y}=\hat{y} | S=s_2,Y=y)$. \end{definition} -The above fairness definitions can be achieved using three main fairness mechanisms: (a) pre-processing, (b) in-processing and (c) post-processing. \textit{Pre-processing} algorithms such as reweighing requires access to the training data and assigns weights to the data records to remove discrimination~\cite{preprocessing}. -\textit{In-processing} algorithms such as advdebias~\cite{debiase} and egd~\cite{reductions} add constraint during $targetmodel$'s training to ensure fairness. %reductions -\textit{Post-processing} techniques, in turn, hide the bias in output predictions to satisfy the above fairness constraints but the underlying model is still biased. -Similar to previous work~\cite{chang2021privacy}, we focus on in-processing algorithms. +\subsubsection{Imposer l'équitée comme contrainte d'optimisation} +Ces définitions peuvent être imposé au modèle de trois manières: +\begin{enumerate} + \item Prétraitement\footnote{Preprocessing} : + Le prétraitement consiste à modifier les données avant l'entraînement pour en retirer les bias. + Pour cela le rééquilibrage des poids\footnote{Reweighing} s'attaque au problème des biais en attribuant un poid à chaque donnée pour corrigier le déséquilibre dans un attribut sensible~\cite{preprocessing}. + \item Entraitement\footnote{Inprocessing} : + Ces algorithmes, comme le rééquilibrage adversariel\footnote{Adversarial debiasing}~\cite{debiase} ou la descente de gradient exponentiée\footnote{Exponentiated gradient descent}~\cite{reductions}, modifient l'algorithme d'optimisation du modèle pour impose les définitions équité sous forme d'optimisation sous contrainte. + \item Postraitement\footnote{Postprocessing} : + Cette methode consiste à cacher les biais dans la sortie du modèle. + Le modèle est biaisé mais sa sortie est filtrée. +\end{enumerate} +Comme nous nous intéressons au interaction entre équitée et confidentialité, le Chapitre~\ref{sec:aia} s'inscrit dans la lignée de travaux précédent qui se concentrent sur les méchanismes entraitements~\cite{chang2021privacy}. + +\paragraph{Déscente de gradient exponentiée} -Our work focuses on the theoretical guaranties on attribute inference attacks given by the different fairness notions and not so much on how to implement in-processing fairness mechanism. -Nevertheless in the experiment section we try production ready state of the art implementations of those fairness constraints along unconstrained ML algorithm. +\paragraph{Rééquilibrage adversariel} -- cgit v1.2.3