1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
|
\label{sec:bck_fair}
L'équité algorithmique a pour but de réduire les biais dans les modèles prédictifs.
C'est-à-dire, comment peut-on faire en sorte que le modèle ne désavantage pas ou n'avantage pas certains sous-groupes ?
En effet, qu'une donnée appartienne à certaines minorités peut avoir un impact sur la qualité de la prédiction.
Par exemple, en justice prédictive, la couleur de peau d'un coupable joue un rôle qui n'est pas négligeable dans la prédiction du récidivisme aux États-Unis~\cite{fairjustice}.
Pour savoir si un attribut est sensible ou non, nous pouvons nous référer à la liste des vingt-cinq critères de discrimination présentée à la Section~\ref{sec:contexte-legal-discrimination}.
Ces biais sont appris par le modèle car ils sont présents dans les données d'entraînement qui reflètent la population dans laquelle ces données ont été prélevées.
Nous représentons sur la Figure~\ref{fig:background-eq-logi} comment une régression logistique peut présenter une différence de traitement entre deux sous-groupes de la population.
Nous observons que comme il y a moins de données de femmes, le modèle a appris une courbe qui se rapproche plus des données d'hommes.
Comme le seuil de ce modèle est situé à $0,5$, nous voyons que tous les points rouges qui correspondent aux femmes passent au dessus du seuil représenté par la ligne horizontale grise.
Ainsi, bien que les étiquettes soient réparties équitablement chez les hommes et chez les femmes, le modèle classifie toutes les femmes dans la classe 1.
Il s'agit ici d'un cas scolaire sur des données générées mais supposons que la classe 1 soit désavantageuse.
Par exemple, imaginons que ce modèle soit utilisé dans un programme de recrutement automatique.
La classe 0 implique que le candidat est sélectionné, la classe 1 implique que le candidat est rejeté.
Alors ce programme serait discriminatoire car bien que 50\% des femmes et 50\% des hommes aient une étiquette qui les rendent admissibles, le programme ne sélectionne que des candidats hommes.
\begin{figure}
\centering
\includegraphics[width=0.5\linewidth]{background/figure/eq/reg_unfair.pdf}
\begin{tabular}{|c|c|c|c|}
\hline
&\textbf{Homme}&\textbf{Femme}&\textbf{Total}\\
\hline
\textbf{Effectif}&100&20&120\\
\hline
\makecell{
\textbf{Répartition}\\
$\#\{Y=0\}/\#\{Y=1\}$}
&50/50&10/10&60/60\\
\hline
\textbf{Exactitude}&1&0,5&0,92\\
\hline
\end{tabular}
\caption{Exemple d'une régression logistique qui a une meilleure performance pour les hommes que pour les femmes.
Les données proviennent d'une génération et servent uniquement à titre d'illustration.
La régression logistique a bien été optimisée sur les données générées en utilisant l'algorithme de scikit learn~\cite{scikit-learn}}
\label{fig:background-eq-logi}
\end{figure}
\subsubsection{Définitions de l'équité}
L'équité en apprentissage automatique se présente sous deux aspects qui mettent en lumière deux visions différentes :
\textbf{L'équité individuelle}\footnote{\textit{Individual fairness}}
cherche à faire en sorte que deux données, à toutes choses égales, excepté l'attribut sensible, produisent la même prédiction.
\textbf{L'équité de groupe}\footnote{\textit{Group fairness}}
vient de l'idée que différents sous-groupes définis par un critère de discrimination devraient être traités de manière similaire.
Il y a différentes définitions mathématiques de l'équité de groupe.
Nous allons en regarder trois qui sont bien établies dans la littérature et souvent utilisées : l'effet différencié\footnote{\textit{disparate impact}} la parité démographique\footnote{\textit{Demographic parity}} et l'équité des chances\footnote{\textit{Equality of odds}}.
Pour cela nous allons considérer le cadre suivant :
nous avons un classifieur modélisé par une variable aléatoire $\hat{Y}$ qui essaie d'inférer l'étiquette $Y$.
Ces deux variables prennent leurs valeurs dans un ensemble $F$.
De plus, nous avons l'attribut sensible modélisé par $S$ qui prend ses valeurs dans $G$.
\begin{definition}
\label{def:background-eq-di}
L'\emph{effet différencié} de $\hat{Y}$ est
\begin{equation*}
\frac{P(\hat{Y}=Y\mid S=0)}{P(\hat{Y}=Y\mid S=1)}
\end{equation*}
Cette notion ne fonctionne que pour $F=G=\{0,1\}$.
\end{definition}
Cette définition est utilisée aux États-Unis pour montrer qu'une structure a une politique discriminatoire à l'encontre d'une minorité, comme nous l'avons vu à la Section~\ref{sec:contexte-legal}.
\begin{definition}
\label{def:background-eq-dp}
$\hat{Y}$ satisfait la \emph{parité démographique} pour $S$ si et seulement si : $\forall (y,s_1,s_2)\in F\times G\times G~P(\hat{Y}=y | S=s_1) = P(\hat{Y}=y | S=s_2)$.
\end{definition}
La parité démographique ne prend pas en compte l'étiquette, cette définition est équivalente à dire que l'attribut sensible est indépendant de la prédiction (même si l'étiquette ne l'est pas).
Cela peut créer des cas où, en cherchant à imposer cette notion, nous obtenons des taux de vrais et de faux positifs différents pour les sous-groupes~\cite{dpbad}.
Ainsi, la parité démographique peut être respectée tout en dégradant l'effet différencié.
Il n'est pas nécessaire que si $\hat{Y}=Y$ (le classifieur infère parfaitement l'étiquette) alors la parité démographique soit respectée.
Chercher à imposer cette définition peut revenir à faire de la discrimination positive.
Pour certaines applications cet effet n'est pas souhaitable.
Ainsi Hardt et al.~\cite{fairmetric2} proposent de modifier la parité démographique pour prendre en compte l'étiquette, ce qui donne la définition suivante :
\begin{definition}
\label{def:background-eq-eoo}
$\hat{Y}$ satisfait l'\emph{équité des chances} pour $S$ si et seulement si : $\forall (\hat{y},y,s_1,s_2)\in E\times E\times G\times G \quad
P(\hat{Y}=\hat{y} | S=s_1,Y=y) = P(\hat{Y}=\hat{y} | S=s_2,Y=y)$.
\end{definition}
\subsubsection{Imposer l'équité comme contrainte d'optimisation}
\label{sec:background-eq-imp}
Ces définitions peuvent être imposées au modèle de trois manières:
\begin{enumerate}
\item Prétraitement\footnote{\textit{Preprocessing}} :
Le prétraitement consiste à modifier les données avant l'entraînement pour en retirer les biais.
Pour cela le rééquilibrage des poids\footnote{\textit{Reweighting}} attribue un poids à chaque donnée et corrige le déséquilibre en augmentant le poids de certaines données pour qu'elles soient prises en compte de manière plus forte~\cite{preprocessing}.
\item Entraitement\footnote{\textit{Inprocessing}} :
Ces algorithmes, comme le rééquilibrage adverse\footnote{\textit{Adversarial debiasing}}~\cite{debiase} ou la descente de gradient exponentié\footnote{\textit{Exponentiated gradient descent}}~\cite{reductions}, modifient l'algorithme d'optimisation du modèle pour imposer les définitions d'équité sous forme d'un problème d'optimisation sous contraintes.
\item Postraitement\footnote{\textit{Postprocessing}} :
Cette méthode consiste à cacher les biais dans la sortie du modèle.
Le modèle est biaisé mais sa sortie est filtrée.
\end{enumerate}
Comme nous nous intéressons aux interactions entre équité et confidentialité, le Chapitre~\ref{sec:aia} s'inscrit dans la lignée de travaux précédents qui se concentrent sur les mécanismes entraitements~\cite{chang2021privacy}.
Nous allons en présenter deux, que nous allons utiliser dans la suite du manuscrit.
\paragraph{Descente de gradient exponentié}
L'approche par réduction pour une classification équitable\footnote{\textit{Reductions approaches for fair classification}} traduit une définition d'équité en termes de contraintes d'inégalités~\cite{reductions}.
Par exemple, la parité démographique peut se reformuler de la manière suivante
\begin{equation*}
\left\{
\begin{matrix}
&E(f\circ X\mid S=0)-E(f\circ X)\leq\epsilon_0\\
\text{et}&\\
&-E(f\circ X\mid S=0)+E(f\circ X)\leq\epsilon_1\\
\end{matrix}
\right.
\end{equation*}
Où $\epsilon_0$ et $\epsilon_1$ ont été rajoutés pour relaxer la contrainte permettant de contrôler le compromis entre utilité et confidentialité.
Ensuite, ces contraintes sont utilisées avec le problème de minimisation sous la forme d'un lagrangien comme nous l'avons vu à la Section~\ref{sec:background-opti-sous}.
Pour trouver le point selle Agarwal et al. utilisent un algorithme qui produit un classifieur stochastique\footnote{\textit{Randomized classifieur}}.
C'est un classifieur particulier qui n'est pas déterministe.
Lors de l'apprentissage, plusieurs solutions approchant le point selle sont trouvées qui correspondent à plusieurs sous-classifieurs.
Ensuite, pour chaque prédiction, un choix aléatoire est réalisé pour sélectionner l'un des sous-classifieurs qui sera évalué sur la donnée d'entrée.
Il s'agit donc d'une méthode d'apprentissage ensembliste.
Le nom de la méthode vient de l'utilisation de l'algorithme \textit{Exponentiated Gradient}~\cite{kivinen1997exponentiated} pour la résolution du problème dual qui accélère le convergence comparativement à l'algorithme de descente de gradient.
\paragraph{Rééquilibrage adverse}\footnote{\textit{Adversarial debiasing}}
Cette méthode prend le problème sous un tout autre angle~\cite{10.1145/3278721.3278779}.
Au lieu d'intégrer les contraintes d'équité lors de l'apprentissage, elle utilise l'idée suivante :
la parité démographique signifie que l'attribut sensible est indépendant de la sortie, donc s'il est impossible pour un adversaire de prédire l'attribut sensible à partir du logit, le modèle doit satisfaire cette définition.
C'est une remarque très juste que nous allons étudier en détail et démontrer dans les Chapitres~\ref{sec:fini} et~\ref{sec:aia}.
La méthode de Zhan et al. consiste donc à utiliser deux réseaux de neurones.
L'un infère la tâche principale, l'autre utilise le logit du premier pour inférer l'attribut sensible : nous l'appelons adversaire.
Ces deux classifieurs sont entraînés simultanément dans un contexte adverse\footnote{\textit{Adversarial setup}}.
Cela signifie que la fonction de coût est de la forme
\begin{equation}
\label{eq:background-ml-adv}
C(x) = F(x) - sA(x)
\end{equation}
Où $F$ est le coût du classifieur principal et $A$ celui de l'adversaire.
Nous voyons que minimiser $C$ a tendance à minimiser $F$ et maximiser $A$, ce qui signifie trouver les paramètres du classifieur de la tâche principale qui va réaliser une bonne classification tout en empêchant l'adversaire d'inférer l'attribut sensible.
L'avantage de cette méthode par rapport aux multiplicateurs de Lagrange est qu'ici on protège directement le logit au lieu de la prédiction, ce qui est plus général.
Cela serait impossible et générerait une quantité infinie (non-dénombrable) de contraintes si on devait les écrire sous une forme acceptable pour créer un lagrangien.
Le principal désavantage de cette méthode est dans le paramètre $s$ de l'Equation~\ref{eq:background-ml-adv}.
Ce paramètre sert à avoir un bon équilibre entre la tâche principale et contrer l'adversaire.
Cependant, comme Zhang et al. le précisent, il est très difficile de le trouver et rentre dans la catégorie de l'optimisation des hyperparamètres des réseaux de neurones.
|
