blob: c4d4f62090955f28777fbbc7696a3154d735ed97 (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
|
Nous allons réaliser une série d'expériences utilisant les AIA définies plus haut.
Le but est d'observer l'exactitude équilibrée des AIA sur des modèles entraînés pour imposer l'équité.
Pour des attributs sensibles dans un ensemble fini $G$, nous souhaitons observer si entraîner le modèle en imposant la parité démographique rapproche l'exactitude équilibrée de $\frac{1}{\#G}$ ce qui indique une protection de l'attribut sensible d'après le Théorème~\ref{th:aia-dpgood}.
De plus, dans le cas de \AIAHard, nous allons pouvoir vérifier expérimentalement la Propriété~\ref{prop:aia-demparlvl}.
\subsection{Jeux de données}
\label{sec:aia-methodo-jeu}
\paragraph{CENSUS}
Le sondage des Etats-Unis d'Amérique produit tous les dix ans un jeu de données appelé CENSUS contenant les informations de tous les citoyens\footnote{www.census.gov}.
La version que nous avons utilisée contient 30.940 données avec 95 attributs comme le travail occupé, le statut marital etc.
Parmi ces attributs, certains sont sensibles comme la couleur de peau appelée \textit{race} ou le genre appelé \textit{sex}.
Avec ce jeu de données, nous construisons un classifieur cible qui cherche à inférer si un individu gagne plus de 50.000 dollars par an.
\paragraph{COMPAS}
Cette base de données est construite à partir des affaires criminelles aux États-Unis.
Elle est utilisée notamment par les différents algorithmes commerciaux de justice prédictive que nous avons introduits en Section~\ref{sec:contexte-insti}.
Elle contient les données de 6.172 criminels jugés coupables en Floride.
Elle contient sept attributs.
\paragraph{MEPS}
Cette base de données provient du système de santé des États-Unis.
Elle contient l'historique de trajets réalisés par 15.830 patients.
La tâche de classification du modèle cible est de prédire si un patient utilise fortement ou faiblement les services de santé.
\paragraph{LFW}
Cette base de données contient 8.212 images de visages de personnes.
La tâche principale est de classifier si une personne a plus de 35 ans.
\paragraph{Attributs sensibles}
Toutes ces bases de données contiennent les attributs sensibles \textit{race} et \textit{sex}.
Nous rendons binaires ces attributs :
\textit{race} vaut 1 si la personne a la peau noire et 0 sinon ;
\textit{sex} vaut 1 si la personne est une femme et 0 sinon.
\subsection{Cheminement des données}
Pour simuler le modèle de menace, nous séparons chaque base de données de la manière suivante :
chaque base de données est séparée en 80\% d'entraînement et 20\% d'évaluation.
Dans l'entraînement on retire l'attribut sensible et on l'utilise pour entraîner le modèle cible.
Ensuite nous utilisons l'évaluation sans l'attribut sensible pour calculer les prédictions que nous lions ligne par ligne à leur attribut sensible correspondant.
Cela crée la base auxiliaire qui respecte bien les exigences du modèle de menace : les données n'ont pas été utilisées à l'entraînement.
Cette base auxiliaire est ensuite séparée en 80\% d'entraînement et 20\% d'évaluation.
Les 80\% d'entraînement sont utilisés pour construire le modèle d'attaque qui sert à prédire l'attribut sensible à partir de la prédiction du modèle cible.
Les 20\% d'évaluation servent à calculer l'exactitude équilibrée du modèle d'attaque.
Nous reportons dans la Section~\ref{sec:aia-resexp} contenant les résultats expérimentaux.
\begin{figure}
\input{aia/figure/tikz/data}
\caption{Simulation du modèle de menace}
\end{figure}
\subsection{Imposer l'équité}
Nous comparons le succès de l'AIA avec et sans utilisation de mécanisme pour imposer l'équité.
Nous utilisons pour cela les mécanismes décrits à la Section~\ref{sec:background-eq-imp} : L'approche par réduction pour une classification équitable et le rééquilibrage adverse.
Nous imposons la parité démographique, le but de ces expériences étant d'observer si en pratique les mécanismes d'équité permettent de mitiger les AIA.
Ainsi pour l'approche par réduction nous évaluons uniquement \AIAHard~ alors que pour l'approche adverse nous évaluons les deux AIA.
|
