diff options
Diffstat (limited to 'aia')
| -rw-r--r-- | aia/exp.tex | 76 | ||||
| -rw-r--r-- | aia/intro.tex | 10 | ||||
| -rw-r--r-- | aia/prediction.tex | 49 | ||||
| -rw-r--r-- | aia/protection.tex | 6 | ||||
| -rw-r--r-- | aia/protectionv2.tex | 92 |
5 files changed, 188 insertions, 45 deletions
diff --git a/aia/exp.tex b/aia/exp.tex index 6651744..b60b46b 100644 --- a/aia/exp.tex +++ b/aia/exp.tex @@ -1,13 +1,21 @@ { \usebackgroundtemplate{\includegraphics[width=\paperwidth]{images/background/card/background.pdf}} \begin{frame} - %\vspace{70px} + \vspace{30px} \hspace{70px} \begin{minipage}{250px} + \centering \Large \textcolor{accent}{ - Evaluation expérimentale de l'utilisation de l'équitée comme mécanisme de protéction de l'attribut sensible. + Evaluation expérimentale de l'utilisation de l'équité comme mécanisme de protection de l'attribut sensible } + \normalsize + + \vspace{10px} + Et vérification de la formule + \begin{equation*} + \text{max}_{a\in A}BA(a) = \frac{1}{2}(1+DemParLvl) + \end{equation*} \end{minipage} \end{frame} } @@ -20,7 +28,7 @@ \end{frame} \begin{frame} - \frametitle{Experimental validation on prediction: results} + \frametitle{Résultats expérimentaux : attaque de la prédiction} \begin{figure} \captionsetup{singlelinecheck=off} \centering @@ -29,7 +37,7 @@ \scriptsize \begin{itemize} \item \emph{Labeled Faces in the Wild (images)} - \item ML = Convolutional Neural Network + \item ML = Réseau de neurones convolutionnel \end{itemize} \includegraphics[width=150px]{images/figures/advdebias/lfw/lfw_advdeb_attack_hard_sex.pdf} \end{subfigure} @@ -38,37 +46,39 @@ \centering \scriptsize \begin{itemize} - \item \emph{COMPAS recidivism dataset (tabular)} - \item ML = Random Forest + \item \emph{COMPAS récidivisme (tabulaire)} + \item ML = Forêt aléatoire \end{itemize} \includegraphics[width=150px]{images/figures/advdebias/compas/compas_advdeb_attack_hard_sex.pdf} \end{subfigure} \end{figure} \vspace{10px} - \scriptsize - \begin{tabular}{lll} - &\emph{Regularization}&\emph{Value}\\ - \emph{Baseline}&None&Attack result\\ - \emph{Theoretical}&Adversarial debiasing&$\frac{1}{2}(1+DemParLvl)$\\ - \emph{Empirical}&Adversarial debiasing&Attack result\\ - \end{tabular} -\normalsize + %\scriptsize + %\begin{tabular}{lll} + %&\emph{Régularisation}&\emph{Valeur}\\ + %\emph{Baseline}&Néant&Résultat de l'attaque\\ + %\emph{Theoretical}&Rééquilibrage adverse&$\frac{1}{2}(1+DemParLvl)$\\ + %\emph{Empirical}&Rééquilibrage adverse&Résultat de l'attaque\\ + %\end{tabular} +%\normalsize \hspace{10px} -Attack surface = $1_{[\tau,1]}\circ f\circ X$. + Attribut = genre + +Surface d'attaque = $1_{[\tau,1]}\circ f\circ X$. \end{frame} \begin{frame} - \frametitle{Experimental validation on logit: building an attack} + \frametitle{Construction d'une attaque sur le logit} \begin{enumerate} - \item On part. - \item Build a random forest on this dataset. - \item Ajust the threshold to take into account class imbalance. + \item On construit un jeu de données avec le logit et l'attribut sensible + \item On entraîne une forêt aléatoire sur cette base de données + \item On ajuste le seuil pour prendre en compte le déséquilibre de classe \end{enumerate} \end{frame} \begin{frame} - \frametitle{Experimental validation on logit: results} + \frametitle{Résultats expérimentaux : attaque du logit} \begin{figure} \captionsetup{singlelinecheck=off} \centering @@ -77,7 +87,7 @@ Attack surface = $1_{[\tau,1]}\circ f\circ X$. \scriptsize \begin{itemize} \item \emph{Labeled Faces in the Wild (images)} - \item ML = Convolutional Neural Network + \item ML = Réseau de neurones convolutionnel \end{itemize} \includegraphics[width=150px]{images/figures/advdebias/lfw/lfw_advdeb_attack_soft_experimental_sex.pdf} \end{subfigure} @@ -86,21 +96,23 @@ Attack surface = $1_{[\tau,1]}\circ f\circ X$. \centering \scriptsize \begin{itemize} - \item \emph{COMPAS recidivism dataset (tabular)} - \item ML = Random Forest + \item \emph{COMPAS récidivisme (tabulaire)} + \item ML = Forêt aléatoire \end{itemize} \includegraphics[width=150px]{images/figures/advdebias/compas/compas_advdeb_attack_soft_experimental_sex.pdf} \end{subfigure} \end{figure} \vspace{10px} - \scriptsize - \begin{tabular}{lll} - &\emph{Regularization}&\emph{Value}\\ - \emph{Baseline}&None&Attack result\\ - \emph{AdvDebias}&Adversarial debiasing&Attack result\\ - \end{tabular} -\normalsize - \hspace{10px} -Attack surface = $f\circ X$. + %\scriptsize + %\begin{tabular}{lll} + %&\emph{Régularisation}&\emph{Valeur}\\ + %\emph{Baseline}&Néant&Résultat expérimental\\ + %\emph{AdvDebias}&Rééquilibrage adverse&Résultat expérimental\\ + %\end{tabular} +%\normalsize + \hspace{5px} + Attribut = genre + +Surface d'attaque = $f\circ X$. \end{frame} diff --git a/aia/intro.tex b/aia/intro.tex index a8cc780..5a191b7 100644 --- a/aia/intro.tex +++ b/aia/intro.tex @@ -1,5 +1,11 @@ + +\begin{frame} + \frametitle{Positionnement} + \centering + \input{images/tikz/ckoi/pos21} +\end{frame} \begin{frame} - \frametitle{Deux surface d'attaque pour réaliser l'AIA} + \frametitle{Deux surfaces d'attaque pour réaliser l'AIA} \emph{$X$} les données d'entrée. \begin{itemize} \item \textcolor{accent}{Logit} @@ -13,7 +19,7 @@ \begin{align*} \text{argmax}\circ l\circ X \end{align*} - A valeurs dans $\{0,1,\cdots,m\}$. + A valeurs dans $\{0,1,\cdots,m-1\}$. \end{itemize} \vspace{10px} diff --git a/aia/prediction.tex b/aia/prediction.tex index b302f4f..e58b98f 100644 --- a/aia/prediction.tex +++ b/aia/prediction.tex @@ -5,10 +5,15 @@ %\vspace{70px} \hspace{70px} \begin{minipage}{250px} + \centering \Large \textcolor{accent}{ Un nouvel algorithme d'apprentissage ensembliste pour l'AIA. } + + \vspace{20px} + \normalsize + Inférence d'un attribut sensible en utilisant la prédiction du modèle cible \end{minipage} \end{frame} } @@ -22,7 +27,7 @@ \vspace{10px} Question de recherche : - \emph{Comment choisir la meilleur application sans les assayer toutes ?} + \emph{comment choisir la meilleure application sans les essayer toutes ?} \vspace{10px} On cherche $a:F\rightarrow G$ telle que @@ -68,13 +73,13 @@ \begin{definition}[Exactitude\footnote{\textit{Accuracy}}] L'exactitude de $a$ pour prédire $S$ est \begin{equation*} - P(a\circ f\circ X=S) + A(a) = P(a\circ f\circ X=S) \end{equation*} \end{definition} \pause \frametitle{Maximisation de l'exactitude} \begin{theorem} - L'application qui maximise l'éxactitude est + L'application qui maximise l'exactitude est \begin{equation*} a: \left\{ \begin{matrix} @@ -91,10 +96,10 @@ \end{frame} \begin{frame} - \frametitle{Problème avec la maxamisation de l'exactitude} + \frametitle{Problème avec la maximisation de l'exactitude} \begin{minipage}{0.4\linewidth} \begin{tabular}{cccc} - &\textcolor{principale}{Faux Positifs}&\textcolor{principale}{Faux Négatif}&\textcolor{principale}{Exactitude}\\ + &\textcolor{principale}{Faux Positifs}&\textcolor{principale}{Faux Négatifs}&\textcolor{principale}{Exactitude}\\ \textcolor{principale}{$\bigcirc$}&100\%&0\%&100\%\\ \textcolor{principale}{$\bigtriangleup$}&0\%&100\%&0\%\\ \textcolor{principale}{$\times$}&0\%&100\%&0\%\\ @@ -102,7 +107,7 @@ \vspace{20px} \pause - Désequilibre dans les classes\footnote{\textit{Class imbalance}} : + Déséquilibre dans les classes\footnote{\textit{Class imbalance}} : \begin{itemize} \item $P(S=\bigcirc)=\frac{10}{14}\simeq 71\%$ \item $P(S=\bigtriangleup)=\frac{2}{14}\simeq 14\%$ @@ -131,7 +136,7 @@ \frametitle{Maximisation de l'exactitude équilibrée} \begin{definition}[Exactitude équilibrée\footnote{\textit{Balanced accuracy}}] \begin{equation*} - \frac{1}{\#F}\sum_{i\in F}P(a\circ f\circ X=i\mid S=i) + BA(a) = \frac{1}{\#G}\sum_{i\in G}P(a\circ f\circ X=i\mid S=i) \end{equation*} \end{definition} \pause @@ -149,23 +154,23 @@ \end{frame} \begin{frame} - \frametitle{Problème avec la maxamisation de l'exactitude} + \frametitle{Problème avec la maximisation de l'exactitude} \emph{Maximisation de l'exactitude} \vspace{5px} \begin{tabular}{cccc} - &\textcolor{principale}{Faux Positifs}&\textcolor{principale}{Faux Négatif}&\textcolor{principale}{Exactitude}\\ + &\textcolor{principale}{Faux Positifs}&\textcolor{principale}{Faux Négatifs}&\textcolor{principale}{Exactitude}\\ \textcolor{principale}{$\bigcirc$}&100\%&0\%&1\\ \textcolor{principale}{$\bigtriangleup$}&0\%&100\%&0\\ \textcolor{principale}{$\times$}&0\%&100\%&0\\ \end{tabular} \vspace{10px} - \emph{Maximisation de l'exactitude équilibré} + \emph{Maximisation de l'exactitude équilibrée} \vspace{5px} \begin{tabular}{cccc} - &\textcolor{principale}{Faux Positifs}&\textcolor{principale}{Faux Négatif}&\textcolor{principale}{Exactitude}\\ + &\textcolor{principale}{Faux Positifs}&\textcolor{principale}{Faux Négatifs}&\textcolor{principale}{Exactitude}\\ \textcolor{principale}{$\bigcirc$}&0\%&60\%&40\%\\ \textcolor{principale}{$\bigtriangleup$}&25\%&0\%&100\%\\ \textcolor{principale}{$\times$}&25\%&0\%&100\%\\ @@ -173,6 +178,28 @@ \end{frame} \begin{frame} + \frametitle{Evaluation expérimentale de la classification finie} + \begin{figure} + \centering + \begin{subfigure}[t]{0.45\linewidth} + \centering + \includegraphics[width=\linewidth]{images/finit/COMPAS.pdf} + \caption{Prédiction du récidivisme (COMPAS)} + \end{subfigure} + \begin{subfigure}[t]{0.45\linewidth} + \centering + \includegraphics[width=\linewidth]{images/finit/LAW.pdf} + \caption{Prédiction de la réussite à l'examen du barreau (LAW)} + \end{subfigure} + \end{figure} + Les classification finie est + \begin{itemize} + \item \emph{$3\times$ plus rapide} qu'une forêt aléatoire sur (LAW) + \item \emph{$4\times$ plus rapide} qu'une forêt aléatoire sur (COMPAS) + \end{itemize} +\end{frame} + +\begin{frame} \frametitle{Conclusion sur l'AIA de la prédiction} \begin{itemize} \item Nous avons construit une \emph{fonction d'attaque $a$} de $F$, l'ensemble des \emph{prédictions possibles du modèle cible} vers $G$, l'ensemble des \emph{attributs sensibles}. diff --git a/aia/protection.tex b/aia/protection.tex index 8332c35..fd6b571 100644 --- a/aia/protection.tex +++ b/aia/protection.tex @@ -1,3 +1,9 @@ + +\begin{frame} + \frametitle{Positionnement} + \centering + \input{images/tikz/ckoi/pos22} +\end{frame} { \usebackgroundtemplate{\includegraphics[width=\paperwidth]{images/background/card/background.pdf}} \begin{frame} diff --git a/aia/protectionv2.tex b/aia/protectionv2.tex new file mode 100644 index 0000000..121788a --- /dev/null +++ b/aia/protectionv2.tex @@ -0,0 +1,92 @@ + +\begin{frame} + \frametitle{Positionnement} + \centering + \input{images/tikz/ckoi/pos22} +\end{frame} +{ + \usebackgroundtemplate{\includegraphics[width=\paperwidth]{images/background/card/background.pdf}} +\begin{frame} + %\vspace{70px} + \hspace{70px} + \begin{minipage}{250px} + \centering + \Large + \textcolor{accent}{ + Comment protéger l'attribut sensible contre l'AIA ? + } + \normalsize + + \vspace{20px} + Lien entre équité et AIA + \end{minipage} +\end{frame} +} +\begin{frame} + \frametitle{Définitions de l'équité de la protection contre l'AIA} + \begin{definition}[Parité démographique] + $f$ satisfait la parité démographique pour $S$ si et seulement si + \begin{equation*} + P_{(f\circ X,S)}= + P_{f\circ X}\otimes P_S + \end{equation*} + \end{definition} + \pause + \begin{definition}[S est protégé] + $S$ est protégé contre l'AIA sur $f$ si et seulement si + \begin{equation*} + \forall a\in A~ + P_{(a\circ f\circ X,S)}= + P_{a\circ f\circ X}\otimes P_S + \end{equation*} + où $A$ est l'ensemble des fonctions mesurables de $F$ dans $G$. + \end{definition} +\end{frame} + +\begin{frame} + \frametitle{Lien entre l'équité, la confidentialité et l'exactitude équilibrée} + \begin{theorem} + Les trois propositions suivantes sont équivalentes. + \begin{itemize} + \item[$(\alpha)$] $f$ satisfait la parité démographique pour $S$ + \item[$(\beta)$] $S$ est protégé contre l'AIA sur $f$ + \item[$(\gamma)$] $\max_{a\in A} BA(f) = \frac{1}{\#G}$ + \end{itemize} + \end{theorem} +\end{frame} + +\begin{frame} + \frametitle{Eléments de démonstration} + $(\alpha) \iff (\beta)$ grâce au Lemme 4.1 de mon manuscrit de thèse. + \pause + + \begin{align*} + &(\beta)&\\ + \iff&\forall a\in A~P_{(a\circ f\circ X,S)} = + P_{a\circ f\circ X}\otimes P_S&\text{Définition de la protection.}\\ + \iff&\forall a\in A~BA(a) = \frac{1}{\#G}&\text{Théorème 4.2 du manuscrit.}\\ + \iff&\text{max}_{a\in A}BA(a) = \frac{1}{\#G}&\text{Conséquence du Théorème 5.2 du manuscrit.}\\ + \iff&(\gamma)& + \end{align*} + \pause + + Nous avons donc bien $(\alpha)\iff(\beta)\iff(\gamma)$. +\end{frame} + +\begin{frame} + \frametitle{Cas particulier : classification binaire et attribut binaire} + \begin{definition}[Niveau de parité démographique] + \begin{equation*} + DemParLvl = |P(f\circ X=0\mid S=0) - + P(f\circ X=0\mid S=1)| + \end{equation*} + \end{definition} + \pause + \begin{theorem} + \begin{equation*} + \text{max}_{a\in A}BA(a) = + \frac{1}{2}(1+DemParLvl) + \end{equation*} + \end{theorem} +\end{frame} + |