From 07b4490dc63504079a5904cd42ab1ec6015cfb76 Mon Sep 17 00:00:00 2001 From: Jan Aalmoes Date: Fri, 27 Sep 2024 15:14:05 +0200 Subject: =?UTF-8?q?AJout=20des=20r=C3=A9sultats=20aia=20et=20de=20l'interp?= =?UTF-8?q?r=C3=A9tation?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- aia/theo.tex | 92 +++++++++++++++++++++++++++++++----------------------------- 1 file changed, 47 insertions(+), 45 deletions(-) (limited to 'aia/theo.tex') diff --git a/aia/theo.tex b/aia/theo.tex index 3b8e49d..6d19da2 100644 --- a/aia/theo.tex +++ b/aia/theo.tex @@ -1,40 +1,40 @@ -\subsection{Utiliser l'équitée pour mitiger les AIA} -Commencons par présenter le résultat le plus générale, qui fonctionne aussi bien pour des modèle de classification que pour des regression. -Ce résultats est aussi indépendant du type d'attribut binaire, quantitatif au qualitatif. +\subsection{Utiliser l'équité pour mitiger les AIA} +Commençons par présenter le résultat le plus générale, qui fonctionne aussi bien pour des modèles de classifications que pour des régressions. +Ce résultat est aussi indépendant du type d'attribut binaire, quantitatif au qualitatif. \begin{theorem} \label{th:aia-dpgood} - Les deux propositions suivantes sont équivalantes : + Les deux propositions suivantes sont équivalentes : \begin{enumerate} - \item Le modèle cible satisfait la démographic parity + \item Le modèle cible satisfait la parité démographique . \item Toutes les attaques utilisant la prédiction pour inférer l'attribut sensible sont des CCA. \end{enumerate} - Et aussi, les deux propositions suivantes sont équivalantes : + Et aussi, les deux propositions suivantes sont équivalentes : \begin{enumerate} - \item Le modèle cible satisfait la démographic parity généraliée - \item Toutes les attaques utilisants le logit pour inférer l'attribut sensible sont des CCA. + \item Le modèle cible satisfait la parité démographique généralisée. + \item Toutes les attaques utilisant le logit pour inférer l'attribut sensible sont des CCA. \end{enumerate} \end{theorem} \begin{proof} - Par définition, la \textit{demographic parity} (respectivement généralisée) est equivalante à l'inpépendance entre l'attribut sensible et la prediction (respectivement le logit). - Ainsi, d'après le Lemme~\ref{lemme:aia-xycca} dire que tout classifieur de l'attribute sensible utilisant la prédiction (respectivement le logit) est un CCA est équivalant à dire que le modèle cible respecte la \textit{demographic parity} (respectivement généralisée). + Par définition, la parité démographique (respectivement généralisée) est équivalente à l'indépendance entre l'attribut sensible et la prédiction (respectivement le logit). + Ainsi, d'après le Lemme~\ref{lemme:aia-xycca} dire que tout classifieur de l'attribut sensible utilisant la prédiction (respectivement le logit) est un CCA est équivalant à dire que le modèle cible respecte la parité démographique (respectivement généralisée). \end{proof} -Ce résultat nous apprend que s'assurer que le modèle cible satisfait la \textit{demographic parity} permet de s'assurer que les attribut sensible des utilisateur soient protégé lors de l'utilisation du modèle. -Dans le cas d'un modèle cible qui réalise une classifiction binaire et en considérant un attribut binaire nous avons une propriété plus précise. +Ce résultat nous apprend que s'assurer que le modèle cible satisfait la parité démographique permet de s'assurer que les attributs sensibles des utilisateur sont protégés lors de l'utilisation du modèle. +Dans le cas d'un modèle cible qui réalise une classification binaire et en considérant un attribut binaire nous avons une propriété plus précise. \begin{propriete} \label{prop:aia-demparlvl} Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé et $(\{0,1\}$, $\mathcal{P}(\{0,1\}))$ des espaces mesurables. Soit les variables aléatoires suivantes \begin{itemize} - \item L'étiquette $Y:(\Omega,\mathcal{T})\rightarrow (\{0,1\},\mathcal{P}(\{0,1\})$ - \item La donnée d'entrée $X:(\Omega,\mathcal{T})\rightarrow (F,\mathcal{F})$ - \item L'attribute sensible $S:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\}))$ - \item L'attaque $a:(\Omega,\mathcal{T})\rightarrow\mathcal{P}(\{0,1\}))$ - \item Le modèle cible $f:(\Omega,\mathcal{T})\rightarrow\mathcal{P}(\{0,1\}))$ + \item L'étiquette $Y:(\Omega,\mathcal{T})\rightarrow (\{0,1\},\mathcal{P}(\{0,1\}))$ + \item La donnée d'entrée $X:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\})$ + \item L'attribut sensible $S:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\}))$ + \item L'attaque $a:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\}))$ + \item Le modèle cible $f:(\Omega,\mathcal{T})\rightarrow(\{0,1\},\mathcal{P}(\{0,1\}))$ \end{itemize} Alors nous avons \begin{equation*} @@ -46,11 +46,13 @@ Dans le cas d'un modèle cible qui réalise une classifiction binaire et en cons On pause $\hat{Y}=f\circ X$. L'ensemble $A$ des fonction de $\{0,1\}$ vers $\{0,1\}$ contient quatre éléments : $a_0=0$, $a_1=id$, $a_2=1-id$ et $a,3=1$. - Pour chaque attaque $a\in A$ la \textit{balanced accuracy} de $a$ est -$BA(a) = \frac{1}{2}(P(a\circ \hat{Y}=0|S=0) + P(a\circ \hat{Y}=1|S=1))$. + Pour chaque attaque $a\in A$ l'exactitude équilibré de $a$ est + \begin{equation*} + BA(a) = \frac{1}{2}(P(a\circ \hat{Y}=0|S=0) + P(a\circ \hat{Y}=1|S=1)) + \end{equation*} Nous avons $BA(b_0) = BA(b_3) = \frac{1}{2}$ il n'est donc pas nécessaire de considérer ces éléments pour résoudre le problème d'optimisation. Ce problème s'écrit $\text{max}_{a\in A}BA(a)) = \text{max}(BA(a_1), BA(a_2))$. -Nous remarquon que $a_1\circ \hat{Y}=\hat{Y}$ et $a_2\circ \hat{Y}=1 - \hat{Y}$. +Nous remarquons que $a_1\circ \hat{Y}=\hat{Y}$ et $a_2\circ \hat{Y}=1 - \hat{Y}$. Ainsi, { \begin{align*} @@ -67,7 +69,7 @@ et Donc, { \begin{align*} - &\text{max}_{a\in B}BA(a) \\ + &\text{max}_{A\in B}BA(a) \\ = &\frac{1}{2}\left(1+\text{max}\left( \begin{matrix} P(\hat{Y}=0|S=0) -P(\hat{Y}=1|S=1)\\ @@ -79,12 +81,12 @@ Donc, } \end{proof} -Ainsi pour le classifieur binaire avec attribut sensbile binaire, il est suffisant de calculer le DemParLvl du modèle cible pour connaitre le maximum de \textit{balanced accuracy} ateignable par n'importe quelle attaque. -De plus, nous voyons que la \textit{balanced accuracy} maximial d'attaque vaut ${1}{2}$ si et seulement si $\text{DemParLvl}=0$. -C'est à dire que $f$ satisfait DemPar est équivalant à dire que tout attaque à une \textit{balanced accuracy} égale à $\frac{1}{2}$. +Ainsi pour le classifieur binaire avec attribut sensible binaire, il est suffisant de calculer le DemParLvl du modèle cible pour connaître le maximum d'exactitude équilibré atteignable par n'importe quelle attaque. +De plus, nous voyons que l'exactitude équilibré maximale d'attaque vaut ${1}{2}$ si et seulement si $\text{DemParLvl}=0$. +C'est à dire que $f$ satisfait la parité démographique est équivalant à dire que tout attaque à une exactitude équilibré égale à $\frac{1}{2}$. -Grâce au Théorème~\ref{th:aia-dpgood} nous savons aussi que tout autre définition d'équtiée qui n'implique pas la paritée démographique ne permet pas de mitiger les AIA. -Par exemple, nous allons montrer un cas ou l'égalitée des chances de la Définition~\ref{def:background-eq-eoo} est satisfaite mais om il existe une AIA qui donne une exactitude équillibrée suppérieur $0,5$. +Grâce au Théorème~\ref{th:aia-dpgood} nous savons aussi que tout autre définition d'équité qui n'implique pas la parité démographique ne permet pas de mitiger les AIA. +Par exemple, nous allons montrer un cas ou l'égalité des chances de la Définition~\ref{def:background-eq-eoo} est satisfaite mais où il existe une AIA qui donne une exactitude équilibré supérieur $0,5$. On représente le classifieur $\hat{Y}$ de l'étiquette $Y$ ainsi que la donnée d'entrée $X$ et l'attribut sensible $S$ dans le tableau suivant : \begin{equation*} @@ -100,12 +102,12 @@ On représente le classifieur $\hat{Y}$ de l'étiquette $Y$ ainsi que la donnée 1&1&1&0\\ \end{matrix} \end{equation*} -Nous utilisons le modèle cible utilisé est $\hat{Y}=id\circ X$. -Ce classifieur satisfait l'équitée des chances car +Nous utilisons le modèle cible $\hat{Y}=id\circ X$. +Ce classifieur satisfait l'équité des chances car $P(\hat{Y}=0\mid Y=0\wedge S=0) = P(\hat{Y}=0\mid Y=0\wedge S=1) = 1$ et $P(\hat{Y}=0\mid Y=1\wedge S=0) = P(\hat{Y}=0\mid Y=1\wedge S=1) = 0$. -Alors si on choisit comme modèle d'attaque la fonctione identitée, nous avont comme accuracy de l'AIA $0,75$ ce qui indique une fuite de l'attribut sensible. +Alors si on choisit comme modèle d'attaque la fonction identité, nous avons comme exactitude équilibré de l'AIA $0,75$ ce qui indique une fuite de l'attribut sensible. %De manière plus précises et plus générale nous avancons le théorème suivant : %\begin{theorem} @@ -144,23 +146,23 @@ Alors si on choisit comme modèle d'attaque la fonctione identitée, nous avont %We can do the same computing for $S=0$ and obtain a similar conclusion. %\end{proof} % -\subsection{Utiliser l'AIA pour contrôler le niveau d'équitée} +\subsection{Utiliser l'AIA pour contrôler le niveau d'équité} \label{sec:aia-theo-aia-eq} -De manière réciproque, le lien que nous avons démontré peut ausi être utilié dans le cas suivant. -Imaginons qu'un fournisseur de modèle d'IA ou un organisme de régulation comme la Défensseure des Droit souhaite contrôler si un modèle est équitable ou non. -Si $\#F$ ou $\#G$ sont grands voir de cardinaux infinis, vérifier diréctement des propriétés d'indépendances entre la sortie du modèle et des attributs sensible peut entraîner un coût de calcul trop élevé pour être faisable~\cite{ofverstedt2022fast}. +De manière réciproque, le lien que nous avons démontré peut aussi être utilité dans le cas suivant. +Imaginons qu'un fournisseur de modèle d'IA ou un organisme de régulation comme la Défenseure des Droit souhaite contrôler si un modèle est équitable ou non. +Si $\#F$ ou $\#G$ sont grands voir de cardinaux infinis, vérifier directement des propriétés d'indépendances entre la sortie du modèle et des attributs sensible peut entraîner un coût de calcul trop élevé pour être faisable~\cite{ofverstedt2022fast}. Grâce au Théorème~\ref{th:aia-dpgood} nous avons la garantie que que si toutes les modèles AIA ont une exactitude équilibrée égale à $\frac{1}{\#F}$ alors le modèle cible satisfait la parité démographique. -Bien sûre cette technique atteint sa limite si $\#G$ est infini car alors l'exactitude équliibrée n'est plus définie. +Bien sûre cette technique atteint sa limite si $\#G$ est infini car alors l'exactitude équilibré n'est plus définie. -Calculer l'exactitude équilibrée de toutes les modèles d'AIA est impossible. -Nous allons voir que si l'AIA qui donne une exactitdue équilibrée maximal vaut $\frac{1}{\#F}$ alors c'est le cas pour toutes. +Calculer l'exactitude équilibrée de tous les modèles d'AIA est impossible. +Nous allons voir que si l'AIA qui donne une exactitude équilibré maximal vaut $\frac{1}{\#F}$ alors c'est le cas pour toutes. \begin{theorem} \label{th:aia-bluey} Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé. - Soient $(E,\mathcal{E})$ et $(F,\mathcal{P}(F))$ des espaces mesurables avec $F$ un esemble fini. - Soient les varibles aléatoires suivantes : + Soient $(E,\mathcal{E})$ et $(F,\mathcal{P}(F))$ des espaces mesurables avec $F$ un ensemble fini. + Soient les variables aléatoires suivantes : \begin{itemize} \item $X:\Omega\rightarrow E$ \item $Y:\Omega\rightarrow F$ @@ -186,8 +188,8 @@ Nous allons voir que si l'AIA qui donne une exactitdue équilibrée maximal vaut On note $S_{\#F}$ l'ensemble des bijections de $\#F$ sur lui-même. Montrons qu'il existe $\varphi\in S_{\#F}$ telle que $\sum_{j\in\#F}M(\varphi(j),j) >1$. - Raisonons par l'absurde. - Nous supposont que + Raisonnons par l'absurde. + Nous supposons que \begin{equation*} \forall \varphi\in S_{\#F}~\sum_{j\in\#F}M(\varphi(j),j)<1 \end{equation*} @@ -218,14 +220,14 @@ Nous allons voir que si l'AIA qui donne une exactitdue équilibrée maximal vaut \end{proof} -Nous allons utiliser ce théorème pour montrer que si l'AIA maximale à une exactidue équilibrée égale à $\frac{1}{\#G}$ alors toutes les AIA ont la même éxactiture equilibrée. -On se donne $A$ l'ensemble des fonctions mesurable de $(F,\mathcal{F}$ dans $(G,\mathcal{P}(G)$. +Nous allons utiliser ce théorème pour montrer que si l'AIA maximale à une exactitude équilibré égale à $\frac{1}{\#G}$ alors toutes les AIA ont la même exactitude équilibré. +On se donne $A$ l'ensemble des fonctions mesurable de $(F,\mathcal{F})$ dans $(G,\mathcal{P}(G))$. $A$ modélise l'ensemble des AIA possibles pour un modèle cible qui prédit dans $F$ et un attribut sensible dans $G$, un ensemble fini. Supposons que $\text{max}_{a\in A} BA(a)=\frac{1}{\#G}$. Alors $\forall a\in A~BA(a)\leq\frac{1}{\#G}$. D'après la contraposée du Théorème~\ref{th:aia-bluey} nous avons alors $\forall a\in A~BA(a)\geq\frac{1}{\#G}$. Ainsi $\forall a\in A~BA(a)=\frac{1}{\#G}$. -Pour contrôler si un classifieur vérifie la paritée demographique il est donc suffisant de connaitre l'exactitude équilibrée maximial de toutes les AIA. -Comme nous venons de le voir, si cette valuer vaut $\frac{1}{\#G}$ alors le classifieur satisfait la paritée démographique. -La recherche d'une AIA qui maximise l'exactitude équilibrée est discuté à la Section~\ref{sec:aia-aia}. +Pour contrôler si un classifieur vérifie la parité démographique il est donc suffisant de connaître l'exactitude équilibré maximale de toutes les AIA. +Comme nous venons de le voir, si cette valeur vaut $\frac{1}{\#G}$ alors le classifieur satisfait la parité démographique. +La recherche d'une AIA qui maximise l'exactitude équilibré est discuté à la Section~\ref{sec:aia-aia}. -- cgit v1.2.3