diff options
author | Jan Aalmoes <jan.aalmoes@inria.fr> | 2024-09-26 16:24:21 +0200 |
---|---|---|
committer | Jan Aalmoes <jan.aalmoes@inria.fr> | 2024-09-26 16:24:21 +0200 |
commit | f6ace7aef0747c0e47164c57d8e763d336cb7fe7 (patch) | |
tree | e839d88363d209c328f99650422fe4d2be5d84fe /classification_finie/ba.tex | |
parent | b984c5fec6a078af385a57ac63066172a5c30bd8 (diff) |
Jan check du classification fini
Diffstat (limited to 'classification_finie/ba.tex')
-rw-r--r-- | classification_finie/ba.tex | 76 |
1 files changed, 38 insertions, 38 deletions
diff --git a/classification_finie/ba.tex b/classification_finie/ba.tex index ff0dacd..a9fcb78 100644 --- a/classification_finie/ba.tex +++ b/classification_finie/ba.tex @@ -1,17 +1,17 @@ -Le cas d'un classifieur constant, comme nous l'avons à la Section~\ref{sec:backgroung-ml-classif}, n'est qu'un exemple de Classifieur qui réalise un Choix Aléatoire (CCA). -En anglais la litterature parle en générale de \textit{random guess}~\cite{chicco2021matthews}. -Cependant, à notre conaissance, il n'y a pas de definition mathématique qui unifie l'idée générale de CCA qui est : -un classifieur qui se comporte comme si il n'avait aucune conaissance sur sa tâche de classification. -Un CCA n'est pas un classifieur qui utilise l'aléatoire mais plutot un classifieur hasardeux, comme une personne qui choisirai au hasard. +Le cas d'un classifieur constant, comme nous l'avons à la Section~\ref{sec:background-ml-classif}, n'est qu'un exemple de Classifieur qui réalise un Choix Aléatoire (CCA). +En anglais la littérature parle en générale de \textit{random guess}~\cite{chicco2021matthews}. +Cependant, à notre connaissance, il n'y a pas de définition mathématique qui unifie l'idée générale de CCA qui est : +un classifieur qui se comporte comme si il n'avait aucune connaissance sur sa tâche de classification. +Un CCA n'est pas un classifieur qui utilise l'aléatoire mais plutôt un classifieur hasardeux, comme une personne qui choisirai au hasard. C'est le cas pour un classifieur constant mais aussi pour un classifieur binaire qui tire à pile ou face son résultat. Nous pourrions dire qu'un CCA est un classifieur qui n'utilise pas les données d'entrée. Cependant cela ne prend pas un compte le cas où les données d'entrée ne servent à rien pour la tâche de classification. -Par exemple nous voudrions que notre définition englobe n'importe quelle classifieur qui cherche à prédire la qualitée d'un potimaron à partir la coleur de mes chaussettes le jour pù il a été ramassé. +Par exemple nous voudrions que notre définition englobe n'importe quelle classifieur qui cherche à prédire la qualité d'un potimarron à partir la couleur de mes chaussettes le jour pu il a été ramassé. Nous proposons donc la définition suivante : \begin{definition} Un CCA est un classifieur ayant une prédiction indépendante de l'étiquette. - C'est à dire que pour un classifeur $f: E\rightarrow F$. + C'est à dire que pour un classifieur $f: E\rightarrow F$. Avec une étiquette $Y:\Omega\rightarrow F$ et une entrée $X:\Omega\rightarrow E$. Alors pour $\hat{Y}=f\circ X$, nous avons @@ -21,7 +21,7 @@ Nous proposons donc la définition suivante : \label{lemme:aia-xycca} Soit $(\Omega,\mathcal{T},P)$ un espace probabilisé. Soient $X:(\Omega,\mathcal{T}) \rightarrow (E,\mathcal{E})$ et $Y:\Omega \rightarrow (F,\mathcal{F})$ des variables aléatoires. - Les deux propositions suivantes sont équivalantes : + Les deux propositions suivantes sont équivalentes : \begin{enumerate} \item $P_{(X,Y)} = P_X\otimes P_Y$. \item Toute fonction mesurable $f:(E,\mathcal{T})\rightarrow (F,\mathcal{F})$ est un CCA pour prédire $Y$ à partir de $X$. @@ -32,7 +32,7 @@ Nous proposons donc la définition suivante : Nous allons prouver séparément les deux implications. \paragraph{$(1)\implies(2)$} Nous supposons que $P_{(X,Y)} = P_X\otimes P_Y$. - Soit $f:(E,\mathcal{T})\rightarrow (F,\mathcal{F})$, un fonction mesurerable, + Soit $f:(E,\mathcal{T})\rightarrow (F,\mathcal{F})$, un fonction mesurable, nous allons montrer que $f$ est un CCA, c'est-à dire que $P_{(f\circ X,Y)} = P_{f\circ X}\otimes P_Y$. Soient $(A,B)\in\mathcal{E}\times\mathcal{F}$ @@ -93,13 +93,13 @@ Nous proposons donc la définition suivante : \begin{propriete} \label{prop:CCA_BA} - Les CCA ayant comme image $ F$ ont une \textit{balanced accuracy} égale à $\frac{1}{\# F}$. + Les CCA ayant comme image $ F$ ont une exactitude équilibré égale à $\frac{1}{\# F}$. \end{propriete} \begin{proof} Soit $f: E\rightarrow F$ un CCA. On pause $\hat{Y} = f\circ X$ - La \textit{balanced accuracy} de $f$ est alors + L'exactitude équilibré de $f$ est alors \begin{align*} &\frac{1}{\# F}\sum_{y\in F} P(\hat{Y}=y\mid Y=y)\\ @@ -116,10 +116,10 @@ Nous proposons donc la définition suivante : \end{align*} \end{proof} -La contraposé de la Propositon~\ref{prop:CCA_BA} nous apprend que si la \textit{balanced accuracy} est différente de $0,5$ alors le classifieur n'est pas un CCA. +La contraposé de la Proposition~\ref{prop:CCA_BA} nous apprend que si l'exactitude équilibré est différente de $0,5$ alors le classifieur n'est pas un CCA. - Il est interessant de noter que si un classifieur à une \textit{balanced accuracy} de $\frac{1}{\#F}$ il n'est pas necessaire qu'il soit un CCA. - Pour prouver cette remarque il suffit de trouver un exemple de classifieur ayant une \textit{balanced accuracy} de $\frac{1}{\#F}$ et qui ne soit pas un CCA. + Il est intéressant de noter que si un classifieur à une exactitude équilibré de $\frac{1}{\#F}$ il n'est pas nécessaire qu'il soit un CCA. + Pour prouver cette remarque il suffit de trouver un exemple de classifieur ayant une exactitude équilibré de $\frac{1}{\#F}$ et qui ne soit pas un CCA. Nous appelons $r(a,b)$ le reste de la division euclidienne de $a$ par $b$. Soient les ensembles suivant : @@ -155,8 +155,8 @@ Ainsi que la fonction mesurable suivante qui est l'exemple de classifieur que no \right. \end{equation*} -Montrons que la \textit{balanced accuracy} de $f$ vaut $\frac{1}{3}$. -En notant $\hat{Y} = f\circ X$, nous réprésentons cette situation par le tableau suivant. +Montrons que l'exactitude équilibré de $f$ vaut $\frac{1}{3}$. +En notant $\hat{Y} = f\circ X$, nous représentons cette situation par le tableau suivant. \begin{equation*} \begin{matrix} X&Y&\hat{Y}\\ @@ -173,14 +173,14 @@ En notant $\hat{Y} = f\circ X$, nous réprésentons cette situation par le table \end{equation*} Il nous permet de calculer facilement les quantités suivantes. -Déjà la \textit{balanced accuracy} est égale à $\frac{1}{3}$ car +Déjà l'exactitude équilibré est égale à $\frac{1}{3}$ car $\forall y\in F~P(\hat{Y}=y\mid Y=y)=\frac{1}{3}$. Enfin nous voyons que $f$ n'est pas un CCA car $P(\hat{Y}=1\cap Y=2) = 0$ et $P(\hat{Y}=1)P(Y=2) = \frac{2}{9}\frac{1}{3} = \frac{2}{27}$. Remarquons que le réciproque de la Propriété~\ref{prop:CCA_BA} est vrai dans le cas d'une classifieur binaire, c'est-à dire $\#F=2$. -En effet dans ce cas, supposons que la \textit{balanced accuracy} vale $0,5$, alors +En effet dans ce cas, supposons que l'exactitude équilibré vaille $0,5$, alors \begin{align*} &P(f\circ X=0\mid Y=0)+P(f\circ X=1\mid Y=1) = 1\\ \implies&\left\{ @@ -193,12 +193,12 @@ En effet dans ce cas, supposons que la \textit{balanced accuracy} vale $0,5$, al \implies&\text{$f$ est un CCA} \end{align*} -Bien qu'une \textit{balanced accuracy} égale à $\frac{1}{\#F}$ ne soit pas un critère de CCA, nous pouvons utiliser cette métrique pour savoir si il existe un classifieur qui soit un CCA. -En effet nous avons le resultat suivant : +Bien qu'une exactitude équilibré égale à $\frac{1}{\#F}$ ne soit pas un critère de CCA, nous pouvons utiliser cette métrique pour savoir si il existe un classifieur qui soit un CCA. +En effet nous avons le résultat suivant : \begin{theorem} \label{th:fini-bacca} - En notant $BA(f)$ la \textit{balanced accuracy} de $f$. + En notant $BA(f)$ l'exactitude équilibré de $f$. \begin{equation*} \forall f~BA(f)=\frac{1}{\#F} \iff \forall f~\text{$f$ est un CCA} @@ -238,7 +238,7 @@ En effet nous avons le resultat suivant : P(f\circ X=a\cap Y=b)\neq P(f\circ X=a)P(Y=b) \end{equation*} - Nous définisson les fonctions suivante pour tout $z$ et $z'$, éléments de $F$ : + Nous définissons les fonctions suivante pour tout $z$ et $z'$, éléments de $F$ : \begin{equation*} h_{z,z'}:\left\{ \begin{matrix} @@ -254,18 +254,18 @@ En effet nous avons le resultat suivant : \right. \end{equation*} - $h_{z,z'}$ vas nous permetre et permuter les inférences faitent par $f$. + $h_{z,z'}$ vas nous permettre et permuter les inférences faites par $f$. Ainsi à partir de $f$ nous créons de nouveaux classifieurs. - Soit $\mathcal{H}=\{h_{z,z'}\mid (z,z')\in F^2\}$ nous allons montrer qu'il existe $\#F$-uplet de $\mathcal{H}$, $u$, tel que le classifieur $u_{\#F-1}\circ\cdots\circ u_0\circ f$ ai une \textit{balanced accuracy} différent de $\frac{1}{\#F}$. + Soit $\mathcal{H}=\{h_{z,z'}\mid (z,z')\in F^2\}$ nous allons montrer qu'il existe $\#F$-uplet de $\mathcal{H}$, $u$, tel que le classifieur $u_{\#F-1}\circ\cdots\circ u_0\circ f$ ai une exactitude équilibré différent de $\frac{1}{\#F}$. Considérons la matrice \begin{equation*} M_f(i,j) = P(f\circ X=y_i\mid Y=y_j) \end{equation*} Où $y_\square:\#F\rightarrow F$ est une bijection. - Alors la \textit{balanced accuracy} de $f$ est égale $\frac{\text{Tr}(M)}{\#F}$. - $h_{z,z'}$ peut aussi s'exprimer en terme matriciel. - La fonction suivainte est une bijection : + Alors l'exactitude équilibré de $f$ est égale $\frac{\text{Tr}(M)}{\#F}$. + $h_{z,z'}$ peut aussi s'exprimer en terme matricielle. + La fonction suivante est une bijection : \begin{equation*} \Phi:\left\{ \begin{matrix} @@ -304,7 +304,7 @@ En effet nous avons le resultat suivant : \end{matrix} \end{equation*} - De plus, $M_{h_{y_i,y_j}\circ f}$ correspond à intervertire les lignes des $M_f$, + De plus, $M_{h_{y_i,y_j}\circ f}$ correspond à intervertie les lignes des $M_f$, c'est-à dire que $M_{h_{y_i,y_j}\circ f} = H_{i,j}M_f$. En effet, $h_{y_i,y_j}$ est une bijection telle que $h_{y_i,y_j}^{-1} = h_{y_i,y_j}$. @@ -330,10 +330,10 @@ En effet nous avons le resultat suivant : &=H_{i,j}M_f(k,l) \end{align*} -Ainsi l'existence de $u$ est équivalante à l'existance d'une matrice $H = H_{i_{\#F-1},j_{\#F-1}}\cdots H_{i_0,j_0}$ telle que $\text{Tr}(HM_f)\neq 1$. +Ainsi l'existence de $u$ est équivalente à l'existence d'une matrice $H = H_{i_{\#F-1},j_{\#F-1}}\cdots H_{i_0,j_0}$ telle que $\text{Tr}(HM_f)\neq 1$. Montrons l'existence d'une telle matrice $H$. -Commencons par montrer que pour chaque ligne de $M_f$ il est possible de choisir arbitrairement l'élement de la ligne qui sera dans la diagonale de $HM_f$ tant qu'on ne choisit pas deux fois un élément dans une même colone. +Commençons par montrer que pour chaque ligne de $M_f$ il est possible de choisir arbitrairement l'élément de la ligne qui sera dans la diagonale de $HM_f$ tant qu'on ne choisit pas deux fois un élément dans une même colonne. C'est-à dire montrons que \begin{align*} \{\{M(i,\varphi(i))\mid i\in\#F\}\mid \text{$\varphi$ est une bijection sur $\#F$}\}\\ @@ -366,7 +366,7 @@ Pour montrer l'inclusion précédente, il suffit alors de montrer que Montrons donc que $\forall i\in\#F~M_f(i,\varphi(i))=HM_f(\varphi(i),\varphi(i))$. Soit $i\in\#F$. -$H$ intervertis les lignes de $M_f$, la colone $\varphi(i)$ est à la même place dans $M_f$ et dans $HM_f$. +$H$ intervertis les lignes de $M_f$, la colonne $\varphi(i)$ est à la même place dans $M_f$ et dans $HM_f$. Il suffit donc de montrer que la $i$ème ligne de $M_f$ est la $\varphi(i)$ème de $HM_f$. Isolons les termes qui modifient la position de la $i$ème ligne de $H$. Si $i\geq\varphi(i)$ alors @@ -384,9 +384,9 @@ si $i<\varphi(i)$ alors =&M_f(i,\varphi(i)) \end{align*} -Ainsi grâce à l'Equation~\ref{eq:fini-H}, pour toute bijection sur $\#F$ nous pouvons construir une suite de $\#F$ permutations de lignes telle que la diagonale de la matrice résultante des permutations contienent les éléments sélectionés par la bijections. -Nous allons montrer qu'il existe une séléction d'éléments telle que la somme de ses éléments soit différente de $1$. -Pour ce faire, nous allons montrer la proposition ($\dag$) : si toutes les séléctions donnent une somme égale à $1$ alors necessairement tous les élement de chaque ligne de $M_f$ sont égaux entre eux. +Ainsi grâce à l'Equation~\ref{eq:fini-H}, pour toute bijection sur $\#F$ nous pouvons construire une suite de $\#F$ permutations de lignes telle que la diagonale de la matrice résultante des permutations contiennent les éléments sélectionnés par la bijections. +Nous allons montrer qu'il existe une sélection d'éléments telle que la somme de ses éléments soit différente de $1$. +Pour ce faire, nous allons montrer la proposition ($\dag$) : si toutes les sélections donnent une somme égale à $1$ alors nécessairement tous les éléments de chaque ligne de $M_f$ sont égaux entre eux. Supposons donc, que pour toutes les bijections $\varphi$ sur $\#F$, nous ayons \begin{equation*} @@ -399,7 +399,7 @@ De plus, \sum_{i\in\#F}P(f\circ X=y_i\mid Y=y_j) =1 \end{equation*} -Ces deux conditions impliquent que pour toute ligne $i$ et colone $j$ : +Ces deux conditions impliquent que pour toute ligne $i$ et colonne $j$ : \begin{align*} &\sum_{\varphi\in B(i,j)}\sum_{k\in\#F}M_f(k,\varphi(k)) +\sum_{k\in\#F}M_f(k,j) = (\#F-1)!+1\\ @@ -439,9 +439,9 @@ Et donc, il existe $k\in\#F$ tel que \end{equation*} C'est à dire que $M_f(i,j)=\neq M_f(i,k)$. -D'après la contraposée de la propostion ($\dag$), nous avons une selection $\varphi$ telle que +D'après la contraposée de la proposition ($\dag$), nous avons une sélection $\varphi$ telle que $\sum_{i\in\#F}M(\varphi(i),\varphi(i))\neq 1$. -Donc en définisant $H$ de la même manière qu'à l'Equation~\ref{eq:fini-H} nous avons $\text{Tr}(HM_f)\neq 1$. +Donc en définissant $H$ de la même manière qu'à l'Equation~\ref{eq:fini-H} nous avons $\text{Tr}(HM_f)\neq 1$. Il existe alors un $\#F$-uplet $u\in\mathcal{H}^{\#F}$ tel que , pour \begin{equation*} @@ -455,6 +455,6 @@ Il existe alors un $\#F$-uplet $u\in\mathcal{H}^{\#F}$ tel que \end{proof} -Nous allons construire un classifieur qui maximise la \textit{balanced accuracy}. +Nous allons construire un classifieur qui maximise l'exactitude équilibré. |