diff options
Diffstat (limited to 'synthetic/results.tex')
| -rw-r--r-- | synthetic/results.tex | 32 |
1 files changed, 16 insertions, 16 deletions
diff --git a/synthetic/results.tex b/synthetic/results.tex index 129b875..0694e82 100644 --- a/synthetic/results.tex +++ b/synthetic/results.tex @@ -1,6 +1,6 @@ -Dans cette section nous allons analyser l'impacte de l'utilisation des données synthétiques sur la MIA et l'AIA. -La Section~\ref{sec:synth-uti} présente l'utilisé du modèle cible. -Ce facteur de contrôle nous permet de nous assurer que nous modèles apprennent de l'information sur la tâche principale et ne sont pas des CCA. +Dans cette section nous allons analyser l'impact de l'utilisation des données synthétiques sur la MIA et l'AIA. +La Section~\ref{sec:synth-uti} présente l'utilité du modèle cible. +Ce facteur de contrôle nous permet de nous assurer que nos modèles apprennent de l'information sur la tâche principale et ne sont pas des CCA. \subsection{Utilité} \label{sec:synth-uti} @@ -9,33 +9,33 @@ Ce facteur de contrôle nous permet de nous assurer que nous modèles apprennent \centering \includegraphics[width=0.45\textwidth]{synthetic/figure/result/adult/utility.pdf} \caption{ - Utilité du modèle cible en terme d'exactitude équilibrée sur des données non vue à l'entraînement. - Le terme \textit{Real} signifie que le générateur est l'identité, les données synthétiques utilisé pour entraîner le modèle cible sont donc les données réelles. + Utilité du modèle cible en termes d'exactitude équilibrée sur des données non vues à l'entraînement. + Le terme \textit{Real} signifie que le générateur est l'identité, les données synthétiques utilisées pour entraîner le modèle cible sont donc les données réelles. Le terme \textit{Synthetic} signifie que le générateur est un CGAN. Dans ce cas le modèle cible n'est pas entraîné sur des données réelles. } \label{fig:synth-utility} \end{figure} Utiliser les données synthétiques dégrade l'utilité du prédicteur. -Nous présentons l'exactitude équilibrée du modèle cible entraîner avec des données synthétiques et des données réelles dans la Figure~\ref{fig:synth-utility}. +Nous présentons l'exactitude équilibrée du modèle cible entraîné avec des données synthétiques et des données réelles dans la Figure~\ref{fig:synth-utility}. Utiliser les données synthétiques dégrade significativement l'utilité du modèle cible de cinq points avec une p-valeur de l'ANOVA à $1.23\times 10^{-5}$. -Mais avec un minimum de 0,68 d'exactitude équilibré sur les données synthétiques, nous disons que le modèle cible a appris un niveau significatif d'information ce qui rend sensé l'étude de l'AIA et de la MIA. +Mais avec un minimum de 0,68 d'exactitude équilibrée sur les données synthétiques, nous disons que le modèle cible a appris un niveau significatif d'information, ce qui rend sensé l'étude de l'AIA et de la MIA. \subsection{Attaque d'inférence d'appartenance aux données d'entraînement (MIA)} \begin{figure} \centering \includegraphics[width=0.45\textwidth]{synthetic/figure/result/adult/mia.pdf} \caption{ - Succès de la MIA en terme d'exactitude équilibré évalué sur la partie \textit{Évaluation} de la base MIA. + Succès de la MIA en terme d'exactitude équilibrée évalué sur la partie \textit{Évaluation} de la base MIA. } \end{figure} -Nous observons une dégradation de l'exactitude équilibré de la MIA de 30\% en moyenne. +Nous observons une dégradation de l'exactitude équilibrée de la MIA de 30\% en moyenne. La p-valeur de l'ANOVA à $4.54\times 10^{-12}$ indique que cette différence est significative. L'exactitude équilibrée de la MIA passe de 0,86 à 0,55 en utilisant des données synthétiques ce qui indique que, dans ce cas, elles ont servi à protéger l'attribut sensible. -Bien entendu, ce résultat ne concerne que cette méthodologie expérimentale et ne permet pas de conclure que de manière générale les données synthétique empêche la MIA. +Bien entendu, ce résultat ne concerne que cette méthodologie expérimentale et ne permet pas de conclure que de manière générale les données synthétiques empêche la MIA. -De plus, les 5\% d'inférence de la MIA restante peut être du à des point extrêmes qui peuvent être retrouvé par un adversaire~\cite{carlini2022membershipinferenceattacksprinciples}. +De plus, les 5\% d'inférence de la MIA restante peuvent être dus à des points extrêmes, qui peuvent être retrouvés par un adversaire~\cite{carlini2022membershipinferenceattacksprinciples}. \subsection{Attaque d'inférence d'attribut} \begin{figure} @@ -43,15 +43,15 @@ De plus, les 5\% d'inférence de la MIA restante peut être du à des point extr \includegraphics[width=0.45\textwidth]{synthetic/figure/result/adult/aia.pdf} \caption{ Exactitude équilibrée de l'AIA sur la partie \textit{Évaluation} de la base AIA. - La base AIA utilise des points qui n'ont pas été vue à l'entraînement du générateur. + La base AIA utilise des points qui n'ont pas été vus à l'entraînement du générateur. Le modèle cible est entraîné sans utiliser l'attribut sensible. } \label{fig:synth-aia} \end{figure} -L'utilisation des données synthétiques n'a pas d'impacte sur le succès de l'AIA. -Nous présentons à la Figure~\ref{fig:synth-aia} une comparaison des AIA entre modèle cible ayant utilisé des données synthétiques et modèle cible ayant utilise des données réelles. +L'utilisation des données synthétiques n'a pas d'impact sur le succès de l'AIA. +Nous présentons à la Figure~\ref{fig:synth-aia} une comparaison des AIA entre modèle cible ayant utilisé des données synthétiques et modèle cible ayant utilisé des données réelles. -Avec une p-valeur de l'ANOVA de $8.65\times 10^{-1}$ nous observons qu'il n'y à pas de différence significative entre exactitude équilibrée de l'AIA pour donnée réelles et synthétiques. -De plus l'exactitude équilibrée de l'AIA est entre 0,52 et 0,54, nous observons donc un risque mineur mais existant de fuite de l'attribut sensible. +Avec une p-valeur de l'ANOVA de $8.65\times 10^{-1}$ nous observons qu'il n'y a pas de différence significative entre exactitude équilibrée de l'AIA pour données réelles et synthétiques. +De plus, l'exactitude équilibrée de l'AIA est entre 0,52 et 0,54 ; nous observons donc un risque mineur mais existant de fuite de l'attribut sensible. Notre conclusion est donc que l'utilisation de données synthétiques n'est pas suffisant pour mitiger la fuite d'attribut sensible. |