diff options
Diffstat (limited to 'synthetic/results.tex')
| -rw-r--r-- | synthetic/results.tex | 71 |
1 files changed, 37 insertions, 34 deletions
diff --git a/synthetic/results.tex b/synthetic/results.tex index ec3149a..129b875 100644 --- a/synthetic/results.tex +++ b/synthetic/results.tex @@ -1,54 +1,57 @@ -In this section we analyse the impact of using synthetic data instead of real data on MIA and AIA. -Section~\ref{sec:uti} presents the utility of the target. -This control factor allows us to assess that every model has learned some level of information and is not random guessing the label. +Dans cette section nous allons analyser l'impacte de l'utilisation des données synthétiques sur la MIA et l'AIA. +La Section~\ref{sec:synth-uti} présente l'utilisé du modèle cible. +Ce facteur de contrôle nous permet de nous assurer que nous modèles apprennent de l'information sur la tâche principale et ne sont pas des CCA. - -\subsection{Utility} -\label{sec:uti} +\subsection{Utilité} +\label{sec:synth-uti} \begin{figure} \centering \includegraphics[width=0.45\textwidth]{synthetic/figure/result/adult/utility.pdf} - \caption{Utility of the target model in terms of balanced accuracy evaluated on unseen data. - The "Real" label refers to a generator equal to identity, hence the synthetic data used to train the target model is the real data. - The "Synthetic" label refers to a CGAN generator, hence the synthetic data are sampled according to a distribution learned by the generator model. - In this case the target model is not trained on real date.} - \label{fig:utility} + \caption{ + Utilité du modèle cible en terme d'exactitude équilibrée sur des données non vue à l'entraînement. + Le terme \textit{Real} signifie que le générateur est l'identité, les données synthétiques utilisé pour entraîner le modèle cible sont donc les données réelles. + Le terme \textit{Synthetic} signifie que le générateur est un CGAN. + Dans ce cas le modèle cible n'est pas entraîné sur des données réelles. + } + \label{fig:synth-utility} \end{figure} -Using synthetic dataset degrades the utility of the predictor. -We present the balanced accuracy for both synthetic and real data in Figure~\ref{fig:utility}. +Utiliser les données synthétiques dégrade l'utilité du prédicteur. +Nous présentons l'exactitude équilibrée du modèle cible entraîner avec des données synthétiques et des données réelles dans la Figure~\ref{fig:synth-utility}. -Using synthetic data degrades significatively the utility of the target model by 5\% with an anova p-value of $1.23\times 10^{-5}$. -But with a minimum of 0.68 of balanced accuracy on synthetic data, we argue that the target model has learned a level of information that gives a meaningful result in terms of AIA and MIA. +Utiliser les données synthétiques dégrade significativement l'utilité du modèle cible de cinq points avec une p-valeur de l'ANOVA à $1.23\times 10^{-5}$. +Mais avec un minimum de 0,68 d'exactitude équilibré sur les données synthétiques, nous disons que le modèle cible a appris un niveau significatif d'information ce qui rend sensé l'étude de l'AIA et de la MIA. -\subsection{Membership inference attack} +\subsection{Attaque d'inférence d'appartenance aux données d'entraînement (MIA)} \begin{figure} \centering \includegraphics[width=0.45\textwidth]{synthetic/figure/result/adult/mia.pdf} - \caption{Success of the MIA in terms of balanced accuracy evaluated on the Train part of MIA dataset.} + \caption{ + Succès de la MIA en terme d'exactitude équilibré évalué sur la partie \textit{Évaluation} de la base MIA. + } \end{figure} -We observe a degradation of the balanced accuracy of the MIA of 30\% on average. -An anova p-value of $4.54\times 10^{-12}$ indicates the this difference is significative. -In addition we observe that using synthetic data over real data results in drop of balanced accuracy from 0.86 to 0.55. -We conclude that using synthetic data protects significantly the membership status of the majority of data records. +Nous observons une dégradation de l'exactitude équilibré de la MIA de 30\% en moyenne. +La p-valeur de l'ANOVA à $4.54\times 10^{-12}$ indique que cette différence est significative. +L'exactitude équilibrée de la MIA passe de 0,86 à 0,55 en utilisant des données synthétiques ce qui indique que, dans ce cas, elles ont servi à protéger l'attribut sensible. +Bien entendu, ce résultat ne concerne que cette méthodologie expérimentale et ne permet pas de conclure que de manière générale les données synthétique empêche la MIA. -But this result does not mean that the membership status is protected. -The remaining 5\% left is due to outliers in the dataset that can be identified by an attacker~\cite{carlini2022membershipinferenceattacksprinciples}. +De plus, les 5\% d'inférence de la MIA restante peut être du à des point extrêmes qui peuvent être retrouvé par un adversaire~\cite{carlini2022membershipinferenceattacksprinciples}. -\subsection{Attribute inference attack} +\subsection{Attaque d'inférence d'attribut} \begin{figure} \centering \includegraphics[width=0.45\textwidth]{synthetic/figure/result/adult/aia.pdf} - \caption{Success of the AIA in terms of balanced accuracy evaluated on the Train part of AIA dataset. - The AIA dataset is made of points that have not been seen during training of the target model. - The target model does not use the sensitive attribute.} - - \label{fig:aia} + \caption{ + Exactitude équilibrée de l'AIA sur la partie \textit{Évaluation} de la base AIA. + La base AIA utilise des points qui n'ont pas été vue à l'entraînement du générateur. + Le modèle cible est entraîné sans utiliser l'attribut sensible. + } + \label{fig:synth-aia} \end{figure} -Using synthetic dataset does not have an impact on the success of attribute inference attack. -We present in Figure~\ref{fig:aia} a comparison of AIA between real and synthetic data. +L'utilisation des données synthétiques n'a pas d'impacte sur le succès de l'AIA. +Nous présentons à la Figure~\ref{fig:synth-aia} une comparaison des AIA entre modèle cible ayant utilisé des données synthétiques et modèle cible ayant utilise des données réelles. -With an anova p-value of $8.65\times 10^{-1}$ we observe that whether we use synthetic or real data does not impact attribute privacy inference. -In addition, with an attack balanced accuracy ranging from 0.52 to 0.54, we observe a slight but certain risk for attribute leakage. -Hence, we conclude that using synthetic data does not protect users against AIA. +Avec une p-valeur de l'ANOVA de $8.65\times 10^{-1}$ nous observons qu'il n'y à pas de différence significative entre exactitude équilibrée de l'AIA pour donnée réelles et synthétiques. +De plus l'exactitude équilibrée de l'AIA est entre 0,52 et 0,54, nous observons donc un risque mineur mais existant de fuite de l'attribut sensible. +Notre conclusion est donc que l'utilisation de données synthétiques n'est pas suffisant pour mitiger la fuite d'attribut sensible. |