1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
|
Dans cette section nous allons analyser l'impact de l'utilisation des données synthétiques sur la MIA et l'AIA.
La Section~\ref{sec:synth-uti} présente l'utilité du modèle cible.
Ce facteur de contrôle nous permet de nous assurer que nos modèles apprennent de l'information sur la tâche principale et ne sont pas des CCA.
\subsection{Utilité}
\label{sec:synth-uti}
\begin{figure}
\centering
\includegraphics[width=0.45\textwidth]{synthetic/figure/result/adult/utility.pdf}
\caption{
Utilité du modèle cible en termes d'exactitude équilibrée sur des données non vues à l'entraînement.
Le terme \textit{Real} signifie que le générateur est l'identité, les données synthétiques utilisées pour entraîner le modèle cible sont donc les données réelles.
Le terme \textit{Synthetic} signifie que le générateur est un CGAN.
Dans ce cas le modèle cible n'est pas entraîné sur des données réelles.
}
\label{fig:synth-utility}
\end{figure}
Utiliser les données synthétiques dégrade l'utilité du prédicteur.
Nous présentons l'exactitude équilibrée du modèle cible entraîné avec des données synthétiques et des données réelles dans la Figure~\ref{fig:synth-utility}.
Utiliser les données synthétiques dégrade significativement l'utilité du modèle cible de cinq points avec une p-valeur de l'ANOVA à $1.23\times 10^{-5}$.
Mais avec un minimum de 0,68 d'exactitude équilibrée sur les données synthétiques, nous disons que le modèle cible a appris un niveau significatif d'information, ce qui rend sensé l'étude de l'AIA et de la MIA.
\subsection{Attaque d'inférence d'appartenance aux données d'entraînement (MIA)}
\begin{figure}
\centering
\includegraphics[width=0.45\textwidth]{synthetic/figure/result/adult/mia.pdf}
\caption{
Succès de la MIA en terme d'exactitude équilibrée évalué sur la partie \textit{Évaluation} de la base MIA.
}
\end{figure}
Nous observons une dégradation de l'exactitude équilibrée de la MIA de 30\% en moyenne.
La p-valeur de l'ANOVA à $4.54\times 10^{-12}$ indique que cette différence est significative.
L'exactitude équilibrée de la MIA passe de 0,86 à 0,55 en utilisant des données synthétiques ce qui indique que, dans ce cas, elles ont servi à protéger l'attribut sensible.
Bien entendu, ce résultat ne concerne que cette méthodologie expérimentale et ne permet pas de conclure que de manière générale les données synthétiques empêche la MIA.
De plus, les 5\% d'inférence de la MIA restante peuvent être dus à des points extrêmes, qui peuvent être retrouvés par un adversaire~\cite{carlini2022membershipinferenceattacksprinciples}.
\subsection{Attaque d'inférence d'attribut}
\begin{figure}
\centering
\includegraphics[width=0.45\textwidth]{synthetic/figure/result/adult/aia.pdf}
\caption{
Exactitude équilibrée de l'AIA sur la partie \textit{Évaluation} de la base AIA.
La base AIA utilise des points qui n'ont pas été vus à l'entraînement du générateur.
Le modèle cible est entraîné sans utiliser l'attribut sensible.
}
\label{fig:synth-aia}
\end{figure}
L'utilisation des données synthétiques n'a pas d'impact sur le succès de l'AIA.
Nous présentons à la Figure~\ref{fig:synth-aia} une comparaison des AIA entre modèle cible ayant utilisé des données synthétiques et modèle cible ayant utilisé des données réelles.
Avec une p-valeur de l'ANOVA de $8.65\times 10^{-1}$ nous observons qu'il n'y a pas de différence significative entre exactitude équilibrée de l'AIA pour données réelles et synthétiques.
De plus, l'exactitude équilibrée de l'AIA est entre 0,52 et 0,54 ; nous observons donc un risque mineur mais existant de fuite de l'attribut sensible.
Notre conclusion est donc que l'utilisation de données synthétiques n'est pas suffisante pour mitiger la fuite d'attribut sensible.
|
