1 files changed, 49 insertions, 0 deletions
diff --git a/background/opti.tex b/background/opti.tex
new file mode 100644
index 0000000..9d346d6
--- /dev/null
+++ b/background/opti.tex
@@ -0,0 +1,49 @@
+L'optimisation est une branche est des mathématiques appliquées qui cherche à trouver les points pour lequels une fonctions réalise un certain nombre d'exigence. 
+Le lecteur pourra se reférer par exemple au libre de Phillipe G. Ciarlet \textit{Introduction à l'analyse numérique matricielle et à l'optimisation}~\cite{ciarlet} pour une présentation très complète d'un grand nombre de techniques.
+Dans ce manuscrit nous ne nous interesseront qu'a deux type de problèmes liées à l'apprantissange automatique et surtout au réseaux de neuronnes.
+Le premier de ces problèmes est la minimisation sans contrainte d'une fonctionelle convexe.
+Cela permet l'entraînement de modèle d'apprantissage automatique à l'aide d'une fonction de coût.
+Le second problème reprend le premier mais y ajoute des contraintes.
+C'est à dire, comme minimise-t'on le coût tout en garantissant certaines conditions ?
+
+\subsubsection{Descente de gradient}
+\label{sec:background-opti-sgd}
+Nous appellons fonctionelles les fonctions $\mathbb{R}^n$ dans $\mathbb{R}$.
+Soit $J$ une fonctionelle convexe, nous cherchons à trouver $x\in\mathbb{R}$ tel que $J(x) = \text{inf}\{J(t)\mid t\in\mathbb{R}\}$.
+
+\begin{figure}
+    \centering
+    \begin{subfigure}{0.45\linewidth}
+        \centering
+        \includegraphics[width=0.66\linewidth]{background/figure/opti/f.pdf}
+        \caption{La suite $u$ approche un minimum locale de la fonction $f$.}
+    \end{subfigure}
+    \hspace{1cm}
+    \begin{subfigure}{0.45\linewidth}
+        \centering
+        \includegraphics[width=0.66\linewidth]{background/figure/opti/conv.pdf}
+        \caption{Convergence des l'écart entre $u$ et le minimum vers $0$ en fonction des itérations.}
+        \label{fig:background-opti-gd}
+    \end{subfigure}
+\end{figure}
+
+
+\begin{figure}
+    \begin{subfigure}{0.3\linewidth}
+    \includegraphics[width=\linewidth]{background/figure/ml/convex/f_local3.1.pdf}
+    \caption{L'algorithme tombe dans un minimum locale ($u_0=3,1$).}
+    \end{subfigure}
+    \begin{subfigure}{0.3\linewidth}
+    \includegraphics[width=\linewidth]{background/figure/ml/convex/f_local8.28.pdf}
+    \caption{L'algorithme tombe dans un minimum globale ($u_0=8,28$).}
+    \end{subfigure}
+    \begin{subfigure}{0.3\linewidth}
+    \includegraphics[width=\linewidth]{background/figure/ml/convex/conv_local.pdf}
+    \caption{Convergence vers un minimum locale et globale.}
+    \end{subfigure}
+    \caption{Impacte de la convexité sur la convergence.}
+    \label{fig:background-opti-cvx}
+\end{figure}
+\subsubsection{Multiplicateurs de Lagrange}
+
+\paragraph{Descente de gradient exponentiée}