\subsubsection{Espace vectoriel}
Les espaces vectoriels sont des structures fondamentales qui vont nous servir à comprendre comment fonctionne l'entraînement des réseaux de neurones.
\begin{definition}[Groupe]
    Soit $E$ un ensemble et $+$ une opération sur $E$.
    Nous dirons que $(E,+)$ est un groupe si et seulement si
    \begin{enumerate}
        \item $\forall (e,f)\in E^2~e+f\in E$ (loi interne)
        \item $\forall (e,f,g)\in E^2~(e+f)+g=e+(f+g)$
        \item $\exists 0\in E~\forall e\in E~e+0=e\wedge0+e=e$
        \item $\forall a\in E\exists b\in E~a+b=e\wedge b+e=e$
    \end{enumerate}
    Dans le cas où en plus de ces trois points
    $\forall (e,f)\in E^2~e+f=f+e$
    Nous dirons que le groupe $(E,+)$ est abélien.
\end{definition}

\begin{definition}[Espace vectoriel]
    Soit $E$ un ensemble muni d'une loi interne $+$ et d'une loi externe $\cdot:\mathbb{R}\times E\rightarrow E$.
    Sous les conditions suivantes, nous dirons que $(E,+,\cdot)$ est un espace vectoriel.
    \begin{enumerate}
        \item $(E,+)$ est un groupe abélien.
        \item $\forall (r,e,f)\in\mathbb{R}\times E\times E~r(e+f)=re+rf$
        \item $\forall (r,s,e)\in\mathbb{R}\times\mathbb{R}\times E~(r+s)e=re+se$
        \item $\forall (r,s,e)\in\mathbb{R}\times\mathbb{R}\times E~(rs)e=r(se)$
        \item $\forall e\in E~1e=e$
    \end{enumerate}
\end{definition}

Alors $\forall n\in\mathbb{N}~\mathbb{R}^n$ est un espace vectoriel.

\subsubsection{Application linéaire}
\label{sec:background-alg-L}
Soit $E$ et $F$ deux espaces vectoriels.
Une application linéaire $h:E\rightarrow F$ est telle que 
$\forall (r,e,f)\in \mathbb{R}\times E\times E~h(re+f)=rh(e)+h(f)$ 
Et on note $\mathcal{L}(E,F)$ l'ensemble des applications linéaires de $E$ dans $F$.
Si $E=\mathbb{R}^m$ et $F=\mathbb{R}^n$ alors 
la matrice de $f$ est 
\begin{equation*}
    M_f=
    \left(
    \begin{matrix}
        f(e_0)_0&\cdots&f(e_{m-1})_0\\
        \vdots&\vdots&\vdots\\
        f(e_{0})_{n-1}&\cdots&f(e_{m-1})_{n-1}\\
    \end{matrix}
    \right)
\end{equation*}
Où 
\begin{equation*}
    \forall i\in m~e_i=\left(
    \begin{matrix}
        0\\
        \vdots\\
        0\\
        1\\
        0\\
        \vdots\\
        0
    \end{matrix}
    \right)
    \begin{matrix}
        \\
        \\
        \\
        i\\
        \\
        \\
        \\
    \end{matrix}
\end{equation*}
On appellera par la suite $(e_0,\cdots,e_{m-1})$ \emph{base canonique} de $\mathbb{R}^m$.
On note $f(e_j)_i = M_f(i,j)$, c'est l'entrée de $M_f$ se situant à la ligne $i$ et colonne $j$.

\begin{propriete}
    La fonction $M_\square$ est une bijection.
\end{propriete}

Nous appelons $\mathbb{R}_{n,m}$ l'ensemble des matrices à $n$ lignes et $m$ colonnes.

Nous définissons la multiplication matricielle de la manière suivante : 
Soient $f\in\mathcal{L}(\mathbb{R}^m,\mathbb{R}^n)$ et $g\in\mathcal{L}(\mathbb{R}^n,\mathbb{R}^o)$.
Alors 
\begin{equation*}
    M_gM_f=M{g\circ f}
\end{equation*}
\begin{propriete}
\begin{equation*}
    M_gM_f(i,j)=\sum_{k=0}^n M_g(i,k)M_f(k,j)
\end{equation*}
\end{propriete}

\begin{definition}
    \label{def:background-alg-tr}
    Soit $M$ une matrice à $n$ lignes et colonnes.
    Alors nous définissons la trace de $M$ de la manière suivante.
    \begin{equation*}
        \text{Tr}(M)=\sum_{i=0}^{n-1}M(i,i)
    \end{equation*}
\end{definition}