1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
|
\subsubsection{Espace vecotriel}
Les espaces vectoriels sont des structure fondamentales qui vont nous servir à comprendre comment fonctionne l'entraînement des réseaux de neurones.
\begin{definition}{Groupe}
Soit $E$ un ensemble et $+$ une opération sur $E$.
Nous dirons que $(E,+)$ est un groupe si et seulement si
\begin{enumerate}
\item $\forall (e,f)\in E^2~e+f\in E$ (loi interne)
\item $\forall (e,f,g)\in E^2~(e+f)+g=e+(f+g)$
\item $\exists 0\in E~\forall e\in E~e+0=e\wedge0+e=e$
\item $\forall a\in E\exists b\in E~a+b=e\wedge b+e=e$
\end{enumerate}
Dans le cas où en plus de ces trois points
$\forall (e,f)\in E^2~e+f=f+e$
Nous dirons que le groupe $(E,+)$ est abélien.
\end{definition}
\begin{definition}{Espace vectoriel}
Soit $E$ un ensemble munit d'une loi interne $+$ et d'une loi externe $\cdot:\mathbb{R}\times E\rightarrow E$.
Sout les conditions suivantes, nous dirons que $(E,+,\cdot)$ est un espace vectoriel.
\begin{enumerate}
\item $(E,+)$ est un groupe abélien.
\item $\forall (r,e,f)\in\mathbb{R}\times E\times E~r(e+f)=re+rf$
\item $\forall (r,s,e)\in\mathbb{R}\times\mathbb{R}\times E~(r+s)e=re+se$
\item $\forall (r,s,e)\in\mathbb{R}\times\mathbb{R}\times E~(rs)e=r(se)$
\item $\forall e\in E~1e=e$
\end{enumerate}
\end{definition}
Alors $\forall n\in\mathbb{N}~\mathbb{R}^n$ est un espace vectoriel.
\subsubsection{Application linéaire}
\label{sec:background-alg-L}
Soit $E$ et $F$ deux espaces vectoriels.
Une application linéaire $h:E\rightarrow F$ est telle que
$\forall (r,e,f)\in \mathbb{R}\times E\times E~h(re+f)=rh(e)+h(f)$
Et on note $\mathcal{L}(E,F)$ l'ensemble des applications linéaire de $E$ dans $F$.
Si $E=\mathbb{R}^m$ et $F=\mathbb{R}^n$ alors
la matrice de $f$ est
\begin{equation*}
M_f=
\left(
\begin{matrix}
f(e_0)_0&\cdots&f(e_{m-1})_0\\
\vdots&\vdots&\vdots\\
f(e_{0})_{n-1}&\cdots&f(e_{m-1})_{n-1}\\
\end{matrix}
\right)
\end{equation*}
Où
\begin{equation*}
\forall i\in m~e_i=\left(
\begin{matrix}
0\\
\vdots\\
0\\
1\\
0\\
\vdots\\
0
\end{matrix}
\right)
\begin{matrix}
\\
\\
\\
i\\
\\
\\
\\
\end{matrix}
\end{equation*}
On appelera par la suite $(e_0,\cdots,e_{m-1})$ \emph{base canonique} de $\mathbb{R}^m$.
On note $f(e_j)_i = M_f(i,j)$, c'est l'entré de $M_f$ se situant à la ligne $i$ et colone $j$.
\begin{propriete}
La fonction $M_\square$ est une bijection.
\end{propriete}
Nous définisson la mutliplication matricielle de la manière suiavante :
Soient $f\in\mathcal{L}(\mathbb{R}^m,\mathbb{R}^n)$ et $g\in\mathcal{L}(\mathbb{R}^n,\mathbb{R}^o)$.
Alors
\begin{equation*}
M_gM_f=M{g\circ f}
\end{equation*}
\begin{propriete}
\begin{equation*}
M_gM_f(i,j)=\sum_{k=0}^n M_g(i,k)M_f(k,j)
\end{equation*}
\end{propriete}
\begin{definition}
\label{def:background-alg-tr}
Soit $M$ une matrice à $n$ lignes et colonnes.
Alors nous définisson la trace de $M$ de la manière suivante.
\begin{equation*}
\text{Tr}(M)=\sum_{i=0}^{n-1}M(i,i)
\end{equation*}
\end{definition}
|
