Convolution et filtres

La convolution, opération de base de la vision

Une convolution fait glisser une petite grille de poids, le noyau, sur toute l'image. À chaque position, la valeur de sortie est la somme des produits entre les poids du noyau et les pixels qu'il recouvre :

Rien d'autre : neuf multiplications et une addition par pixel. Tout l'effet vient du choix des poids.

Lire un noyau

• Poids tous positifs, de somme 1 : une moyenne pondérée. L'image est lissée (flou). Le flou gaussien donne plus de poids au centre et lisse sans créer d'artefacts en blocs.
• Poids de somme 0, positifs d'un côté et négatifs de l'autre : une différence. La sortie est nulle sur une zone unie et forte là où l'intensité change : c'est un détecteur d'arêtes. Sobel horizontal répond aux arêtes verticales, et inversement.
• Centre fort, voisins négatifs : l'image plus ses propres arêtes, donc une image plus nette.

Essayez la mire : les barres fines disparaissent sous le flou (les hautes fréquences sont atténuées), alors que Sobel ne répond qu'à leurs bords.

Le lien avec les réseaux convolutifs

Un réseau de neurones convolutif (CNN) applique exactement cette opération, avec une différence décisive : les poids des noyaux ne sont pas choisis, ils sont appris. Les premières couches d'un CNN entraîné sur des images retrouvent d'elles-mêmes des détecteurs d'arêtes et de textures proches de Sobel ; les couches suivantes combinent ces réponses en motifs de plus en plus abstraits.

Deux détails pratiques, visibles ici :

• les bords : le noyau déborde de l'image sur le pourtour. Cette démonstration répète le pixel du bord ; un CNN ajoute souvent des zéros (padding) ;
• la « convolution » des bibliothèques d'apprentissage profond est une corrélation croisée : le noyau n'est pas retourné. C'est aussi le cas ici. Pour un noyau appris, la distinction n'a pas d'importance.