Modèle bio-inspiré de perception visuelle pour la catégorisation d'images de scènes naturelles

Stagiaire: Lucas Lemos​

Tutrice: Nathalie Guyader

Agenda

  1. Le laboratoire
  2. Introduction
  3. Gestion du projet
  4. Modèle de perception visuelle bio-inspiré
  5. La base d'images

  6. Algorithme de classification 

  7. Résultats

  8. Conclusion

le laboratoire

source: http://www.gipsa-lab.fr

le laboratoire

Chercheurs 100
Doctorants 140
Ingénieurs et administratifs 40
Post-doctorants et visiteurs 30
Stagiaires 50

Ressources humaines

Articles 130
Conférences internationales 270
Thèses soutenues 40

Publications par an

source: http://www.gipsa-lab.fr

introduction

source: http://mriquestions.com/visual.html

introduction

  • Quantification de l'impact des différents paramètres du modèle sur les pourcentage de bonne classification des images.

 

 

  • Capacité de classification des images complexes juste en jetant un coup d'oeil.

1  Aude Oliva and Antonio Torralba. Modeling the shape of the scene : A holistic representation of the spatial envelope. International Journal of computer vision, 42(3) :145–175, 2001

2 Aude Oliva and Antonio Torralba. Scene-centered description from spatial envelope properties. In HeinrichH. Bülthoff, Christian Wallraven, Seong-Whan Lee, and TomasoA. Poggio, editors, Biologically Motivated Computer Vision, volume 2525 of Lecture Notes in Computer Science, pages 263–272. Springer Berlin Heidelberg, 2002

1,2

Gestion du projet

Semaines Activité

1		 Étude bibliographique et l'étude des travaux (codes et notes) de Ralucca Vlad

2		 Travail pratique
sur le filtre de
Gabor

3		 Mise en pratique des différents algorithmes de traitement des données multidimensionnelles

4 - 5		 Choix du classifieur linéaire et tests du modèle existant sur différentes bases d'images

Gestion du projet

Semaines Activité

6 - 8		 Tests de l'influence de différents paramètres du modèle sur le taux de bonne classification

9 - 12		 Approche "imagette" + validation croisée + test d'un réseau neurone comme classifieur

Modèle de perception visuelle

1. Image originale

  • Fournit par SUN

1

1  http://groups.csail.mit.edu/vision/SUN/hierarchy.html

  • 255 x 255
  • Niveaux de gris

2. filtre spatialement variant

  • Filtrage passe bas
  • Acuité visuelle
  • L'image perçue en vision centrale

Image Originale

3. filtre "rétine"

4. normalisation 1

  • Écart-type de 1
  • Normalisation de la luminance
  • Moyenne de 0

5. filtre Gabor

5. filtre Gabor

f_k = \frac{f_{max}}{1,5^k}
fk=fmax1,5kf_k = \frac{f_{max}}{1,5^k}
\theta_{i+1} = \theta_i + \frac{180 \degree}{\text{no\_orientations}}
θi+1=θi+180°no_orientations\theta_{i+1} = \theta_i + \frac{180 \degree}{\text{no\_orientations}}
\theta_0 = 0 \degree
θ0=0°\theta_0 = 0 \degree
f_{max} = 0,3
fmax=0,3f_{max} = 0,3

5. filtre Gabor

4. normalisation Fréquence

  • Normalise par "colonne"
  • Valeurs d'énergies entre 0 et 1

5. normalisation 2

  • Facilitation du SVM
  • Valeurs d'énergies entre 0 et 1

1  Support Vector Machine

1

la base d'images

Training dataset

1600 images

Artificielle

Naturelle

la base d'images

Lille dataset

200 images

Artificielle

Naturelle

la base d'images

Grenoble dataset

200 images

Artificielle

Naturelle

Algorithme de classification

  • Option: LDA
  • Objectif: Trouver un axe qui distingue le plus les données

1  Linear Discriminant Analysis

1

resultats

  • Objectif: réglage du banc de filtres de Gabor
  • Base d'entraînement: Training (1600 images)
  • Bases de tests: Grenoble et Lille (200 images)

resultats

  • Objectif: tester l'influence des normalisation
Batch Norm 2 Norm Freq Norm 1
1
2
3
4
5
6

resultats

  • Objectif: réglage du banc de filtres de Gabor
  • Base d'entraînement: Training (1600 images)
  • Bases de test: Training

Batch 5

Batch 6

resultats

  • Objectif: tester l'influence de la bande radiale variable

1

1  T. Ho-Phuoc. Developpement et mise en oeuvre de modèles d’attention visuelle. pages 44–45, 2010.

resultats

  • Objectif: tester l'influence de la bande radiale variable
  • Base d'entraînement: Training (1600 images)
  • Bases de test: Training

Batch 5

Meilleure Performance

Bande radiale

variable

resultats

  • Objectif: tester l'influence de la bande transversale variable

nombre maximum d'orientations

nombre d'orientations par couche

resultats

  • Base d'entraînement: Training (1600 images)
  • Bases de test: Training

Batch 5

Meilleure Performance

Bande transversalle

variable

  • Objectif: tester l'influence de la bande transversale variable

resultats

  • Objectif: tester l'approche "imagette"

resultats

  • Base d'entraînement: Training (1600 images)
  • Bases de test: Training

Même probabilité

Poids 4 fois plus élevé pour l'imagette centrale

  • Objectif: tester l'approche "imagette"

resultats

  • Base d'entraînement: Training (1066 images) - 2/3
  • Bases de test: Training (534 images) - 1/3

Approche Globale

Approche Locale - "imagette"

  • Objectif: tester la performance de la LDA en utilisant la validation croisée

resultats

  • Base d'entraînement: Training (1120 images) - 70%
  • Bases de test: Training (480 images) - 30%
  • Objectif: tester la performance d'un réseau neurone
  • Banc de filtres de Gabor avec 8 orientations et 7 fréquences
  • Réseau avec 8 couches d'entrée, 8 couches cachées et 8 couches de sorties

resultats

  • Réglage du réseau:
    • MLP : pas de réinjection
    • SRN : permet l'injection
  • Objectif: tester la performance d'un réseau neurone
  • Le démarche SRN peut se faire:
    • FTC : basses fréquences et après les hautes fréquences
    • CTF : hautes fréquences et après les basses fréquences

1

1 Multilayer Perceptron

2

3

4

2 Simple Recurrent Network

3 Fine-to-Coarse

4 Coarse-to-Fine

resultats

conclusion

  • Côté technique:
    • Liaison à la filière: l'ACP, la LDA, transformée de Fourier.
    • Opportunité pour connaître un peu de l'univers ISA.
  • Côté personnel:
    • ​Équipe très disponible.
    • Ambiance conviviale.
  • Côté résultats:
    • ​Objectifs atteints.

conclusion

  • Perspectives pour l'avenir:
    • Mise en oeuvre d'une méthode d'optimisation pour trouver les poids les plus adaptés pour chaque imagette.
    • Utiliser la partie basse fréquences du banc de filtre de Gabor pour l'approche globale et la partie haute fréquence pour l'approche imagette.
    • Utiliser le banc de filtre de Gabor complet pour l'approche globale et une version pondérée de lui, selon les énergies obtenues, pour l'approche locale (imagette)
    • Étudier comment implementer les imagette sur un réseau neurone

conclusion

  • Compétence développées:
    • Synthétiser des informations provenant de différentes sources (livres, internet, forum, ...).
    • Rédiger une notice technique ou un article de vulgarisation.
    • Utiliser des outils de communication multimédia adaptés.
    • Mettre en œuvre la méthode adaptée au traitement de l'information (signaux, images)

MERCI

  • Auriez-vous des question?

lucas_lemos@me.com

07 69 33 45 99