Réunion du 16 juin 2020

Participants : Dounia Lakhmiri, Sébastien Le Digabel et Christophe Tribes

Ordre du jour : Révision de l'article d'HyperNOMAD:

1. Arbitre 2 :
   • Résultats numériques d'HyperNOMAD
   • Comparaison avec AutoML AutoML_NAS_methods
2. Arbitre 3 :

Trouver des exemples d'articles similaires au notre.

• Exmple1
• Exmple2
• Exmple3

Survey on Neural Architecture Search (NAS) : NAS_survey

Pour répondre à l'arbitre 2, il y a plusieurs points à considérer:

1. Avant de modifier les points en rouge (dans le fichier rebuttle):
   • Faire quelques tests pour voir l'impact de telles modifications
   • Vérifier si les solutions sont robustes
2. Changer le scheduler de SGD
3. Changer la granularité du Batch size (par 12)
4. Modifier le pooling en réel entre 0 et 1: 1 indique qu'aucune réduction n'est faite.
5. Faire des tests sur d'autres bases de données
6. Expliquer pourquoi TPE n'est pas aussi efficace
   • Le problème HPO contient plusieurs variables entières et de catégorie.

Test : Dans $HYPERNOMAD_HOME/src/blacbox

   > python blackbox.py MNIST 1 5 3 1 1 1 1 128 128 2 0.01 0.9 0.9 0.05 0.45 2

Résultats: Obtenus avec 1 GPU sur la machine Pandora

Les Dataloaders de la version 2 ont 12 workers au lieu de 2 pour la version 1, ce qui explique la rapidité du traitement des données par le GPU.

Durant le séminaire : Road to AutoML, et en particulier durant la présentation “Geometry-Aware Gradient Algorithms for Neural Architecture Search”, la question suivante a été posée :

GAEA works better than EfficientNet on ImageNet classification?

et a reçu la réponse suivante:

the search space used for efficientnet is different and efficientnet evaluation uses a bunch of bells and whistels (squeeze and excite, swish activation, autoaugment, ema, etc.) and hence is not comparable. GAEA is more so an optimization approach where we propose using exponentiated gradient update to get faster convergence and hence can be applied to any search space. applying GAEA to a search space more similar to that considered by efficientnet is something we want to do in the future.

Je pense qu'on pourrait utiliser une réponse similaire dans notre rebuttle.