SAS Viya met à disposition un arsenal complet de solveurs stochastiques adaptés à toutes les topologies de réseaux d'apprentissage profondL'apprentissage profond (Deep Learning) est une branche de l'IA utilisant des réseaux de neurones multicouches pour modéliser des données complexes et automatiser l'extraction de caractéristiques.. Parmi les options du sous-paramètre algorithm, on retrouve l'incontournable méthode ADAM (Adaptive Moment Estimation) et ses déclinaisons, particulièrement efficaces pour les données bruitées ou les espaces de gradients creux. L'action supporte également la méthode LBFGS (Limited-memory Broyden-Fletcher-Goldfarb-Shanno) pour une optimisation quasi-newtonienne très stable, ainsi que les solveurs LARS et MOMENTUM. Ces optimiseurs peuvent être couplés à des stratégies de taux d'apprentissage dynamiques et complexes, telles que des ajustements polynomiaux ou par étapes multiples, permettant au réseau de s'extraire de manière autonome des minima locaux.
Quels sont les algorithmes de résolution mathématique mobilisables pour la descente de gradient ?
Exemples pour l'action dlTune
Optimisation basique (Tuning)
Exemple d'optimisation simple d'un modèle avec l'algorithme ADAM, en définissant une petite recherche sur le taux d'apprentissage.
Tuning intensif avec GPU et sauvegarde des meilleurs poids
Une recherche d'hyperparamètres avancée exploitant le GPU, avec recherche sur le taux d'apprentissage et la taille du mini-batch, en sauvegardant le meilleur état de poids.
Cette réponse vous a-t-elle aidé ?
À lire aussi...
Quelles stratégies avancées l'optimiseur propose-t-il pour empêcher le surapprentissage lors de l'exploration des hyperparamètres ?
Comment l'action dlTune maximise-t-elle le retour sur investissement de vos projets d'intelligence artificielle ?
De quelle manière l'action gère-t-elle la persistance de l'état d'optimisation lors d'entraînements longs ou interrompus ?
Comment orchestrer l'accélération matérielle GPU et la précision des calculs pour des performances extrêmes ?