La gestion de la distribution se fait via le paramètre tableDistribution, qui détermine la répartition des données dans un environnement de traitement massivement parallèle. Vous pouvez opter pour DISTRIBUTED pour répartir les lignes de données sur les nœuds, ou REPEATED pour dupliquer les données, ce qui est souvent privilégié pour accélérer les calculs distribués sur de multiples cartes graphiques. Les paramètres gpus et nThreads permettent par la suite d'affiner l'utilisation des ressources matérielles du serveur Cloud Analytic ServicesMoteur d'exécution in-memory de SAS Viya. Il assure le traitement massivement parallèle (MPP) et distribué des données pour optimiser les performances analytiques et le passage à l'échelle..
Comment cette action gère-t-elle la distribution des données pour accélérer l'entraînement sur des architectures massivement parallèles ?
Optimisation de la distribution CAS et GPU
Exemples pour l'action dlmztrain
Entraînement basique d'un modèle de Deep Learning
Cet exemple montre comment lancer un entraînement simple avec l'optimiseur ADAM sur 5 époques à partir de données d'images.
Entraînement avancé avec Validation, accélération GPU et Arrêt Prématuré
Ici on sort l'artillerie lourde : utilisation de GPU multiples, d'un jeu de validation croisée, de l'optimiseur SGD avec momentum, et d'un mécanisme d'arrêt prématuré (Early Stopping) si la perte de validation stagne pendant 3 époques consécutives.
Conseil de l'Expert
En production sur SAS Viya 4, privilégiez le mode REPEATED uniquement pour les tables de dimensions ou les jeux de données d'entraînement tenant intégralement en mémoire VRAM. Si votre dataset dépasse la capacité d'une seule carte, utilisez le partitionnement intelligent via groupBy pour minimiser les transferts de données inter-nœuds (shuffling), qui sont le principal goulot d'étranglement des architectures MPP.
Cette réponse vous a-t-elle aidé ?
À lire aussi...
Quels algorithmes d'optimisation sont disponibles et comment prévenir le phénomène de surapprentissage lors de l'entraînement ?
Est-il possible d'automatiser la recherche des meilleurs hyperparamètres pendant l'entraînement du modèle pour un gain de temps business ?
L'action supporte-t-elle le Transfer Learning ou le gel de couches pour affiner un modèle pré-entraîné à nos données spécifiques ?
Comment puis-je transmettre des configurations complexes PyTorch qui ne sont pas exposées nativement dans les paramètres de l'action ?
Quel est le rôle principal de l'action dlmzTrain dans SAS Viya et sur quel framework repose-t-elle ?
Est-il possible d'automatiser la recherche des meilleurs hyperparamètres pendant l'entraînement du modèle pour un gain de temps business ?
L'action supporte-t-elle le Transfer Learning ou le gel de couches pour affiner un modèle pré-entraîné à nos données spécifiques ?
Comment puis-je transmettre des configurations complexes PyTorch qui ne sont pas exposées nativement dans les paramètres de l'action ?
Quel est le rôle principal de l'action dlmzTrain dans SAS Viya et sur quel framework repose-t-elle ?