Étant donné que la validation croisée multiplie les temps d'entraînement par le nombre de segments, l'architecture distribuée de SAS Viya prend tout son sens. Le paramètre parallelFolds, activé par défaut, permet d'évaluer les différents segments simultanément plutôt que séquentiellement. Pour un contrôle granulaire de l'infrastructure, vous pouvez ajuster le paramètre nSubsessionWorkers afin de définir le nombre exact de nœuds de calcul alloués à chaque sous-sessionInstance de connexion active entre un client et le serveur CAS (Cloud Analytic Services), isolant les ressources, les bibliothèques et les traitements d'un utilisateur au sein de SAS Viya.. Cette approche massivement parallèle permet de réduire drastiquement les fenêtres de traitement analytique sur les très gros volumes de données.
Les temps de calcul explosent souvent lors d une validation croisee, comment SAS Viya optimise-t-il cette charge de travail ?
Optimisation Parallèle sur CAS
Exemples pour l'action crossValidate
Validation croisée basique d'un Arbre de Décision
Cet exemple évalue la robustesse d'un arbre de décision via $k$-fold validation. Il automatise le partitionnement, l'entraînement et l'agrégation des métriques pour mesurer l'erreur de généralisation.
Validation croisée robuste d'une Forêt Aléatoire
Cet exemple optimise l'action crossValidate en parallélisant 10 plis (K-folds) sur un modèle FOREST. Il assure la reproductibilité via seed et cible l'événement binaire pour évaluer la stabilité.
Conseil de l'Expert
Ne saturez pas systématiquement vos nœuds. Si votre jeu de données est volumineux, l'utilisation de parallelFolds sans ajuster nSubsessionWorkers peut entraîner une contention de mémoire sur les workers CAS. La règle d'or : assurez-vous que la somme des workers de toutes les sous-sessions ne dépasse pas le nombre total de nœuds physiques disponibles pour éviter le "swapping" disque.
Leviers de performance du moteur CAS
- Orchestration par sous-sessions : Chaque segment (fold) est envoyé à une sous-session CAS indépendante, isolant les ressources et les threads.
- In-Memory Data Redundancy : Viya utilise des copies locales des données sur les workers pour minimiser les transferts réseaux inter-nœuds pendant l'évaluation des segments.
Cette réponse vous a-t-elle aidé ?
À lire aussi...
Quels sont les algorithmes d intelligence artificielle compatibles avec le mecanisme de validation croisee integre ?
Comment garantir la robustesse d un modele predictif sans risquer le surapprentissage sur de nouvelles donnees ?
Comment analyser les resultats consolides et suivre l avancement des iterations sans saturer les journaux d execution ?