L'optimisation des ressources est critique dans SAS Viya. L'action propose le paramètre singlePass, applicable aux tables définies en entrée. Voici une illustration d'un paramétrage avancé minimisant l'empreinte mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. :dlLabelTarget / labelTable={name="cibles_classes", singlePass=true} modelTable={name="dnn_model_1"} modelWeights={name="poids_finaux"};
Lorsqu'il est défini sur True, le système ne crée pas de copie transitoire de la table sur le serveur CASMoteur analytique "in-memory" de SAS Viya. Il traite les données en parallèle (MPP) sur plusieurs nœuds pour offrir une puissance de calcul massive et une exécution ultra-rapide des actions.. Cela permet d'économiser considérablement la mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. vive et de réduire les temps d'E/S, ce qui est un avantage majeur pour les très grandes volumétries de données. Toutefois, l'architecte Data doit être conscient d'un compromis : sans table transitoire, l'ordre de lecture des données n'est pas garanti d'être stable lors d'exécutions répétées, ce qui peut affecter la reproductibilité exacte au bit près si votre architecture de données dépend d'un ordonnancement spécifique.
Comment optimiser drastiquement l'utilisation de la RAM avec le paramètre singlePass ?
Optimisation Mémoire via singlePass
Exemples pour l'action dlLabelTarget
Association simple d'étiquettes à un modèle existant
Cet exemple prend un modèle pré-entraîné et lui attache les étiquettes cibles pour le rendre plus bavard lors du scoring.
Assignation avancée avec gestion des CASLibs et threads
Cet exemple montre comment appliquer des étiquettes en ciblant des tables dans des librairies spécifiques (CASLibs) et en promouvant la table de sortie en mémoire globale, tout en forçant l'usage de 4 threads.
Conseil de l'Expert
N'utilisez singlePass=true que pour des actions de lecture linéaire (scoring, statistiques descriptives). Si votre algorithme nécessite plusieurs itérations sur les mêmes données (comme certains entraînements de Machine Learning complexes), forcer le singlePass peut paradoxalement dégrader les performances CPU ou provoquer des erreurs d'exécution si l'action n'est pas optimisée pour le streaming.
Architecture et Mécanismes de Streaming CAS
- Suppression de la Shadow Copy : Par défaut, CAS peut créer une copie de travail en RAM pour garantir la cohérence ; singlePass force la lecture directe depuis le cache disque (MMap) ou la source.
- Réduction du Peak Memory : Idéal pour les tables dépassant la capacité RAM physique du cluster, car il évite le chargement intégral des blocs en mémoire volatile.
- Efficacité NUMA : En évitant les copies transitoires, on limite les transferts de données entre les nœuds et les sockets processeurs, réduisant la latence d'accès.
- Pipeline de Données : Permet le "On-the-fly processing" où les lignes sont injectées dans l'algorithme sans persistance intermédiaire dans l'espace d'adressage de l'action.
- Gestion des ressources concurrentes : Libère immédiatement les buffers mémoire pour d'autres sessions CAS, augmentant ainsi le "throughput" global de la plateforme.
Cette réponse vous a-t-elle aidé ?
