Déplacer des données de CAS vers SAS (> 100 Mo)

Si vous essayez de déplacer un volume important de données entre une bibliothèque CAS et une bibliothèque SAS, dans une DATA STEPBloc de programmation SAS itératif utilisé pour lire, transformer et manipuler des données ligne par ligne afin de créer des tables de sortie personnalisées et calculer de nouvelles variables. par exemple, vous pouvez être confronté au message d'erreur ci-dessous : ERROR: Le nombre maximum d'octets (104857600) de données a été extrait des Cloud Analytic ServicesMoteur d'exécution in-memory de SAS Viya. Il assure le traitement massivement parallèle (MPP) et distribué des données pour optimiser les performances analytiques et le passage à l'échelle.. Utilisez l'option DATALIMIT pour augmenter la valeur maximale. Par défaut, CAS permet de  transférer au maximum 100 MO afin empêcher de transférer accidentellement une grande quantité de données du serveur au client. Toutefois, il existe des options permettant de spécifier le nombre maximal d'octets de données pouvant être transférés entre le serveur CASMoteur analytique "in-memory" de SAS Viya. Il traite les données en parallèle (MPP) sur plusieurs nœuds pour offrir une puissance de calcul massive et une exécution ultra-rapide des actions. et SAS au cours d'une lecture sur une seule table. Ces options s'appelle DATALIMIT et CASDATALIMIT L'option CASDATALIMIT est à positionner au niveau de la sessionInstance de connexion active entre un client et le serveur CAS (Cloud Analytic Services), isolant les ressources, les bibliothèques et les traitements d'un utilisateur au sein de SAS Viya. :
1
options casdatalimit=all;
L'option DATALIMIT au niveau de la  DATA STEPBloc de programmation SAS itératif utilisé pour lire, transformer et manipuler des données ligne par ligne afin de créer des tables de sortie personnalisées et calculer de nouvelles variables. :
1
2
3
4
data test ;
set datanh.MYGAANALYTICS (datalimit=all)
calc_predict=2.5 * predict;
run;
Le nombre-maximum-octets-104857600-de-donnees-a-ete-extrait-des-cloud-analytic-services        

Nicolas Housset

Passionné d'informatique, je suis Consultant et expert technique SAS VIYA, également co-fondateur de la société Flexcelite. Spécialisé dans les technologies SAS (Viya, 9.4) et les infrastructures associées (Linux, Hadoop, Azure), ce blog est mon espace pour partager mes mémos techniques et retours d'expérience.