HADOOP - Créer une table est charger des données

Publié le 24 Jan 2017 Mis à jour le 24 Jan 2020

Cet article en deux mots :

Maîtrisez l'importation de données temporelles sous Hive en configurant les propriétés SASFMT. De la création de fichiers Linux à la définition de formats de date spécifiques comme DATETIME(20), ce tutorat technique vous montre comment assurer la parfaite compatibilité de vos timestamps en quelques lignes de code.

#hadoop #bigdata #create table

Sous Linux, créer le fichier contenant vos données :

echo "nicolas,1977-03-12 06:30:23,1977-03-12 06:30:23" > /tmp/mesdatas;
echo "Sylvain,1989-05-23 07:23:12,1989-05-23 07:23:12" >> /tmp/mesdatas;1
2
echo "nicolas,1977-03-12 06:30:23,1977-03-12 06:30:23" > /tmp/mesdatas;
echo "Sylvain,1989-05-23 07:23:12,1989-05-23 07:23:12" >> /tmp/mesdatas;

Puis dans hive, excutez la requete ci-dessous pour créer la table :

create table mesdatas(id string ,t timestamp, t2 timestamp) row format delimited fields terminated by ',' TBLPROPERTIES ('SASFMT:t'='DATETIME(9.0)','SASFMT:t2'='DATETIME(20)');1
create table mesdatas(id string ,t timestamp, t2 timestamp) row format delimited fields terminated by ',' TBLPROPERTIES ('SASFMT:t'='DATETIME(9.0)','SASFMT:t2'='DATETIME(20)');

Enfin, toujours dans HIVE, charger les données dans la table :

load data local inpath '/tmp/mesdatas' overwrite into table mesdatas;1
load data local inpath '/tmp/mesdatas' overwrite into table mesdatas;

Nicolas Housset

Passionné d'informatique, je suis Consultant et expert technique SAS VIYA, également co-fondateur de la société Flexcelite. Spécialisé dans les technologies SAS (Viya, 9.4) et les infrastructures associées (Linux, Hadoop, Azure), ce blog est mon espace pour partager mes mémos techniques et retours d'expérience.