Connaitre l’état de son stockage HDFS
Dans la famille des options pratiques, je voudrais dfsadmin –report ou comment obtenir une photo de son système HDFS.
Une commande bien pratique pour connaitre rapidement la quantité de disque disponible, le nombre de DataNodes en cours d'exécution, des blocs corrompus…
Ce qui donne :
Quelques précisions sur ce résultat :
Configured Capacity : c'est, en toute logique, la capacité totale disponible pour HDFS pour le stockage.
DFS Used correspond à l'espace de stockage qui a été utilisé par HDFS. Afin d'obtenir la taille réelle des fichiers stockés dans HDFS, divisez le 'DFS Used' par le facteur de réplication. Le facteur de réplication se trouve dans le fichier de configuration hdfs-site.xml configuré sous le paramètre dfs.replication. Donc, si le DFS utilisé est de 90 Go et votre facteur de réplication est de 3, la taille réelle de vos fichiers dans HDFS sera 90/3 = 30 Go.
|
1 |
hdfs dfsadmin –report |
Quelques précisions sur ce résultat :
Configured Capacity : c'est, en toute logique, la capacité totale disponible pour HDFS pour le stockage.
DFS Used correspond à l'espace de stockage qui a été utilisé par HDFS. Afin d'obtenir la taille réelle des fichiers stockés dans HDFS, divisez le 'DFS Used' par le facteur de réplication. Le facteur de réplication se trouve dans le fichier de configuration hdfs-site.xml configuré sous le paramètre dfs.replication. Donc, si le DFS utilisé est de 90 Go et votre facteur de réplication est de 3, la taille réelle de vos fichiers dans HDFS sera 90/3 = 30 Go.
