Commandes shell courantes pour HDFS

Quelques commandes courantes pour HDFS Pour ces commandes, il existe 2 syntaxes possibles: Avec hadoop: avec une syntaxe du type hadoop fs <commande>, Avec hdfs: la syntaxe est hdfs dfs <commande>. Cette commande sont proche de celles utilisées par le shell linux comme ls, mkdir, rm, cat, etc… Pour lister le contenu d’un répertoire hdfs…

Continuer à lire

Installation d’Hadoop sur Debian

Cet article explique l’installation de Hadoop sur Debian GNU/linux 9. La version d’Hadoop utilisée est celle téléchargeable directement du site d’Apache. L’intérêt d’utiliser Debian est que beaucoup d’outils sont disponibles sur cette distribution et qu’elle est gratuite. Dans cet article, on détaille l’installation d’Hadoop et de YARN ainsi que la configuration d’un cluster en single-node….

Continuer à lire

Installation de Debian sur une machine virtuelle VirtualBox

Le but de cet article est d’expliquer l’installation de Debian GNU/Linux 9 sur une machine virtuelle avec VirtualBox. Utiliser une machine virtuelle peut avoir de nombreux avantages quand on cherche à tester de nouvelles technologies: On peut exporter la machine virtuelle si on souhaite partager une configuration. En cas de mauvaise installation, on peut relancer…

Continuer à lire