Cet article fait suite à l’article Hadoop MapReduce en 5 min qui expliquait de façon théorique le mécanisme des jobs MapReduce. Dans ce présent article, le but est de rentrer un peu plus dans les détails de l’implémentation d’un job Hadoop MapReduce avec une technologie .NET. Dans un premier temps, on va expliciter les différentes…
Hadoop (i.e. High-availability distributed object-oriented platform) est une système distribué permettant de stocker et d’analyser des données. Le grand intérêt d’Hadoop est de proposer un framework pour effectuer des analyses de données de façon parallélisée sur plusieurs machines. D’autre part, Hadoop permet d’utiliser des machines normales et de les associer en groupe de façon à…
Quelques commandes courantes pour HDFS Pour ces commandes, il existe 2 syntaxes possibles: Avec hadoop: avec une syntaxe du type hadoop fs <commande>, Avec hdfs: la syntaxe est hdfs dfs <commande>. Cette commande sont proche de celles utilisées par le shell linux comme ls, mkdir, rm, cat, etc… Pour lister le contenu d’un répertoire hdfs…
Cet article explique l’installation de Hadoop sur Debian GNU/linux 9. La version d’Hadoop utilisée est celle téléchargeable directement du site d’Apache. L’intérêt d’utiliser Debian est que beaucoup d’outils sont disponibles sur cette distribution et qu’elle est gratuite. Dans cet article, on détaille l’installation d’Hadoop et de YARN ainsi que la configuration d’un cluster en single-node….
Le but de cet article est d’expliquer l’installation de Debian GNU/Linux 9 sur une machine virtuelle avec VirtualBox. Utiliser une machine virtuelle peut avoir de nombreux avantages quand on cherche à tester de nouvelles technologies: On peut exporter la machine virtuelle si on souhaite partager une configuration. En cas de mauvaise installation, on peut relancer…
PARTIE 1 PARTIE 2 PARTIE 3 PARTIE 4 Sommaire général Exécuter Powershell Les cmdlets Instructions dans des scripts Aide, gestion d’erreurs et manipulation de fichiers Références Références Powershell Succintly de Rui Machado: https://www.syncfusion.com/resources/techportal/ebooks/powershell Installing Windows PowerShell: https://docs.microsoft.com/fr-fr/powershell/scripting/setup/installing-windows-powershell?view=powershell-5.1 Powershell pour les nuls: http://syskb.com/powershell-pour-les-nuls/ Les bases de PowerShell: http://my-powershell.fr/aide-memoire-powershell PowerShell Module Browser: https://docs.microsoft.com/fr-fr/powershell/module/ Differences between PowerShell versions:…
PARTIE 1 PARTIE 2 PARTIE 3 PARTIE 4 Sommaire général Exécuter Powershell Les cmdlets Instructions dans des scripts Aide, gestion d’erreurs et manipulation de fichiers Références Le but de cet article est de présenter succinctement les fonctionnalités principales de Powershell de façon à pouvoir écrire des scripts et tirer rapidement partie de ce langage. Sommaire…
PARTIE 1 PARTIE 2 PARTIE 3 PARTIE 4 Sommaire général Exécuter Powershell Les cmdlets Instructions dans des scripts Aide, gestion d’erreurs et manipulation de fichiers Références Cet article liste quelques fonctionnalités un peu plus avancées de Powershell pour traiter quelques cas d’implémentation courants. PowerShell Exécuter du code Powershell Installation de Powershell Utilisation de la console…