Apprendre à installer Apache STORM cours

Installation réalisée sur :  Ubuntu  15.04

Environnement : Vmware

Sources : 

;

Licence : 

Etape 1. Ajouter les librairies nécessaire au système

Ceci peut se faire en ligne de commande via un terminal. Les commandes à utiliser sont les suivantes : 

sudo apt-get update

sudo apt-get install openjdk-7-jdk sudo apt-get install git –y sudo apt-get install libtool –y sudo apt-get install automake –y sudo apt-get install uuid-dev –y sudo apt-get install g++ –y sudo apt-get install gcc-multilib –y sudo apt-get install libtool-bin  –y sudo apt-get install tree

Figure 1. Mise à jour via le terminal

Si le système possède le gestionnaire de paquets Synaptic est installé, on peut directement utiliser l'interface graphique pour la mise à jour.

Figure 2. Mise à jour via Synaptic

Il faut prévoir de 5 à 15 min en fonction de la machine et de la qualité de la liaison Internet.

Par la suite, toutes les opérations d'installation se feront dans un répertoire nommé installation directement sur le Bureau.

Figure 3. Répertoire de travail sur le Bureau d'Ubuntu (version 15)

Etape 2. Installation de Zookeeper

Deux solutions existent pour l'installation de Zookeeper. Il est possible d'utiliser le gestionnaire Synaptic intégré à Ubuntu ou bien de le téléchargé directement du site d'Apache.

Pour la première solution, il suffit de chercher le mot "Zookeeper" dans le gestionnaire Synaptic comme le montre la Figure 4.

Figure 4. Installation Zookeeper à partir du gestionnaire Synaptic

Une fois l'installation de Zookeeper avec Synaptic réalisée, il suffit de le lancer à partir de son répertoire d'installation : /usr/share/zookeeper/bin, avec la commande start (Figure 5).

Figure 5 Démarrage de zookeeper (avec l'installation automatique de Synaptic) Il faut se rendre sur le site suivant qui est le site de référence (Figure 6) : 

Figure 6 Site de Zookeeper

En utilisant la section Download, il faut récupérer la dernière version qui se trouve dans un répertoire Stable quelque soit le serveur choisi (voir Figure 7)

Figure 7 Choix d'une version Stable

Au moment de l'écriture de ce tuto, la version disponible est la version 3.4.6 (Figure 8).

Figure 8 Téléchargement de Zookeeper

Une fois l'archive obtenue (fichier ), il faut ouvrir l'archive et récupérer le contenu qui se présente sous la forme d'un sous-répertoire (Figure 9).

Figure 9 Récupération de l'archive Zookeeper

Il faut se rendre dans le répertoire /conf et éditer le fichier (Figure 10).

Figure 10. Contenu du dossier "conf"

Le plus simple consiste à sauvegarder ce fichier en changeant son nom en (Figure 11).

Figure 11. Copie du fichier

Après sauvegarde, le fichier apparait dans le répertoire conf (figure 12).

Figure 12. Contenu répertoire conf

Le contenu du fichier doit être mis à jour en modifiant dataDir. Le plus simple

consiste à créer un répertoire nommé data dans le répertoire zookeeper (Figure 13)

Figure 13. Création d'un nouveau répertoire On peut ensuite, via le terminal, vérifier le chemin d'accès en faisant :  cd /home/<users>/Desktop/installation/zookeeperxxxx/data et pwd (Figure 14)

Figure 14. Vérification du chemin d'accès  On peut ensuite modifier dataDir comme indiqué sur la figure 15.

Figure 15. Le fichier après modification 

Il faut ensuite vérifier les chemins d'accès à la version de Java. Dans un terminal, taper :  update-alternatives –config java

ce qui doit donner un résultat similaire à celui de la Figure 16.

Figure 16. Les versions de java disponibles 

Dans un terminal, tapez la commande : sudo gedit ~/.bashrc

A la fin du fichier, il faut ajouter export JAVA_HOME avec un chemin d'accès au JRE. Sur la machine de test, cela donne le résultat de la Figure 17.

Figure 17. Ajout d'une variable JAVA_HOME 

Il faut ensuite recommencer avec ZOOKEEPER_HOME et modifier ensuite la variable PATH.

La fin du fichier doit être similaire à celle-ci : 

Dans le terminal tapez : source ~/.bashrc

On peut ensuite, se rendre dans le répertoire bin de zookeeper et démarrer le serveur comme le montre la Figure 18.

Figure 18. Démarrage de zookeeper

On peut ensuite taper la commande JPS et vérifier si les tâches fonctionnent. On doit obtenir le résultat de la Figure 19.

Figure 19. Vérification 

Etape 3. Installation de ZeroMQ

Il faut se rendre sur le site suivant qui est le site de référence (Figure 20) : 

Figure 20. Le site principal de ZeroMQ 

Choisir une version récente. Au moment où ce tuto est écrit, il s'agit de la version 4.1.2. Il faut télécharger l'archive (Figure 21). Par la suite, nous utilisons la version 2.1.17.

Figure 21. Choix d'une version de ZeroMQ et téléchargement 

Figure 22. Contenu du répertoire de téléchargement 

Il faut ouvrir un terminal et se rendre dans le répertoire zerom puis taper: ./configure comme le montre la Figure 23.

Figure 23. Exécution de la commande ./configure  Il faut ensuite poursuivre en tapant : make.

Patientez 2 à 3 min en fonction de la machine utilisée (Figure 24).

Figure 24. Exécution de la commande make Il faut ensuite poursuivre en tapant : make install.

La dernière étape consiste à cloner le déport jzmq dans le répertoire (Figure 25). git clone

Figure 25. Copie du dépôt jzmq Il faut taper ensuite les commandes qui suivent : 

cd jzmq

sed -i 's/classdist_noinst.stamp/classnoinst.stamp/g'

Si libtool n'est pas installé, il faut aussi réaliser l'installation.

Sur la machine de test où libtool est déjà présent, on obtient le terminal dans l'état de la Figure 26.

Figure 26. Installation en cours 

Il faut ensuite lancer et patienter quelques secondes (Figure 27).

Figure 27. Exécution de  Tapez ensuite :

            ./configure     make

            make install

Etape 4. Installation de STORM

La page de téléchargement est la suivante : 

Figure 28. Le site Apache Storm 

On retiendra de préférence la dernière version stable, ici la version 0.9.5. (Figure 29).

Figure 29. Choix de la version 

Pour des raisons pratiques, on peut récupérer le contenu de l'archive et le déposer dans le répertoire installation qui ressemble alors à celui de la Figure 30.

Figure 30. Nouveau répertoire 

Il est fortement recommandé de modifier le nom du répertoire pour un nom plus simple (Figure 31). 

Figure 31. Nouveau répertoire Storm  De manière usuelle, on place ce répertoire dans /usr/local/bin/.

On va ensuite ajouter quelques variables d'environnements.

Faire : sudo gedit ~/.bashr

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386/

export ZOOKEEPER_HOME=/home/osboxes/Desktop/installation/zookeeper-3.4.6 export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin export STORM_HOME=/home/osboxes/Desktop/installation/storm export PATH=$PATH:$JAVA_HOME/bin:$STORM_HOME/bin:%ZOOKEEPER_HOME/bin

La nouvelle version du fichier est celle présentée sur la Figure 32.

Figure 32. Fichier bashrc modifié 

Il faut penser à recharger le fichier bashrc par la commande (Figure 33) : source ~/.bashrc

Figure 33. Fichier bashrc rechargé

Via l'interface graphique, il faut se rendre dans le répertoire /storm/conf et éditer le fichier (Figure 34).

Figure 34. Le fichier de configuration de Storm 

Avant de poursuivre, ceux ne connaissant par la configuration réseau de leur machine, doivent consulter les informations de bases, dans un terminal via la commande ifconfig. Ils doivent obtenir un résultat proche de celui de la Figure 35.

Figure 35. Le fichier de configuration réseau  Dans notre cas de figure les lignes à ajouter sont les suivantes : 

Remarque : nous avons utilisé ici localhost mais on aurait pu reprendre l'adresse ip de la machine avec la commande inet addr.

La nouvelle version est celle de la Figure 36

Figure 36. Le fichier après modification 

Il faut créer un répertoire data dans le répertoire storm de sorte que le paramètre fasse référence à un répertoire existant (Figure 37).

Figure 37. Création d'un répertoire data dans le répertoire storm 

Test de la configuration : démarrage de nimbus

Dans une console taper : storm nimbus

Figure 38. Nimbus en fonctionnement 

Test de la configuration : démarrage du supervisor

Dans une console taper : storm supervisor

Figure 39. Le superviseur en fonctionnement 

Test de la configuration : démarrage du ui

Dans une console taper : storm ui

Figure 40. ui en fonctionnement

On peut ensuite vérifier le bon fonctionnement en se connectant sur :  http://localhost:8772

Ceci doit donner accès à une page web similaire à celle de la Figure 41.

Figure 41. Accès à l'interface web

La deuxième vérification consiste à effectuer une commande jps dans un terminal. On doit alors obtenir un résultat identique à celui de la Figure 42 qui montre à la fois nimbus et supervisor dans la liste.

Figure 42. Vérification par la commande jps 

Etape 5. Installation de KAFKA

La page de téléchargement est la suivante :  page est celle de la Figure 43.

Figure 43. Section Download de Kafka

En aout 2015, la version courante est la version 2.11 que nous allons sortir de son archive dans le répertoire installation comme nous l'avons fait pour storm. Celui-ci doit alors ressemble au répertoire de la Figure 44.

Figure 44. Kafka après téléchargement

Dans une console, on peut se rendre dans le répertoire kafka et taper tree pour obtenir un résultat similaire à celui de la figure 41.

Figure 45. Résultat de la commande tree 

Depuis le répertoire de kafka, la commande à taper dans le terminal est : 

config/server.properties Le résultat d'exécution doit être similaire à celui de la Figure 46.

Figure 46. Démarrage de kafka 

Dans une console, on peut utiliser jps pour vérifier la présence de kafka dans la liste. Un résultat correct doit être similaire à celui de la Figure 47.

Figure 47. Vérification de la configuration 

Etape 6. Pour se faciliter la tâche

L'ensemble des commandes permettant de démarrer le cluster sont les suivantes :

Pour se simplifier la vie, on peut mettre ces commandes dans un fichier nommé (Figure 48).

Figure 48. Création d'un fichier de lancement  On peut rendre ce fichier exécutable par exemple en faisant :  chmod 777

On peut ensuite facilement démarrer le cluster Storm (Figure 49).

Figure 49. Démarrage du cluster