deb:parallelknoppix
no way to compare when less than two revisions
Différences
Ci-dessous, les différences entre deux révisions de la page.
— | deb:parallelknoppix [2018/11/17 12:52] (Version actuelle) – créée - modification externe 127.0.0.1 | ||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
+ | ====== ParallelKnoppix ====== | ||
+ | {{deb: | ||
+ | ===== Présentation ===== | ||
+ | **Bienvenu sur PK(ParallelKnoppix) ! ce manuel s’applique à la dernière version, la 2x. | ||
+ | pour le tuto de la version 1x aller ici :** | ||
+ | [[http:// | ||
+ | |||
+ | Un Cluster PKnoppix peut-être fait en démarrant l’ordinateur à partir du CD, ou en démarrant d’une machine virtuelle par le CD image. Je recommande de démarrer le nœud de la machine principal de Pknoppix dans une machine virtuelle. Ainsi fait, vous restez dans votre environnement de système d’exploitation (linux, | ||
+ | |||
+ | Si vous choisissez d’initialiser votre ordinateur à l’aide du CD, Vous ne devriez pas avoir de problème , mais dans certains cas vous aurez besoin d’employer des cheatcodes [[http:// | ||
+ | |||
+ | D’une manière ou l’autre, vous devez télécharger l’image du CD de PKnoppix. Je recommande de la tester avec le « hash » md5 à comparer avec le hash correcte signalé sur la page de téléchargement pour s’assurer que votre image n’est pas corrompue. Si vous décider de graver un CD, utiliser une vitesse réduite, de préférence. | ||
+ | |||
+ | Quelques informations sur la sécurité avant de commencer. Pknoppix est assez sécurisée : excepté si, l’accès se fait sur le nœud principal, soit physiquement ou à travers le net ; de sorte que certaines personnes peuvent faire ce qu’elles veulent sur les ordinateurs du cluster. | ||
+ | |||
+ | **Etiquette** : PKnoppix devient un serveur dhcp, afin d’assigner des adresses IP aux nœud de calculs. En outre, c’est un très simple serveur Dhcp occupé- Il donnera une adresse IP à l’ordinateur qui lui demande. Ainsi n’utilisez pas Pk sur un réseau existant, ou vous aurez des ennuis avec les administrateurs, | ||
+ | |||
+ | ==== Dernière version stable ==== | ||
+ | *// | ||
+ | **ParallelKnoppix 2.8: | ||
+ | Sortie de la distribution **ParallelKnoppix 2.8** maintenue par Michael Creel. Pour rappel, ParallelKnoppix est un live-CD basé sur KNOPPIX qui permet de créer des clusters et ainsi d' | ||
+ | Cette version est uniquement destinée aux processeurs **64 bits** et apporte comme nouveautés des répertoires **/home** et **/root** désormais en **NFS** ce qui rend possible l' | ||
+ | *[[http:// | ||
+ | ===== Liens ===== | ||
+ | |||
+ | http:// | ||
+ | |||
+ | {{logoparallelknoppix.png|}} | ||
+ | |||
+ | |||
+ | // | ||
+ | |||
+ | ===== Tutoriaux ===== | ||
+ | |||
+ | **Index du manuel** | ||
+ | |||
+ | - Initialisation de l’installation | ||
+ | - Utilisation : | ||
+ | * C | ||
+ | * Fortran | ||
+ | * Octave | ||
+ | * Ajouter le logiciel : GROMACS | ||
+ | - PK fonctionne sur un autre OS en utilisant la virtualisation : | ||
+ | * VMware | ||
+ | * QEMU | ||
+ | |||
+ | ----------------------------------------------------------------------- | ||
+ | |||
+ | |||
+ | **Initialisation de l’installation : | ||
+ | Initialiser votre nœud principal à l’aide du CD. Vous devriez voir ceci comme suit :** | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | OK, première chose : liser attentivement ceci avant de démarrer. Noter que la version de développement apparait, au dessus à droite, à boot : au prompt : ParallelKnoppix version : 2.5 | ||
+ | |||
+ | Avant de continuer, vous devriez vous assurez qu’il n’y a pas de version à jour de Pk. Vous pouvez taper sur F2 et F3 pour obtenir des informations à passer au boot. Il y a plus d’information sur les cheatcodes [[http:// | ||
+ | |||
+ | **Après vous serez sur l’écran suivant sur le bureau de kde :** | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Cet écran vous dirige sur quelques liens, y compris sur ce manuel. Veuillez prendre le temps de vérifier les liens connexes. | ||
+ | |||
+ | Pour établir un cluster, vous avez besoin au moins d’un ordinateur de plus, ou vous pouvez créer un cluster virtuel en utilisant un paquet de virtualisation comme QEMU ou VMware (c’est ce que j’utilise pour faire ces prises de vues). L’ordinateur que vous avez initialisé avec le CD est le nœud principal, et les autres ordinateurs sont les nœuds de calcul. Ils doivent être reliés ensemble dans un réseau. Vous pouvez utiliser un port Ethernet existant, vous pouvez acheter un commutateur et quelques câbles, ou si vous voulez faire simple, vous pouvez utiliser un câble croisé pour relier un nœud simple au nœud principal. Je recommande de déconnecté le nœud principal des autres réseaux autre que celui du cluster, au moins jusqu’à ce que nous ayons pris les quelques mesures qui nous assure que le raccordement externe soit sécurisé. C’est également important de s’assurer que les nœuds de calcul ne voient pas n’importe quel serveur de dhcp autre que le nœud principal, qui causerait toutes sortes de prises de têtes, pour toi & tes collègues. | ||
+ | |||
+ | Les nœuds de calculs peuvent être initialisés en utilisant les copies du CD de PKnoppix, ou à travers le réseau, en utilisant les possibilités d’initialisation de PXE de leurs cartes de réseau. Cette option est recommandée. Vous pourriez à avoir à apprendre un peu plus dessus afin que cela fonctionne, mais vous serez heureux de l’avoir fait. Si vous voulez juste le maintenir d’une manière simple, employer la méthode du CD. Vous aurez besoin d’un CD de Pk pour chaque nœud de calcul. Ceci fonctionne très bien si votre cluster est relativement petit. Ceci à l’avantage de fonctionner avec les cartes de réseau qui ne font pas d’initialisation de PXE. | ||
+ | |||
+ | Pour employer la méthode de PXE, vous pouvez avoir besoin d’activer le dispositif dans les routines d’installations du BIOS des nœuds de calcul. Paramétrer les nœuds de calcul pour essayer l’initialisation en PXE, avant de démarrer des disques durs. Si vos cartes Ethernets sont trop anciennes pour faire l’initialisation en PXE, je recommande de les remplacer avec de nouvelles, vous y gagnerez en temps. Si vous ne pouvez pas vous le permettre, vous êtes disposer à rentrer dans les détails, de fait, ROM-o-matic peut être utile. | ||
+ | |||
+ | En considérant que vous avez fait l’installation physique du cluster, et que les nœuds de calcul sont prêts à l’initialisation, | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Vous voyez l’information suivante : | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Vous avez seulement un périphérique de réseau, le prochain écran n’apparaitra pas. Mais si vous employez | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Choisissez le périphérique utilisé pour le cluster (dans la machine de virtualisation, | ||
+ | {{parallelekp: | ||
+ | |||
+ | A ce moment là, vous devez inclure le support pour tous les autres périphériques auxquels les nœuds du calculs sont rattachés, au cluster. J’espère simplifier ceci dans le futur, mais encore maintenant, vous devez sélectionner les bons modules. (Pilotes). Certains des modèles les plus employés couramment sont présélectionnés. Bonne chance ! | ||
+ | |||
+ | Après vous pouvez ajouter les cheatcodes [[http:// | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Maintenant le cluster est paramétré comme suit : | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Vous êtes dans une boucle maintenant, avec le nœud principal en recherchant les nœuds de calcul | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | qui ont été initialisés. Vous devriez allumer les nœuds et les laisser s’initialiser. Cliquer sur « no » pour voir combien de nœuds ont été détectés. Quand vous avez le nombre désiré, cliquer sur « yes » | ||
+ | |||
+ | Sur l’écran suivant, un ordinateur a été détecté : | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Je clique " | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Noter que le 1er écran à l’intérieur de Kde a été fait à 12h38, et le dernier à 12h42. L’installation d’un cluster est vraiment rapide même en prenant le temps des prises d’écran, comme vous le faites ! Pour voir que nous avons vraiment en fonctionnement un cluster, nous pouvons lancer le moniteur : | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Vous pouvez voir le nœud principal (localhost) et le nœud de calcul (192.168.0.200), | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Pour ajouter des nœuds, employer « RestartHPC » : | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Un autre nœud a été détecté, et nous pouvons adapter le cluster comme nous le souhaitons : | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Ok, nous avons 3 nœuds au totales : | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | UTILISATION : | ||
+ | Voici un exemple de compilation et d’exécution d’un programme de MPI en C : | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Un autre exemple mais en Fortran : | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Un exemple en utilisant MPITB pour GNU Octave : | ||
+ | |||
+ | Remarquer que les synchronisations ici ne montrent pas quand les nœuds sont ajoutés puisque cela a été fait sur le cluster virtuel (3 nœuds virtuels) qui fonctionnent sur une seule machine réelle (physique). | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Il y a d' | ||
+ | / | ||
+ | |||
+ | **Comment ajouter des logiciels sans remixer le CD :** | ||
+ | |||
+ | Vous voudriez probablement utiliser les programmes qui ne sont pas sur le CD de PK. Vous pouvez modifier le CD pour ajouter des paquets logiciels ( un processus bien connu pour le remixer sous une image CD) mais dans la plupart des cas il est plus facile d’installer juste le logiciel à l’intérieur du répertoire du bureau knoppix. Si vous laissez /pkhome intact, le logiciel que vous installez sera disponible la prochaine fois que vous démarrez le cluster. | ||
+ | |||
+ | **Gromacs, un programme de dynamique moléculaire :** | ||
+ | |||
+ | La 1er étape est de créer un répertoire provisoire, un répertoire d’installation, | ||
+ | |||
+ | Ce qui donne les commandes suivantes (CF le document d’origine): | ||
+ | |||
+ | * [knoppixdff]$ mkdir temp | ||
+ | |||
+ | * [knoppixdff]$ mkdir gromacs | ||
+ | |||
+ | * [knoppixdff]$ cd temp/ | ||
+ | |||
+ | * [knoppixdff]$ tar xfz / | ||
+ | |||
+ | * [knoppixdff]$ cd gromacs-3.3.1/ | ||
+ | |||
+ | * [knoppixdff]$ ./configure –enable-mpi –prefix)/ | ||
+ | |||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Une fois que vous entrez dans la dernière fenêtre, une grande quantité d’infos, défile, et à la fin vous voyez la prochaine image, prêt à faire le paquet. En faisant un make | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | La construction de Gromacs prend un peu de temps. Par la suite vous arrivez à l’image suivante, prêt à faire un make Install. Faites ceci | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Après changer pour ./bin sous répertoire du répertoire de l’installation, | ||
+ | |||
+ | Soit les commandes suivantes : | ||
+ | |||
+ | * [knoppixdff]$ cd / | ||
+ | |||
+ | * [knoppixdff]$ cp / | ||
+ | |||
+ | * [knoppixdff]$ ./ | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Vous avez à saisir un certain nombre de fois, rapidement : | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Ok, c’est plus ou moins comme ceci qu’il faut procéder pour installer un paquet. Si vous voulez utiliser le paquet la fois d’après vous paramétrer le cluster, n’oubliez pas de sauvegarder le répertoire de l’installation quelques parts, ou il disparaitra quand vous arrêterez…Si | ||
+ | |||
+ | **Pknoppix fonctionnant sur un autre OS utilisant la virtualisation** | ||
+ | |||
+ | Pk peut être lancé sur votre distribution Linux favorite, ou sur un autre système d’exploitation, | ||
+ | |||
+ | **VMware** | ||
+ | |||
+ | Ceci explique comment utiliser au mieux le serveur VMware, v1.0.2 avec PK | ||
+ | |||
+ | * D’abord, vous devez installer le serveur de VMware sur votre ordinateur. Veuillez le télécharger ici si vous ne l’avez déjà [[http:// | ||
+ | |||
+ | Configurer VMware pour permettre la gestion du réseau à travers le NAT quand vous vous lancez dans son installation. | ||
+ | |||
+ | * Vous avez besoin également de la dernière version de l’image PKO iso. Gardez vous de la place sur le disque dur pour lancer Windows en même temps. | ||
+ | |||
+ | * Après , vous avez besoin de créer une machine virtuelle. Paramétrer la suivant l’écran ci-dessous. Remarquer que le périphérique du cdrom pointe vers l’image de PK. Vous n’avez pas besoin de graver un l’image sur un CD. Il y a 2 cartes réseaux, le première est utilisée pour réaliser un pont et relier au cluster. La 2nd fonctionne via le NAT donc le nœud principal virtuel aura accès à internet. L’espace du disque virtuel n’est pas exigé, mais si vous préférez en ajouter, | ||
+ | c’est selon… | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Après, démarrer la machine virtuelle. Tout ce qui passe ensuite ressemblera à la partie d’initialisation du cluster, vu dans ce manuel. Remarquer que les favoris dans Konqueror fonctionnent, | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Ok ;) cela fonctionne : | ||
+ | Maintenant vous démarrez le cluster, juste comme expliqué dans la 1er partie [[http:// | ||
+ | |||
+ | {{parallelekp: | ||
+ | |||
+ | Vous devriez choisir le 1er, si vous créer la machine virtuelle suivant la manière que j’ai suggéré plus haut. D’ici à plus haut, suivez juste la 1er partie de ce manuel, pour finir l’installation. Rappelez-vous que vous pouvez prendre une capture d’écran quand c’est fait. Alors vous aurez le nœud principal de PK disponible dans les secondes qui suivent ; toutes les fois que vous en avez besoin. | ||
+ | Un point important : Le nœud principal virtualisé (192.168.0.1) sera probablement plus lent quand sur un nœud physique (natif) qui démarrerait sur une carte PXE. Si c’est le cas, vous ne voulez sans doute pas que le nœud principal entame vos calculs parallèles, | ||
+ | |||
+ | Pour ce faire vous avez besoin : | ||
+ | |||
+ | * Ouvrir un terminal | ||
+ | |||
+ | * ssh dans le noeud200 | ||
+ | |||
+ | * éditer le fichier / | ||
+ | |||
+ | * taper « lamhalt ;lamboot :tmp/bhosts ». | ||
+ | |||
+ | * taper « exit » pour quitter ssh sur le nœud 200 et revenir sur le nœud maître. C’est tout ! Ainsi, tous les calculs se feront en mode réels, et votre nœud principal virtuel est juste pour gérer et visualiser votre travail. | ||
+ | |||
+ | **QEMU ** | ||
+ | |||
+ | Utiliser [[qemu: | ||
+ | Il y a un manuel pour lancer PK à l’intérieur de la machine virtuel QEMU, voir ici : | ||
+ | |||
+ | *[[deb: |
deb/parallelknoppix.txt · Dernière modification : 2018/11/17 12:52 de 127.0.0.1