Yearly Archives: 2012

Gérer vos installations comme un Chef !

BIP BIP, message urgent: le serveur 12 est tombé. Nous sommes lundi il est 6H du matin, les utilisateurs vont débarquer en masse dès 8H, et avec un serveur d’appli out on ne va jamais tenir la charge… Heureusement, la procédure d’installation du serveur est à jour… enfin devrait l’être, ça va pas prendre plus de .. oulà 3H pour refaire l’installation.

Vous aussi vos procédures d’installation sont constituées de:

  • scripts shell par forcément à jour
  • une documentation pas synchro avec les scripts shell et encore moins à jour
  • quelques incantations magiques transmises de génération en génération selon la tradition orale
Après consultation, le médecin est formel, ce sont les symptomes d’une crise de “configuration management”. A traiter d’urgent avec du Chef ou du Puppet.

Chef ou Puppet

Vaste débat, j’ai commencé par puppet, je ne vous raconte pas la galère juste pour réussir à lui faire installer le jdk d’oracle… J’ai eu un peu moins de mal pour faire la même chose avec Chef, j’ai donc choisi ce dernier. L’important n’est pas lequel mais bien d’utiliser un outil de ce genre pour gérer la config des machines.
Deux concepts sont à retenir:
  • Infrastructure As Code => la configuration des serveurs doit se gérer comme le code source d’une application.
  • Documentation executable => Pas de désynchronization entre la doc, le code et ce qui est réellement installé.

Chef pour gérer son poste de dev

Bon évidemment c’est un peu le marteau-pilon pour caser une noix mais c’est un bon moyen de se former. Pour démarrer j’ai voulu suivre la doc officielle, Fast Start Guide avec un compte chef hosted ERREUR. Ce n’est pas que cette doc soit mauvaise mais elle vient avec toute la complexité d’une configuration chef de type client/server. Pour démarrer mieux vaut partir sur chef-solo, avant de passer aux choses sérieuses avec chef-server. Voici un très bon tuto: Chef Solo tutorial: Managing a single server with Chef. La suite de cet article s’en inspire fortement.

Prérequis:

  • debian ou ubuntu, j’ai eu des galères en essayant avec une distrib plus exotique.
  • git, on fait de l’Infrastructure As Code donc gestion de code source…
git clone git://github.com/toutantic/chefrepo.git
git checkout step1

Voici le contenu de ce repo:

??? README.md # ce fichier
??? install.sh # script pour installer chef
??? deploy.sh # script pour déployer vers une machine distante
??? run.sh # script pour démarrer chef-solo
??? config
?   ??? attributes.json # Liste des attributs à utiliser (liste des recettes et paramétres)
?   ??? solo.rb # Configuration de chef-solo 
??? cookbooks
?   ??? toutantic
?       ??? recipes
?       ? ??? default.rb # recette par défault

Le script run.sh lance chef avec la commnde chef-solo -c config/solo.rb -j config/attributes.json

  • config/solo.rb permet de configurer chef-solo en particulier de lui dire où trouver les cookbook
  • config/attributes.json contient les attributs à utiliser en particulier la liste des recettes à appliquer.
3 manières d’utiliser chef:
  • Créer une recette simple avec les ressources disponibles
  • Réutiliser une recette existante
  • Créer un nouveau cookbook

Exemple de recette simple

cookbooks/toutantic/recipes/default.rb contient la description de ce que l’on veut faire sur le poste. J’y ais mis quelques exemple des “resources” que l’on peut décrire en standard avec chef.

Exemple de réutilisation d’une recette

C’est l’un des grands intérêts de chef, c’est un grand livre de cuisine, on trouve en particulier les recettes de:
Je veux donc installer java, vous allez me dire apt-get install openjdk-7-jdk… C’est pas faux. Maintenant si ce n’est pas l’openjdk qu’il vous faut mais celui d’Oracle, c’est déjà moins simple.

Installation d’un jdk avec chef:

git checkout step2_java
  • J’ai légérement modifié le fichier run.sh pour pouvoir passer le nom d’un fichier json en paramétre.
  • J’ai recopié le cookbook java proposé par opscode, il propose deux manières d’installer java:
    • En utilisant directement ce cookbook java, on le paramétre dans le fichier d’attribut json
    • En utilisant le LWRP java_ark qui est définit dans ce cookbook, c’est une nouvelle ressource qu’on peut utiliser et configurer depuis une autre recette
  • J’ai rajouté trois fichiers json et une recette

 Création de son propre cookbook

Il est temps de passer aux choses sérieuses! Tout d’abord un petit lien How to write a good Chef cookbook. Maintenant que java est installé on peut passer à Tomcat, là pour le coup je n’ai jamais été satisfait de apt-get install tomcat7…

git checkout step3_tomcat

Voici mon cookbook pour installer tomcat à ma sauce :

??? tomcat
?   ??? attributes # Tout ce qui est paramétrable
?   ?   ??? default.rb
?   ??? files # Contient les fichiers à copier tel quel
?   ?   ??? default
?   ?     ??? manager.xml
?   ?     ??? tomcat-users.xml
?   ??? recipes
?   ?   ??? default.rb
?   ??? templates # Contient les fichiers paramétrables
?        ??? default
?         ??? tomcat_conf.erb
?         ??? tomcat_debian.erb
Au final, la ressource qui s’est avéré indispensable pour installer tomcat comme je le souhaitais a été celle nommée …”bash” !

Conclusion

Mon sentiment à propos de chef est mitigé. Je suis plus convaincu par les bonnes pratiques que Chef recommande que par l’implémentation elle-même. Chaque avantage que j’ai trouvé dans Chef cache des inconvénients.

Communauté de partage des bonnes recettes, sans doute le point le plus intéressant, mais les recettes proposées par opscode se veulent très générique (multi plateforme) et sont donc trop complexes.

Documentation exécutable, pour celà le DSL Chef pour écrire les recettes est déclaratif, c’est plus lisible, mais aussi beaucoup moins concis  que l’équivalent en bash. Et bien sûr contraignant, on fini par écrire du Ruby ou lancer une commande shell pour sortir du carcan.

Chef Server, c’est sans doute avec cette brique que Chef prend tout son sens. Mais la mise en oeuvre est complexe. A tel point que chez fasterize ils ont trouvé plus simple d’intégrer capistrano avec chef-solo à la place…

La grosse déception étant que l’on reste très loin de pouvoir se passer de connaitre le shell…

Innovation As A Service

Je suis un fan des travaux de Simon Wardley à propos du cycle d’évolution des activités: d’une innovation émergent des projets spécifiques qui peuvent devenir des “produits” eux mêmes commodifiés par des services ou des projets open source. Ces commodités pouvant servir de base à de nouvelles innovations auparavant inimaginables… La boucle est bouclée.

Se servir de la technologie comme levier pour innover est l’une des choses qui me motive  chaque jour dans mon métier. Nous (les informaticiens) vivons une époque formidable, j’ai aujourd’hui la chance de pouvoir pousser tout ça un peu plus loin à un nouveau poste…

Je rejoins le Groupe Sfeir en tant que Directeur Technique.

 

Des tweets et des plus n°18 – Methods to find out what’s going on

Valve Handbook for new employees : hierarchy or codified divisions of labor […] We believe those structures inevitably begin to serve their own needs rather than those of  Valve’s customers

What Amazon’s ebook strategy means: By foolishly insisting on DRM, and then selling to Amazon on a wholesale basis, the publishers handed Amazon a monopoly on their customers—and thereby empowered a predatory monopsony.

Word, le fax du XXIe siècle: Je ne connais qu’une personne qui adore Word: mon fils de 4 ans. Il aime bien mettre le nom des lignes de métro dans la bonne couleur, ou écrire «automne» avec chaque lettre dans une teinte de feuille différente, ou sauter de la police Times New Roman à Comic Sans. Il adore aussi écrire sur ma vieille machine Smith-Corona. Les outils qui ont perdu de leur utilité font de remarquables joujoux.

Vive Soap: We have an employee whose last name is Null. He kills our employee lookup app when his last name is used as the search term.

Why is Estimating so Hard? It turns out that we don’t know the procedure. We haven’t got any clue to just how difficult the procedure is. We aren’t computers. We don’t follow procedures. And so comparing the complexity of the manual task, to the complexity of the procedure is invalid.

 

Des tweets et des plus n°17 – Dark Ages of Developer

Avez-vous la culture agile ? Agile Timeline: 1976: publication of Software Reliability by Glenford Myers, which states as an “axiom” that “a developer should never test their own code” (Dark Ages of Developer Testing)

CAMARADES AGILISTES, “INDIGNEZ-VOUS !”: Quoi qu’en disent les SSII, l’agilité et le mode forfait sont immiscibles comme l’eau et l’huile !

PHP: a fractal of bad design: programming is a hilariously young discipline, and none of us have the slightest clue what we’re doing.

What Powers Instagram: 

  • Keep it very simple
  • Don’t re-invent the wheel
  • Go with proven and solid technologies when you can

Des tweets et des plus n°16 – Big data

BIG DATA : Hors Hadoop, point de salut: la déferlante Hadoop a étouffé toute velléité de concurrence propriétaire, devenant hégémonique en à peine 4 ans d’existence […] Hadoop a permis de déverrouiller le marché du Big Data dès sa genèse et le rendre accessible à tous, des grands groupes jusqu’aux TPE. Un constat qui aurait été impossible avec des outils purement propriétaires

Big Data & Open Source: une convergence inévitable?: ce marché à la fois stratégique et à très fort potentiel de croissance.

Why “Big Data” needs to be Functional : Dean examines how OOP and Java thinking is impacting the effectiveness of Hadoop […] Hadoop is enterprise java bean of our time (démarre réellement @ 12min)

Why Large Enterprises and EDW Owners Suddenly Care About Big Data:  The Cost of 1 Gigabyte in 1980 was $210,000 – Today it’s 15 cents.