Yearly Archives: 2011

De l’open source à l’open data

Alors que l’open source VS propriétaire est un sujet de troll débat qui n’en est plus un, que le débat desktop VS web est a été remplacé par mobile VS Web (quelle différence?). Le vrai sujet aujourd’hui c’est l’ouverture des données, la preuve avec deux petits acteurs qui communiquent, chacun à leur manière sur le sujet.

Microsoft :

tant que les interfaces d’accès au service(API), les protocoles et les standards pour le cloud sont ouverts alors le client n’a pas à se soucier du code sur lequel il repose.” 

 Google :

  1. Can I get my data out in an open, interoperable, portable format?
  2. How much is it going to cost to get my data out?
  3. How much of my time is it going to take to get my data out?

What we mean by open, interoperable and portable is that your data should be exported in a format that is:

  • Publicly documented and non-proprietary (i.e. it does not require a commercial license to use)
  • Easy for engineers to write a program that can import the data into another system
A vos APIs… Tiens l’occasion de relinker ma présentation Ressource Oriented Architecture (slide 57)

Des tweets et des plus n°1 – 20 millions


One Circle to rule them all, One Circle to find them,
One Circle to bring them all and in the Web bind them
Au moins dès que la croissance de google plus va s’affaisser on aura la réponse à une question cruciale: combien il y a t-il de geek  sur terre?


Programmation fonctionnelle: au coeur de ce paradigme se trouve la possibilité de passer des fonctions en paramètre d’autres fonctions.
D’ailleurs on appel “high order function” une fonction à laquelle on passe une autre fonction. On trouve des HOF en particulier sur les listes (tout est function ou list) les 3 principales sont:

  • reduce => d’une liste vers une seule valeur (trouve le max ou le min)
  • filter => d’une liste vers une autre (ne garder que les nombres pairs ou impairs)
  • map => transformer tous les éléments d’une liste (incrémenter toutes les valeurs)

On n’a pas besoin de boucle en PF le parcours d’une liste ce fait d’une manière recursive. Tout est fonction, liste, récursion.

Laziness: puisque tout est fonction, on ne les exécute que quand on en a réellement besoin.

Composition: Il est très facile de composer des fonctions entre elles.


Lisp: List Processing Originally specified in 1958 basé sur des fonctions récursives…  Mince rien de nouveau alors. Gros avantages du paradigme fonctionnel: il n’y a pas de variable, tout est immuable, si on veut changer une valeur il faut en créer une nouvelle. Ca réduit les risques de bugs et autres effets de bords. Les traitements sont facilement parallélisable.  Go de RAM pas cher, proc multi coeur… C’est peut-être pour ça le fonctionnel revient à la mode?


Prevalence: Un SGBDR ne sert qu’à une chose charger des données du disque vers mémoire de manière efficace. Si toutes vos données tiennent en mémoire vous n’en avez plus besoin. voir prevlayer en java


Pourquoi Google et Facebook sont-ils des concurrents: Si vous ne payez pas un service, c’est que vous n’êtes pas le client : vous êtes le produit vendu


Splunk Vous générez quelques Mo (marche aussi avec des Go) de logs par jour et ne savez pas quoi en faire? Essayez Splunk, c’est bluffant.


					
Link

“Many consultancies gain considerable revenue with product vendors whose products require lots of consulting support but provide little value to users.”

Martin Fowler

Github, Cloudbees, Feature Flags

Quand les enfants ne sont pas là le geek code 😉

Mettre en oeuvre un processus d’intégration continue peut se faire rapidement, avoir une suite de test unitaire couvrant de manière satisfaisante son code est une autre histoire… Particulièrement sur un “code  legacy” (qui a été écrit sans test unitaire) ,  trop souvent les bugs sont découvert en production par les utilisateurs finaux.  Il faut alors revenir en arrière, reproduire et corriger le bug dans un environnement et re-livrer plus tard, sans parler d’une éventuelle reprise des données qui auraient été corrompues. Oui il y a du vécu.

Une technique pour réduire les effets néfastes d’un bug en production est de déployer progressivement à des populations restreintes les nouveautés. Pour cela il faut séparer la livraison du code de l’activation des fonctionnalités qu’il contient.

Un simple if/else peut suffire, on parle de feature flags chez Flikr.

if (newStuffIsOn) {
	doIt
} else {
	doNot
}
Voilà donc ce que j’ai codé ce week-end… Bon un peu plus en fait. Car il faut un moyen propre et élégant de gérer, d’activer et de désactiver ces flags en production.

Voici donc Feature Flags

L’idée est de gérer les flags dans un enum:
public enum Flags implements FeatureFlags {
    ONE("First Feature Flag"),
    TWO("Second Feature Flag", FlagState.UP),
    THREE("Third Feature Flag");
}
if (ONE.isUp()) {
	doIt
} else {
	doNot
}
Feature Flags génére dynamiquement à partir de l’enum une page html pour activer désactiver ces flags en live, mais aussi une interface RESTful pour les manipuler comme on souhaite.

RESTful

GET http://yourhost.net/flags/ONE pour connaitre l'état
POST http://yourhost.net/flags/ONE pour inverser l'état
PUT http://yourhost.net/flags/ONE avec UP ou DOWN en contenu pour forcer l'état d'un flag
Rien de fantastique que ce soit fonctionnellement ou au niveau du code mais il s’agissait aussi d’un pretexte pour me mettre à git et github

GitHub

Quelle claque. J’ai mis du temps à comprendre pourquoi Linus disait que svn ne marchait pas par conception, après tout ça a marché pour moi pendant des années. Git est clairement le bon concept. La preuve: github, il n’existera jamais de svnhub, avec github nous sommes tous à un click de pouvoir contribuer à des milliers de projets open source. D’ici quelques années github aura produit un impact majeur sur la croissance et la vitalité de l’open source. En fait c’est déjà le cas, mais j’ai la conviction que l’on a encore rien vu. Un peu comme les moteurs de blogs ont déclenché la vague web 2.0 du web participatif. On peut parler d’open source 2.0.

Cloudbees

Deuxième claque. Le projet Feature Flags contient une webapp de démo, le plus simple pour montrer ce que fait Feature Flags est encore une démo (vous allez pouvoir découvrir mes talents de designer web, please fork it ! du html là aussi). Mais héberger un war java sur Internet a toujours été un problème. Les différents clouds publiques apportent des solutions. Avec cloudbees déployer du code java est presque aussi simple qu’uploader une appli php. Il s’est écoulé une petite 1/2heure entre le moment où j’ai décidé de m’inscrire à Cloudbees et le moment où mon application était live, le plus long a été de lire un peu la doc. Petite déception, il n’est pas possible n’était pas possible hier de déployer directement un war généré dans le jenkins de DEV@cloud vers le tomcat RUN@cloud.

Age d’or du développeur

Ajouter à ça le mobile (android), html 5, l’adoption des méthodes agiles, le développement vit un nouvel age d’or.