Une Hackfest à Zanzibar (j’adore ce titre)

Cette année, la hackfest QGIS, aussi appelée « developer meeting », s’est tenue juste avant le FOSS4G international de Dar-Es-Salaam en Tanzanie, et à quelques encâblures au large dans la région autonome de Zanzibar.

J’ai eu l’immense chance de pouvoir y participer, et au passage de visiter un peu le pays, voilà l’occasion de partager ce que j’ai pût y voir.

Coucher de soleil à Zanzibar

Et

Visite de la Land Mapping Commission of Zanzibar et d’un projet de cartographie drone à très haute résolution de tout le territoire puis de digitalisation du bati,  la Zanzibar Mapping initiative. Open Source à tous les étages, QGIS, PostgreSQL, mais surtout une vrai vision à long terme n’oubliant pas l’humain. Impressionné et admiratif pour l’équipe et ceux qui les appuient depuis quelques années. .

Les données vont être versées à OpenStreetMap, et des challenges de Machine Learning vont être lancé au FOSS4G pour améliorer les process de mise à jour des données.

Les étudiants de l’université de Zanzibar sont également venu découvrir cet étrange évènement qu’est une hackfest, et comprendre comment commencer à contribuer. Et effectivement, ce n’est pas évident au premier abord de rentrer dans une pièce relativement silencieuse et d’oser interrompre des personnes en apparence très préoccupées par leur bug du jour 🙂

Nous avons eu une discussion très concrète pour la mise en œuvre de règles claires pour les entreprises et instituts souhaitant être certifiées pour délivrer des certificats aux stagiaires.  Certifier les certificateurs donc.  Nous avons abouti à un workflow relativement pragmatique et tolérable avec les quelques ressources dont le projet dispose, et avec également des propositions pour répondre au besoins des universités et écoles. Les annonces devraient arriver rapidement.

Pour ma part, j’ai profité de ce moment sans sollicitation pour tester les performances du rendu du moteur de QGIS Desktop, en comparant les versions.  En effet, les travaux menés par Oslandia sur les performances ont permis d’identifier des régressions de vitesse de rendu des lignes et des polygones dans QGIS Server 3. Ces régressions sont bien visibles dans les rapports de performance générés automatiquement et déposés sur les serveurs de QGIS.org. Face à ce constat, je souhaitais donc prendre le temps de vérifier de nombreuses hypothèses de rendu coté QGIS Desktop pour évaluer si ce sont des phénomènes purement liés à QGIS server, pendant que les collègues auditent le code du serveur en parallèle.
J’ai donc utilisé des scripts standalone dédié à QGIS 2, pris le temps de les adapter à l’API QGIS 3, et joué les mêmes tests en parallèle dans QGIS desktop. Le travail n’est pas fini, mais les conclusions sont claires. C’est un très bon exercice pour évaluer l’ampleur des ruptures d’API entre les deux versions. [edit]  Je vous livre mes conclusions, QGIS3 desktop est en moyenne 2 fois plus rapide que QGIS2 pour du rendu, parfois 4 fois plus rapide dans certains cas. Ce qui est une excellente nouvelle! Et l’autre bonne nouvelle est que le problème est uniquement dans QGIS server, ce qui sera bien plus simple à corriger (enfin on espère).  Bon, en fait c’est pas si simple, les options de compilation mettent du bruit, et on semblerait se rapprocher d’un QGIS 3 un peu plus rapide que QGIS 2, mais d’un ordre de grandeur similaire. Au conditionnel, parcequ’on trouve de nouveau des résultats contradictoires [/edit]
Nous avons eu également quelques présentations des divers projets travaillés pendant la hackfest:

  •  Démonstration du plugin Dataplotly par Matteo Ghetta – A conseiller vivement pour tous les data scientists en herbe!
  • Matthias Kuhn et Denis Rouzaud on présenté les dernières évolutions de QField. On atteint un niveau de maturité vraiment intéressant désormais, et l’outil est traduit dans plus de 20 langues maintenant

quelques bières aussi

et évidemment, l’ambiance incroyable de la ville de Stone Town, les magnifiques plages de Zanzibar, et quelques magnifiques parcs en Tanzanie (Ngorogoro, Tarangire, Manyara)

  

L’expérience continue maintenant avec le FOSS4G à Dar Es Salaam!

 

…. Et même les produits ménagers ici semblent avoir choisi leur camp !

Publicités
Une Hackfest à Zanzibar (j’adore ce titre)

A propos

Passionné depuis tout petit par le monde qui m’entoure, je n’arrive jamais à choisir entre  mer ou montagne, cailloux ou bestioles, informatique ou bricolage. J’ai appris à voir le monde d’en haut depuis mes trois ans grâce à un papa passionné d’aviation, ça à laissé quelques traces.

Passionné de géographie, d’agronomie, d’hydrologie, j’ai eu la révélation lors de ma première rencontre avec les outils SIG (tout en faisant des trous dans les sols pour les cartographier)…

Depuis, je sombre progressivement vers le coté obscur.

Pour faire des cartes, il faut des données…

Pour exploiter des données, il faut des bases de données…

Pour exploiter des bases de données, il faut des logiciels…

Pour faire des logiciels, il faut faire du code…

et me voilà à côtoyer des ingénieurs en C++ vouant un culte sans faille à Donald Knuth, Linus Torvald et Richard Stallman. (Je vous laisse chercher hein), tout en tentant de braver un clavier typematrix en BEPO.

Ma rencontre avec les communautés de développement Open Source, et notamment celle du projet QGIS ont été pour moi une révélation et une opportunité fabuleuse d’ouverture sur le monde (du fin fond d’Australie, en passant par la Tanzanie ou la Suisse).

Bon, après une parenthèse de 15 ans sans voler autrement qu’avec un kite, je reviens à mes passions aéronautiques avec un parapente sur le dos.  🙂

Pour en savoir plus, sur le coté pro, c’est sur Linketruc .

 

A propos

Bivouac géomatique fortuit

La rentrée scolaire est passée, les vacances s’estompent.

La météo annonce le retour de la pluie, mais beau temps pour le dernier jour de la semaine. Les mailings lists de clubs de parapente fourmillent de propositions de dernière minute, à la Grenobloise:

« Bivouac Dent de Crolles – vol parapente au lever de soleil, Qui n’en veut??? »

Faut pas le dire deux fois. J’attrape le sac de couchage, le parapente, un peu de ti-punch (pour concurrencer la Chartreuse locale), trois affaires chaudes et c’est parti!

Bon… c’est ça la dernière minute sans réfléchir. Fait froid. Du vent. Un gros nuage pile sur la dent de Crolles.

Je retrouve une dizaine de nouvelles têtes, cachées dans un trou du karst, en train de couper 4 kg de fromage pour une fondue surprise.

Soirée délirante, alternant tisane pour se réchauffer, fondue excellente et autres spécialités locales à boire. Le contraste avec l’ambiance extérieure est saisissant:

IMG_20170907_205346208

Un nuit au bivouac fraîche à très fraîche. Posé au hasard dans le brouillard dans un espace vaguement plat, vaguement abrité.

Au réveil, surprise, la lune gibbeuse, et une drôle de montagne juste en face.

IMG_20170908_064219146

IMG_20170908_064142995

Oui oui, le Mont Blanc. J’ai bien choisi mon spot hier soir!

Froid, le rétro planning pour le travail à 9 heures est impitoyable pour les randonneurs qui doivent descendre à pied, on file vérifier les conditions du décollage.

Pas le temps de boire un gorgée d’eau ou même le moindre petit déjeuner, les conditions sont parfaites, la vue époustouflante.

IMG_20170908_070716825_HDR

Décollage à trois en file indienne, c’est plus que magique. 20 minutes de vol contemplatif. Ma première dent de Crolles en parapente va rester longtemps gravée dans ma mémoire, à défaut d’oser encore prendre des photos en vol.

Et la géomatique dans tout ça me direz vous?

Au moment de partager les frais de fondue, on s’échange nos adresses et une des participantes m’annonce être modératrice du forum Georezo !

Il y a vraiment des géomaticiens partout ici 🙂

 

 

 

Bivouac géomatique fortuit

Back to life

6 mois d’absence sur ce blog, on change pas de vie sans y laisser un peu de sommeil 🙂

Donc… nous disions dans le dernier article:

  • Nouvelle ville : Grenoble
  • Nouveau boulot: Oslandia

Coté ville, enfin les montagnes à portée de main, on a réussi à faire quand même des randos, du vélo, un peu de parapente, et même un peu de ski et de kitesnow malgré une saison climatique rarement vue, et une prise de poste intense.

Coté boulot, c’est le grand saut:

  • Télétravail 100%, au début c’est déstabilisant, mais ça marche
  • bureau Assis – debout (je conseille)
  • « Vous allez voir du pays qui disaient ». Effectivement, mais bilan carbone nickel, pas un déplacement en voiture:  0 voiture jusqu’à maintenant.
  • Des projets d’application lourdes QGIS – Postgis, c’est l’âge de maturité. Eau potable, Eaux usées, Urbanisme, données publiques, qualité des eaux et inondations, conseil SIG, formation…c’est riche, ça bouge vite et fort !
  • Une équipe de collègues incroyable (vraiment, je me sens tiré vers le haut.. en mode collé au siège)
  • « git git git git git git » ou le cri moderne de l’homme collaboratif ! J’ai eu l’étrange impression de vivre quelques moment du film Inception,  entre dépôts, branches, clones, forks, commits et reverts, et rêves éveillés. Mais le cerveau humain a une capacité de souplesse étonnante, le tri finit par se faire (à condition de dormir).
  • PostgreSQL ne cesse de m’étonner, quel avenir… Je causerais sûrement un peu de base épaisse prochainement.

Les bonnes résolutions de cette année:

  • Faire savoir un peu plus ce qu’Oslandia fait, il y en a vraiment beaucoup à dire!
  • Prier pour avoir de la neige l’an prochain, on a eu un avant goût seulement
  • Trouver une maison
  • Voter ( et bien )
  • Devenir autonome en parapente
  • Participer à la réécriture de qgis server, apporter la 3D dans QGIS, la vie du projet…
  • Migrer quelques plugins python

J’y retourne!

 

Back to life

Changement de vie !

C’est fait…

après 6 mois intenses, le projet de famille tant discuté s’est concrétisé. D’où l’absence d’activité sur le blog 🙂

Résumé rapide de ce beau défi:

  • ville: Toulouse Grenoble
  • employeur: public Privé
  • OS pro : Windows Ubuntu
  • Spécialité : Cassoulet Tartiflette
  • Vue: canal du midi Sommet de Belledonne
  • QGIS: ça on garde et on renforce 😉

La suite au prochaine épisode!

 

 

 

Changement de vie !

Retour sur la conférence QGIS internationale Girona

Du 25 au 29 mai dernier s’est tenue la première conférence internationale QGIS, suivie d’une désormais traditionnelle hackfest, le tout hébergée dans le cadre des 10èmes rencontres Sig-libre  organisées par l’université de Girone, le tout dans un cadre magnifique !

IMG_20160526_163306.jpg

 

IMG_20160526_095823.jpg

 

IMG_20160526_163550.jpg

La quasi totalité des contributeurs actifs étaient présents, y compris australiens, sud africains, nord américains, une occasion rare de rencontrer les membres de cette communauté hyper-active.  La communauté francophone était très présente également.

Le programme et les discussions étaient riches, voilà un florilège de ce que j’en ai retenu:

Nyall Dawson: les trucs et astuces pour être plus productif:

  • Utilisez les réglages de listes de couches et de styles pour garder en mémoire des combinaisons de cartes (un contexte cartographique). C’est utilisable coté carte et composeur de carte, et très pratique pour la réalisation de compositions multicartes, ou de l’automatisation. 
  • Besoin de calculer des tailles de pages ou des ratios? oubliez la calculatrice ou votre tableur, toutes les boites de saisie de QGIS supportent les opérations mathématiques simples !

spinbox_magic.pngspinbox_magic_result.png

… simplement magique 🙂

et plein d’autres à venir dans une rubrique trucs et astuces?

 

Peter Wells (Lutra Consulting):

un bilan des migrations vers QGIS dans le secteur publique de nos voisins de Grande Bretagne. La convergence avec ce qui se passe chez nous est frappante, les besoins explosent, les utilisateurs montent en compétence, les administrateurs SIG ont besoin d’influer sur l’évolution des outils ( et adorent ça), les bases de données spatiales centralisées sont une base obligatoire, et les baisses de budgets et de moyens arrivent à la même convergence.

 

Karl-Magnus Jönsson (Municipality of Kristianstad) : Develope without developing 

Développer sans développement, beau programme :). Les formulaires de QGIS permettent de faire de plus en plus de choses sans code, et l’on peut (on doit) déporter les logiques métier coté base de données, en jouant sur les déclencheurs, les vues éditables et les règles de mise à jour. C’est le concept de base de donnée épaisse que j’aime particulièrement, il permet une meilleur architecture du SI, en laissant le travail de traitement de données, aux bases de données, en allégeant les clients, et en offrant des services à plusieurs clients potentiels. 

 

QGIS’s New Authentication System and Plugins Larry Shaffer (boundlessgeo)

L’histoire de la genèse des outils d’authentification et de sécurisation de QGIS. Un gros morceaux très technique, financé par les agences gouvernementales américaines! Pour la petite histoire, il semble que ESRI n’était pas très pressé de développer cela dans ses outils, ce qui a précipité une partie de la bascule des clients SIG vers QGIS, dans le bastion de la clientèle de l’éditeur Nord américain. Depuis, on a vu la NSA ouvrir un dépôt Github pour ses plugins QGIS.

…Une vague de fond je vous dis.

 

QGIS Processing Framework overview Alexander Bruy 

Processing is not an analysis framework Victor Olaya 

A retenir, processing fourni énormément de méthodes prémâchées pour le développement. Si vous développez un plugin, pensez donc à voir si Processing ne vous permet pas en un ligne de faire ce qui en prend parfois 30. Un système de librairie partagée en somme. 

De même si vous développez un plugin, identifiez les parties de code qui mériteraient d’être mutualisées sous forme d’algorithmes processing, ce qui rationalise le développement et facilite la maintenance. 

Les frenchies d’Oslandia, 3Liz et CamptoCamp étaient présents en force pour de nombreuses nouveautés:

  • les virtual layers: rappeler vous des requêtes Mapinfo. Le ministère de l’écologie en était nostalgique (moi aussi), plus besoin de charger explicitement en base de données pour faire du SQL spatial, avec un assistant de requêtage, on travail en direct sur les couches du projet, quel que soit leur format. En soute, c’est Spatialite qui fait le boulot… 
  • Lizmap, on ne présente plus en France, mais dans la communauité QGIS ce n’était pas encore très connu. Voilà qui est fait. Bientôt Lizmap comme client web officiel hébergé sur le github de QGIS?  En tout cas, je cherchais la carte scolaire pour mes enfants, et c’est lizmap qui m’a répondu la semaine dernière… simple et efficace.
  • L’état de l’art sur l’interopérabilité OGC et QGIS: le WMS temporel arrive, le WFS 2.0 aussi, il reste du travail sur les styles SLD  (mais est-ce l’avenir?)

 

Enfin, un bel outil de communication entre flux de données de modélisation hydro-météo -océano entre THREDDS et QGIS.  

Je passe beaucoup de choses, les discussions du soir étaient également très riches sur la gestion du projet. Si quelqu’un peut faire un résumé des avancées de la hackfest à laquelle je n’ai pas pu aller…

 

Retour sur la conférence QGIS internationale Girona

Anticipez la migration de vos plugins pour QGIS 3

La communauté QGIS est en train de préparer la migration vers QGIS 3.x, dont il faut anticiper dès maintenant l’impact.

La migration vers QGIS 3 devrait permettre :

  • de basculer sur Qt5, qui corrigera pas mal de bugs, et ouvrira aussi de nouveaux outils comme une librairie de Graphe très complète.
  • migrer vers Python 3
  • monter de version PyQt4, la glue entre python et Qt..

Comme pour tous les autres SIG du marché (rappelez vous les migration Arcview, ArcGIS), les impacts seront relativement importants, et au premier chef, vos plugins python nécessiteront d’être réécrits… Pas de panique!

 

qgis_keep_calm
http://anitagraser.com/2015/05/31/qgis-3-0-future-plans/

 

La transition pour python peut être anticipée, puisqu’il est possible dès maintenant de reprendre le code de vos plugins pour les rendre compatible pour python 2 et python 3 (et donc toutes les version 2 et 3 de QGIS).

Pour nous aider à commencer tranquillement ce travail au fil de l’eau, Matthias Khun vient de publier un premier tutoriel:

http://www.opengis.ch/2016/03/23/prepare-your-plugins-for-qgis-3/

En résumé:

  • N’importez pas tous les modules sur mode « import * »

 

  • Ne convertissez en string que lorsque c’est nécessaire

 

Je vous laisse lire l’explication détaillée dans le blog. Les changements entre python 2 et 3 concernent majoritairement la gestion du texte, qui sera bieeeen  plus simple après.

  • Rédigez des test unitaires

Ca devrait être un réflexe pour tout code de nos jours. Les développeurs de l’extreme programing considère qu’un code sans test est un code cassé. Avec des tests, on développe plus vite aussi, on débuggue plus vite, on ne régresse plus..

  • tout savoir sur les conversions Python2 to Python3

http://python3porting.com/noconv.html , la base.

Pour nous francophones, je ne saurais que vous conseiller d’écumer le blog de Sam et Max (ne vous trompez pas de rubrique quand même 🙂 ):

http://sametmax.com/ca-y-est-on-peut-coder-en-python-3/

et aussi là: http://sametmax.com/python-3-est-fait-pour-les-nouveaux-venus/

et plus généralement, tout ça: http://sametmax.com/passage-a-python-3/

 

Ya plus qu’à. Il y a quand même plusieurs centaines de plugins pour QGIS, mais on a pas énormément de plugin à gérer chacun individuellement.

Et si vous commencez un plugin maintenant, développez directement en python 3 compatible avec la librairie « future », ça vous évitera de recommencer dans un an et vous pourrez briller en société ou sur le marché du travail.

 

 

Anticipez la migration de vos plugins pour QGIS 3