SIG Et @

Import DBF/CSV to PostGIS using ogr2ogr

2012-08-13T23:46:00+02:00

Recently, I read a post from Nathaniel Kelso about some behaviours of PostGIS he want to be improved. Some days after, Paul Ramsey, one of the core PostGIS commiters made an answer about this.

Both of them, are using for importing data from DBF/CSV with location information a manual table creation, a csv import and a geometry creation similar to http://www.kevfoo.com/2012/01/Importing-CSV-to-PostGIS/

I use another way I wanted to share.

I rely on ogr2ogr, an utility from the library ogr/gdal and the virtual table format (a way to wrap other format in order to make some custom things)

Be careful, we’re using version 1.9.1 the latest stable release of ogr/gdal, some old binaries will not stand all options of our example.

The CSV example

Considering,

a myfile.csv file

Latitude,Longitude,Name
48.1,0.25,"First point"
49.2,1.1,"Second point"
47.5,0.75,"Third point"

a myfile.vrt file


    
        myfile.csv
        wkbPoint
        WGS84

and ogr2ogr command line (we custom it look like shp2pgsql default id to gid and geometry to the_geom)

ogr2ogr -f "PostgreSQL" -lco GEOMETRY_NAME=the_geom -lco FID=gid PG:"host=localhost user=postgres dbname=mydb password=mypassword" myfile.vrt -nln mytable

This below mean import from myfile.vrt (this file point to your mycsvfile.csv) into a PostgresSQL table named mytable using a geometry name set to the_geom and the id set to gid. The PostgreSQL connection is defined into PG:"…"

The DBF example

It’s the same instructions except:

you create a DBF file using same structure (simple as a cut & paste of csv into LibreOffice or OpenOffice and a save as dbf)
you replace your myfile.vrt file with


    
        myfile.dbf
        wkbPoint
        WGS84

reload the same command line changing only option for overwriting previous csv table already loaded

ogr2ogr -f "PostgreSQL" -overwrite -lco GEOMETRY_NAME=the_geom -lco FID=gid PG:"host=localhost user=postgres dbname=mydb password=mypassword" myfile.vrt -nln mytable

Small goodies

ogr2ogr related

The way we import is raw, the input is default to string but with VRT, you can custom input type for columns (default is string) See the fields part of the vrt doc http://www.gdal.org/ogr/drv_vrt.html and the example "Example: Renaming attributes" Be cautious, I haven’t try with DBF to set custom type

In our example, the ogr2ogr option "-nln mytable" can be forgotten if you don’t need to custom the output table name

Another great ressource (outside of the official doc) if you want to dive into ogr2ogr further is BostonGIS ogr_cheatsheet

For continuing DBF example, I borrow them this example

ogr2ogr -f "PostgreSQL" PG:"host=myserver user=myusername dbname=mydbname password=mypassword" sometable.dbf -nln "sometable"

shp2pgsql related

Following another Kelso question concerning make default some options in shp2pgsql, another tip is to use functions in bash (only available in Unix-like systems)

So put in ~/.bashrc

shp2pgsql_im () {
  shp2pgsql -dID $@
}

reload ~/.bashrc

source ~/.bashrc

Now shp2pgsql_im the new command with default options added to shp2pgsql

Hope you enjoy this small contribution

Quelques commandes réseaux pratiques sous Linux

2012-07-20T21:34:00+02:00

Désactiver sa webcam sous Linux

2012-07-19T18:22:00+02:00

Orthophotos de Nantes pour OSM

2012-04-04T23:20:00+02:00

Récemment, nous avons vu passer une annonce sympathique de Libertic qui annonçait qu’un contributeur (Tangui Morlier de l’April pour ne pas le citer) avait récupéré les url des raster des orthophotos de la ville de Nantes qui datent de 2005. Au final, de fil en aiguille, cela nous a amené à créer un WMS pour permettre aux contributeurs nantais d’OSM d’améliorer la couverture des données sur Nantes. Suivez le guide même si tout n’est pas détaillé :)

Récupérer les données

Nous avons voulu récupérer les fichiers pour les réutiliser. Comme les url récupérées étaient prévues par communes, certaines url étaient dupliquées. On a procédé au nettoyage pour un usage “bourrin” (récupérer toutes les orthophotos)

Pour cela, on a créé un script python pour s’exercer sur ce language.

#!/usr/bin/env python # -*- coding: UTF-8 -*- import requests, re, os def download_file(url, fileName=None): def getFileName(url, req): h = req.headers file = None; if h.has_key("content-disposition") and h.get("content-disposition")!= None and 'filename=' in h.get("content-disposition"): file = re.findall("filename=(\S+)", h.get("content-disposition"))[-1] file = file.strip("\"'") if "/" in file: file = file.split("/")[-1] else: file = url.split("/")[-1] return file try: r = requests.get(url) fileName = getFileName(url, r) if fileName == None: print "You must set a fileName, unable to auto retrieve it" with open(fileName, 'wb') as f: f.write(r.content) return fileName except: print "You got an error" pass def extract(zipfilepath, extractiondir): """"Extract files and dir from zip from zipfilepath to extractiondir """ import zipfile zip = zipfile.ZipFile(zipfilepath) zip.extractall(path=extractiondir) # Path for downloading download = os.getcwd() os.chdir(download) # Nantes csv list url_csv_ortho_nantes = "https://gitorious.org/sharedscrapers/orthonantes/blobs/raw/master/data/orthonantes.csv" file_ortho = download_file(url_csv_ortho_nantes) import csv # Now import csv file content f = open(file_ortho, "rb") reader = csv.reader(f, delimiter=";") urls = [] for index, value in enumerate(reader): # Escape first line to retrieve url for downloading if index!= 0: ville, url, abscisse, ordonnee, empty = value urls.append(url) # Delete doubles urls urls = list(set(urls)) for url in urls: filezip = download_file(url) extract(filezip, ".") # Delete original file after you dezip os.remove(filezip)

Il aurait été plus rapide de faire à la main un filtrage des url en supprimant les doublons puis de faire un wget mais notre but n’était pas la performance mais l’apprentissage.

Si vous voulez passer par wget, vous pouvez faire un

wget -i liste_ortho_nantes_2005.txt

avec ce fichier liste_ortho_nantes_2005.txt

Voir l’assemblage des dalles orthophotos

Après avoir récupéré et décompressé les fichiers, nous avons créé un shp qui référence les orthophotos (une grille listant les dalles) Cela a deux buts : rapidement se rendre compte des dalles associées à un territoire et permettre d’appeler les dalles raster pour servir un WMS.

Pour cela, nous avons utilisé gdal avec son outil gdaltindex. Ainsi en ligne de commande avec les images jpg des orthophotos décompressées dans un répertoire data, on a fait :

gdaltindex ortho_nantes_cc47_2005.shp data/*.jpg

Le shp obtenu est disponible sur ce lien

Vous pouvez le visualiser en ouvrant Quantum GIS, un logiciel qui permet de visualiser des fichiers cartographiques de manière simple.

Nous vous conseillons de superposer cette couche avec le fichiers des polygones des communes de l’agglomération nantaise. Ce second jeu de données est sous licence ODBL car extrait des données OpenStreetMap. Allez le récupérer sur cette adresse

Utiliser le serveur WMS mis en place pour contribuer à OSM (OpenStreetMap) sur Nantes

Au final, suite à une réunion OSM (au bar) sur Nantes avec Fabien Poulard et d’autres contributeurs, j’ai pris la décision de mettre en place un serveur WMS pour aider à contribuer à OSM et qui utilise les orthophotos de 2005 de Nantes mises à disposition.

Pour le processus d’ajout du fond WMS dans JOSM (l’outil de saisie le plus complet pour faire de la saisie pour le projet OpenStreetMap), nous vous invitons à vous reporter au guide déjà fourni sur http://libreavous.teledetection.fr/geomatique/9-openstreetmap/25-contribuer-a-openstreetmap-avec-les-orthophotos-geobretagne Seules l’url et la projection (Lambert Conique Conforme 47) vont changer pour accéder au serveur. L’url à renseigner est

http://nantes.sigeat.net/cgi-bin/ortho_nantes

Pour espérer ne pas avoir un usage détourné de ce WMS pour autre chose qu’OSM, nous avons limité le seuil de zoom à 1/10000.

Pour les retours sur les licences ou usages du WMS, passez par Twitter ou mailez moi sur osgeo[dot]mailinglist[at]gmail[dot]com

Installer NodeJS sous Ubuntu

2012-03-24T01:40:00+01:00

Installer Node sous Ubuntu

sudo apt-get install python-software-properties
sudo add-apt-repository ppa:chris-lea/node.js
sudo apt-get update
sudo apt-get install nodejs

Cela permet d’installer la version courante de Node JS sur la version stable d’Ubuntu.

Si vous souhaitez pouvoir compiler des modules C++ Node, n’oubliez pas d’installer les paquets de dev avec:

sudo apt-get install nodejs-dev

Installation d'Octopress

2012-03-17T02:16:00+01:00

Octopress est un framework utilisant Jekyll, le générateur de blog statique utilisé sur les pages Githubs Il vous évite d’avoir un hébergement compliqué. Le dynamisme est obtenu côté client. Vous pouvez rajouter la gestion de Twitter, de Github, de StackOverflow. Pour les commentaires ,vous passez par Disqus, un service tiers ou par une application comme Juvia. Ce post vous permettra d’aborder rapidement l’installation d’Octopress.

Prérequis

Octopress s’appuyant sur Ruby et RVM, il faut installer les deux.

On commence par installer RVM qui permet d’installer séparément des librairies pour gérer des environnements par projet.

bash -s stable < <(curl -s https://raw.github.com/wayneeseguin/rvm/master/binscripts/rvm-installer)

Ensuite, on rajoute RVM à notre shell avec

echo '[[ -s "$HOME/.rvm/scripts/rvm" ]] && . "$HOME/.rvm/scripts/rvm" # Charge la function RVM dans ~/.bash_profile
source ~/.bash_profile

On installe Ruby 1.9.2 et on met à jour RubyGems (qui sert à installer des librairies par un système de paquets)

rvm install 1.9.2 && rvm use 1.9.2
rvm rubygems latest

Il faut aussi Git : il est nécesssaire pour récupérer les sources et le but est de pouvoir versionner le blog également. Allez sur cette doc d’installation pour en savoir plus.

Octopress

On arrive à ce qui nous intéresse directement : l’installation d’Octopress.

Pour cela, rien de plus simple, exécuter les instructions ci-dessous.

git clone git://github.com/imathis/octopress.git octopress
cd octopress    # Il faudra confirmer qu'il faut faire confiance au fichier .rvmrc en répondant "yes").
ruby --version  # Doit renvoyer Ruby 1.9.2

Ajouter les paquets associés

git clone git://github.com/imathis/octopress.git octopress
gem install bundler
bundle install

Vous avez Octopress d’installé. Vous pouvez customisé à fond votre blog. Pour notre part, nous avons utilisé quelques astuces ci-dessous.

Les plugins et autres paramétrages customisés

Support du rst (ReStructured Text)

Un plugin est disponible pour transformer le rst directement dans Jekyll/Octopress Allez sur Github pour le récupérer et voir comment l’installer.

Pour le moment, nous n’avons pas réussi à obtenir un résultat satisfaisant: les accents ne marchent pas et font planter la génération html. Le plugin utilisé en Ruby (reposant sur RbST et “wrappant” rst2html.py) semble être le responsable car l’usage de rst2html.py directement par Python est ok. Ayant besoin de basculer mes écrits sur Sphinx, j’envisage de passer par Pandoc pour pallier àce problème en attendant de le résoudre.

Multiplication des flux RSS / Atom par catégories

Nous avons utilisé l’astuce mentionné sur ce blog anglophone Il suffit de copier le snippet proposé et de remplacer la chaîne “emacs” par votre catégorie.

D’autres compléments sont à venir sur Octopress