Affichage des articles dont le libellé est csv. Afficher tous les articles
Affichage des articles dont le libellé est csv. Afficher tous les articles

jeudi 16 septembre 2021

miller, traiter les fichiers CSV (et autres) en ligne de commande

Hier, j'ai découvert le programme mlr (source: https://github.com/johnkerl/miller). Il est installable par apt sous ubuntu.

Il permet d'effectuer des traitements sur les fichiers dont les données sont indexées par nom
name-indexed data such as CSV, TSV, and tabular JSON


La documentation semble bien étoffée: https://miller.readthedocs.io/en/latest/index.html






Exemple pour retrouver les communes de Dordogne qui ont un code postal girondin (et oui, cela existe !) :


samedi 15 février 2020

csv, visualiser en ligne de commande

Voici une commande à ajouter dans son .bashrc afin de visualiser le contenu d'un fichier CSV sans avoir à ouvrir une application spécifique.





mardi 9 septembre 2014

Windows vers linux

Lors de récupération de données créées depuis office$, et exportées en CSV, texte brute, l'apostrophe se retrouve parfois "incurvée".

Cela n'est pas forcément très visible mais peut occasionner des problèmes d'affichage de page ou de vocalisation dans le cas de services vocaux...



Il faut donc penser à convertir ce caractère en "vrai" apostrophe !

samedi 28 septembre 2013

bash, fonction de filtre et d'extraction de données d'un csv en bash

J'ai mis à disposition sur mon repository git un utilitaire csv-functions.sh pour filtrer et extraire des données d'un fichier csv en bash.

Voici un exemple d'utilisation :



avec son résultat :

lundi 15 octobre 2012

python, lire et écrire des fichiers xls

Si l'on a des fichiers Excel que l'on souhaite lire ou écrire, on peut utiliser les paquets xlrd (reader) et xlwt (writer).

Voici un petit exemple de ce que l'on peut faire :



La page suivante propose des exemples clairs et rapides pour bien commencer :
http://www.dev-explorer.com/articles/excel-spreadsheets-and-python

jeudi 11 octobre 2012

awk, créer des requêtes SQL depuis un fichier csv

Par exemple :



awk, fs, insert into table

lundi 16 juillet 2012

mysql, importer un fichier csv

Pour charger un fichier csv dans une table on peut utiliser la commande suivante :

mysql> load data infile '/path/to/file.csv' into table mytable character 
set 'utf8' fields terminated by ';' IGNORE 1 lines;
Query OK, 786 rows affected (0.13 sec)
Records: 786  Deleted: 0  Skipped: 0  Warnings: 0
Ici, le charset est spécifié et la première ligne du fichier CSV est ignorée (titre des colonnes).

mardi 26 juin 2012

mysql, export d'une table au format csv

Il est possible d'exporter le contenu d'une table dans un fichier via une requête mysql. Voici la syntaxe :
SELECT champ1,champ2 FROM matable INTO OUTFILE 'lefichier.csv' 
FIELDS TERMINATED BY ';' OPTIONALLY ENCLOSED BY '"';