PyCommonCrawl – Traiter le Web

Le but de ce projet est de créer un outil simple pour pouvoir traiter les données issues de CommonCrawl grâce à Python.

Je voulais faire quelque chose de simple. Le problème était que télécharger la totalité des données de CommonCrawl demandais trop d’espace (la version comprimée pesait à peu près 53 TiB). Il me fallait une “solution en streaming/en ligne”. Heureusement, les données étaient segmentées en plusieurs morceaux (56000) . Ma solution se contente de rendre la gestion des téléchargements et suppressions de fichiers transparente afin d’avoir l’impression de n’avoir qu’un seul fichier. Il est possible de traiter chaque ligne séparément ou par bloc au format WARC (le format des archives de l’internet).

Cependant, cette solution peut-être très longue et le facteur limitant est le téléchargement qui nécessite une bonne connexion.

Le code est disponible sur Github et j’ai créé un package python.

Foires d’art – iCalendar – ICS

Voici un calendrier ICS pour intégrer facilement toutes les foires d’art de France dans votre calendrier personnel. Vous pouvez utiliser l’URL pour l’intégrer dans Google Calendar.

Je tenterai de le tenir à jour. Pour plus de pays, me contacter. Les données sont extraites de http://www.artfairsservice.com/fr/calendrier-des-foires-dart/ et le code peut être obtenu sur GitHub.

Pyformlang

Pyformlang est une bibliothèque permettant de manipuler les langages formels.

Il est entierement implémenté en Python et le code est écrit pour pouvoir comprendre comment fonctionnent les algorithmes. Tout est bien sur Open Source et peut être trouvé sur Github. La documentation est sur readthedocs et pyformlang est sur Pypi.

L’installation est très simple avec pip: pip3 install pyformlang

Kudly

Salut !

Aujourd’hui, je viens vous parler d’un projet que j’ai réalisé cette année avec une équipe de cinq télécommiens (Télécom Paristech).

Pour nous, les jouets représentent l’enfance. Damien, Marc, Antoine,Dimitri et moi-même avons voulu créer un nouvel objet innovant, intuitif et interactif qui fasse le bonheur des enfants et simplifie la vie des parents. Une idée nous est immédiatement venue à l’esprit : un ours en peluche connecté !

(suite…)

BumpBand

Salut !

Aujourd’hui, je vais vous décrire un projet que j’ai monté avec une équipe de Télécom Paristech. Il s’agit du BumpBand !

Bumpband

Vous allez vite me demander : qu’est-ce que BumpBand. C’est un bracelet connecté lumineux qui permet de profiter des amis de l’instant présent. Nous nous sommes rendu compte que peu de réseaux sociaux mettent le lien physique au premier plan, si ce n’est des sites de rencontre. BumpBand crée un réseau social de proximité et éphémère replaçant le lien physique au cœur des relations.

(suite…)