Web Scraping, récolter des données sur le web avec Python

Module 1 — Les bases du langage Python

• Principaux types de variables et opérations sur les chaînes de caractères
• Structures de données et distinction entre types mutable et immutable
• Structures de contrôle
• Création et utilisation de fonctions
• Lecture et écriture de fichiers textes ou binaires
• Travaux pratiques : manipulation de données, structures de contrôle, utilisation de fonctions ; création d'un petit jeu

Module 2 — Éléments de programmation avancée en Python

• Fonctions anonymes lambda
• Compréhension et création de générateurs
• Gestion des exceptions
• Programmation objet : création de types de données et notions d'héritage
• Utilisation et évaluation de bibliothèques open source
• Travaux pratiques : écriture d'un générateur ; création et manipulation d'un objet avec attributs et méthodes

Module 3 — Extraire des données via des API RESTful

• Connexion à une API web et types de requêtes HTTP
• Format JSON et analyse des données extraites
• Recherche de données dans du texte avec des expressions régulières
• Gestion des erreurs de connexion
• Travaux pratiques : extraction de données dans un texte ; récolte d'informations de géolocalisation via une API RESTful ; évaluation d'une connexion réelle

Module 4 — Capter des tableaux de données et les traiter avec Pandas

• Rappel des bases HTML et CSS
• Fondamentaux de Pandas : import et export dans différents formats
• Manipulation de données avec Pandas
• Scraping de tableaux de données sur le web
• Travaux pratiques : extraction de données numériques sur Internet ; traitement et archivage des données récoltées

Module 5 — Scraper des sites web avec Beautiful Soup

• Présentation de Beautiful Soup et mise en œuvre du parser
• Recherche dans l'arborescence du parser
• Travaux pratiques : scraping de sites web avec Beautiful Soup ; localisation et sauvegarde des données utiles avec les informations correspondantes

Module 6 — Automatiser des récoltes d'envergure avec Scrapy

• Fonctionnement de base du framework Scrapy
• Identification du contenu à scraper
• Structuration d'une spider
• Automatisation d'une récolte et enregistrement des résultats
• Évaluation de la performance d'une campagne
• Travaux pratiques : crawling d'articles web et récolte de données pertinentes avec Scrapy