Je partage dans cet article 5 de mes méthodes de traitement de données avec Python préférées pour modifier des données. Introduction: Traitement de Données avec Python La popularité du langage de programmation Python est montée en flèche ces dernières années dans le domaine de la science des données (Data Science). Ce n'est pas sans raison, en effet Python fournit de nombreux outils prêts à l'emploi qui rendent le traitement et l'analyse des données, ainsi que l'apprentissage automatique (Machine Learning), très accessibles et faciles grâce à sa syntaxe ultra légère. Le tout, orchestré par l'incroyable écosystème qui est en place pour soutenir les capacités naturelles de Python dans ce domaine. Le monde de la gestion des données en Python est vaste et en constante expansion, de sorte qu'il peut souvent être assez difficile de savoir exactement comment gérer chaque situation et maîtriser le traitement des données en Python. Cependant, il est possible de prendre ses dispositions avec des connaissances qui permettent de se préparer à peu près à tous les défis lorsqu'on travaille avec ce langage.
Les données organisées en table correspondent à une liste de p-uplets nommés qui partagent les mêmes descripteurs. La mobilisation de ce type de structure de données permet de préparer les élèves à aborder la notion de base de données qui ne sera présentée qu'en classe terminale. Il s'agit d'utiliser un tableau doublement indexé ou un tableau de p-uplets, dans un langage de programmation ordinaire et non dans un système de gestion de bases de données. 1 – Traitement des données en table
et chacun de ces champs est défini par un type précis (varchar(50): 50 caractères libres; Date…). Pour chaque utilisateur il y aura une ligne dans le tableau « person » et cette ligne contiendra les valeurs saisies lors de l'enregistrement d'un nouveau membre de l'association. Récupérer des données structurées La protection des données personnelles fait que de nombreuses informations précises ne sont heureusement pas accessibles librement sur Internet. Il existe toutefois des sites d'information ouverts regroupant des bases de données à usage publiques: les Open Data. Recherches, tri et calculs dans des tables de don nées En choisissant un ensemble de données il est possible d'y effectuer de recherches spécifiques, de mettre en place un filtre (par année par exemple), puis de cliquer sur les colonnes du tableau pour effectuer un tr i (croissant ou décroissant). Il est également possible de récupérer les données au format csv afin de les utiliser pour effectuer des calculs ou des analyses graphiques en créant des représentations à partir des données.
Tout d'abord, nous devons noter que map ne fonctionne qu'avec des fonctions à un seul argument. Considérons la liste suivante: data = [5, 10, 15, 20] Notre objectif avec cette liste est d'y associer une modification mathématique. Pour cet exemple, je vais utiliser l'addition de cinq. Nous allons rapidement créer une fonction à cet effet: def add5(x): return(x + 5) Maintenant, si nous essayions d'introduire nos données dans cette fonction, nous obtiendrions une erreur car nous ne pouvons pas ajouter un entier à une liste. Notre objectif est d'effectuer cette arithmétique sur l'ensemble de notre liste, alors envisageons d'utiliser la méthode map(). La méthode map prendra la fonction que nous souhaitons mapper ainsi qu'un itérable comme arguments de position dans cet ordre. newdata = map(add5, data) Ceci retournera un nouveau type map. Nous pouvons ensuite transformer ce type en une liste avec le mapping appliqué en appliquant le type list sur ce mapping: list(newdata) Nous pourrions également effectuer cette même arithmétique en une seule ligne sans jamais écrire de fonction, en fournissant à la fonction une expression générée par lambda: newdata = list(map(lambda x: x + 5, data)) Masques Pandas La possibilité de masquer les observations avec des conditions à l'aide du module Pandas (pour Python) est un autre outil formidable pour le traitement des données.
On peut ajouter head() pour limiter l'affichage ()() Nous savions déjà qu'il manquait toutes les notes. La méthode isnull() a traduit les données par True ou False. Nous allons remplacer les données manquantes en générant des notes aléatoires. Vous compléterez le code en remplaçant les…… import random matieres=['Potions', 'Botanique', 'étude des Moldus', 'Sortilèges', 'Vol sur Balai'] for val in..... : poudlard[val]=[random. randint(10, 20) for i in range(.... )] () Vérifiez que les notes ont bien été attribuées Nous allons modifier la table en ajoutant une colonne de moyennes poudlard['moyenne']=poudlard[matieres](axis='columns') 3-3) Regroupement de catégories et agrégation de données L'objectif est de créer deux tables en séparant les élèves de Mauriac et de Poudlard. Il nous faudra la moyenne générale pour Mauriac et pour Poudlard. exemple de résultat attendu La méthode groupby() permet de séparer les données. On peut pour cela commencer à rechercher les critères uniques d'une colonne poudlard['Lycée']()() On peut ensuite créer les groupes classes= oupby("Lycée") group_mauriac= t_group('Mauriac') group_poudlard= t_group('Poudlard') Vous pouvez par exemple vérifier que group_poudlard contient les élèves de Poudlard En réalité on peut sans passer par l'étape précédente Agréger les données en choisissant le critère lycée et en calculant la moyenne des moyennées des données agrégées.
Activités Pratiques Projets Contact FAQ Niveau Les données organisées en table correspondent à une liste de p-uplets nommés qui partagent les mêmes descripteurs. La mobilisation de ce type de structure de données permet de préparer les élèves à aborder la notion de base de données qui ne sera présentée qu'en classe terminale. Il s'agit d'utiliser un tableau doublement indexé ou un tableau de p-uplets, dans un langage de programmation ordinaire et non dans un système de gestion de bases de données. Contenus Indexation de tables Recherche dans une table Tri d'une table Fusion de tables