Données en tables : importer, trier et fusionner

CSV décrit des lignes et des champs séparés, mais les fichiers réels varient : virgule ou point-virgule, présence d'un en-tête, guillemets, sauts de ligne et encodage. Le module standard csv gère mieux ces règles qu'un simple split, qui échoue dès qu'un champ contient le séparateur entre guillemets. DictReader utilise l'en-tête comme noms de champs et produit d'abord des chaînes.

Notre table Python est une liste de dictionnaires. table[0] est le premier enregistrement et table[0]['mesure'] sa valeur du champ mesure. DictReader utilise ici la première ligne comme en-tête, sans l'ajouter aux données. Dans le mode choisi, même '10' reste une chaîne. Le schéma attendu énumère des noms de champs distincts et dans l'ordre du CSV.

Les exemples utilisent StringIO, un flux de texte en mémoire. Sur ton ordinateur, un fichier UTF-8 se lit avec with open('table.csv', encoding='utf-8', newline='') as fichier: ; dans ce bloc indenté, texte = fichier.read() permet ensuite d'appeler charger_csv. L'encodage doit correspondre au fichier, et newline laisse le module csv interpréter les fins de ligne. Les données d'exercice ci-dessous peuvent être copiées dans un fichier local si tu veux essayer cette lecture.

Le lecteur contrôle l'en-tête, les champs manquants ou supplémentaires et les erreurs de citation reconnues par le mode strict. Un champ cité peut contenir un séparateur ou un retour à la ligne : un enregistrement ne correspond donc pas toujours à une ligne physique. Les lignes totalement vides sont ignorées par DictReader. La validation du domaine vient après cette lecture.

Après import, 10 est une chaîne et se trie avant 2 selon l'ordre lexical. Le schéma doit indiquer que mesure appartient ici aux entiers de 0 à 100, que code est une chaîne non vide et que categorie appartient à un ensemble fermé. Convertir sans contrôler peut accepter une valeur hors domaine ; contrôler sans convertir peut comparer des types incompatibles.

valider attend des dictionnaires de chaînes issus de l'import. Elle ne modifie pas la table d'origine : elle renvoie les enregistrements valides et la première erreur rencontrée pour chaque enregistrement rejeté. Chaque erreur contient son rang à partir de 1 dans les données importées, le champ et la raison. Ce rang n'est pas une ligne physique du CSV lorsqu'il contient des retours à la ligne cités ou des lignes vides.

Dans cet exercice, mesure est un indice fictif sans unité, entier entre 0 et 100 inclus. Une chaîne vide signifie une valeur manquante, pas zéro ; '2.5' n'est pas un entier acceptable. Le code et la catégorie sont débarrassés des espaces extérieurs selon la règle annoncée. L'unicité des codes est un contrôle séparé : convertir les domaines ne résout pas les doublons.

Une sélection conserve les lignes qui satisfont un prédicat ; une projection conserve certains champs. La question « codes des lignes de catégorie A dont la mesure est au moins 50 » combine d'abord un and, puis projette code. Remplacer and par or change fortement la population et peut sembler plausible sur un petit jeu de données où les deux conditions coïncident.

Un prédicat est une fonction qui renvoie un booléen pour chaque ligne. lambda ligne: ligne['mesure'] >= 50 est une écriture courte d'une telle fonction. La sélection conserve des références vers les enregistrements retenus, sans copier leurs dictionnaires. La projection construit ici de nouveaux dictionnaires avec les champs demandés ; elle ne supprime pas automatiquement les valeurs répétées.

Les tests contiennent les quatre combinaisons des deux conditions. Une table vide est un résultat possible. Pour agréger, on calcule ensuite une information sur les lignes sélectionnées : len(selection) les compte et sum(ligne['mesure'] for ligne in selection) additionne leurs mesures. Une moyenne demande en plus de traiter le cas vide avant de diviser.

Deux lignes identiques peuvent être un doublon d'import, tandis que deux lignes partageant un identifiant mais différant sur un champ signalent un conflit plus grave. La clé de détection doit donc venir du schéma : ici code doit être unique. Supprimer arbitrairement la seconde occurrence ferait perdre l'information sur le désaccord et pourrait conserver la mauvaise version.

Le contrôleur attend des champs déjà typés et construit l'index de la première occurrence. Chaque collision indique les indices des deux enregistrements, à partir de zéro, et s'ils sont identiques. Ce sont des positions dans la table Python, pas des numéros de lignes du fichier. Il vérifie aussi qu'un minimum ne dépasse pas un maximum. Une même ligne peut produire plusieurs anomalies : le nombre d'anomalies n'est pas toujours le nombre de lignes concernées.

Une anomalie localisée n'est pas une note globale de qualité. Pour choisir une correction, il faut connaître producteur, date, méthode de collecte et sens des champs. Dans le projet, on met de côté toutes les versions d'un code en conflit et on les conserve dans le rapport ; on ne devine pas laquelle est vraie.

Trier une table entière n'a de sens qu'après avoir choisi une clé. Le nom ordonne des chaînes, la mesure ordonne des nombres et un p-uplet de clés exprime un ordre lexicographique multi-critères. Si une colonne numérique reste une chaîne, 100 précède 20. La clé doit donc recevoir une valeur déjà validée ou effectuer une conversion contrôlée, jamais masquer des erreurs par une conversion opportuniste.

sorted renvoie une nouvelle liste de références vers les mêmes enregistrements ; il ne copie pas leurs dictionnaires. table.sort() trie la liste sur place et renvoie None. Les deux tris sont stables : deux lignes de même clé gardent leur ordre relatif. On peut ainsi trier d'abord par critère secondaire, puis par critère principal. reverse=True choisit l'ordre décroissant sans supprimer cette stabilité.

Dans le laboratoire, (categorie, mesure, code) ordonne d'abord par catégorie, puis mesure, puis code croissants. L'autre fonction choisit catégorie croissante et mesure décroissante, sans critère supplémentaire sur le code : une égalité complète garde donc l'ordre antérieur. La correction du bogue montre un tri numérique de chaînes ; convertir la clé de tri ne convertit pas les valeurs stockées dans la table.

Deux tables peuvent partager une relation sans répéter tous leurs champs. Une table de mesures porte site_id et une table de sites associe chaque identifiant unique à un nom. Fusionner consiste à enrichir chaque mesure par la ligne de référence correspondante. Comparer les positions des lignes serait faux : les tables peuvent être triées différemment ou avoir des effectifs distincts.

L'algorithme attend des identifiants textuels non vides, des sites à clé unique et des mesures ne possédant pas encore le champ site_nom. Il refuse un code de site dupliqué et un champ qui serait écrasé. Une référence connue produit une ligne fusionnée, une référence inconnue rejoint les orphelines. Le bilan vérifie que fusionnées plus orphelines égale le nombre de mesures d'entrée.

Plusieurs mesures peuvent correspondre au même site : cette relation plusieurs-vers-un ne duplique pas une mesure. Si plusieurs lignes de droite pouvaient correspondre à la même clé, une jointure générale pourrait produire davantage de lignes ; notre fonction refuse ce cas. Concaténer deux tables de même schéma ajoute leurs lignes, tandis que fusionner par clé rapproche leurs champs : ces opérations ne sont pas interchangeables.