Nettoyer un CSV désordonné sans perdre de lignes

Un CSV nettoyé peut sembler plus présentable tout en étant incorrect. Les zéros initiaux disparaissent, les dates ambiguës basculent vers le mauvais mois et la suppression des doublons peut effacer des transactions légitimes. Conservez le fichier source intact et veillez à ce que chaque transformation puisse être reliée à une ligne d’origine.

Supposons que votre rapport de commandes se trouve dans une feuille de calcul connectée, un espace de stockage partagé ou un tableau de bord web. Indiquez à Beeuni où se trouve le rapport et précisez la période concernée. Avec la connexion requise ou l’accès au navigateur, l’agent peut récupérer les données et en enregistrer une copie source avant le nettoyage.

Demandez à l’agent d’examiner d’abord la copie enregistrée. Avant de modifier les valeurs, il doit indiquer le séparateur, l’encodage, les en-têtes, le nombre de lignes analysées et les enregistrements mal formés. Un simple comptage des lignes ne suffit pas, car un champ CSV entre guillemets peut contenir un saut de ligne. Conservez avec la copie le lien vers le rapport, l’heure de récupération et les filtres afin de pouvoir expliquer quels enregistrements ont été inclus.

Définir des règles pour les colonnes importantes

Déterminez ce qui constitue un doublon avant d’en supprimer un. Un même ID de commande peut figurer sur plusieurs lignes d’articles. Deux montants identiques peuvent correspondre à des achats différents. Commencez par signaler les doublons potentiels et expliquer les critères de correspondance. Ne supprimez des lignes que si vous disposez d’une règle permettant de distinguer les copies accidentelles des enregistrements valides.

Demander trois résultats

Retrieve the report from the connection or page I specify, using the agreed date range.
Save an unchanged source copy and record its origin and filters.
Write and run a cleanup script using the agreed column rules.
Add source_row_number before sorting or filtering.
Keep all successfully parsed source rows in cleaned.csv.
Flag uncertain values instead of guessing.
Put malformed records and issues in review.csv, with reasons.
Write checks.txt with row counts, changed fields, and totals by currency.
Do not overwrite the source or update the live report.

Laissez les montants vides tels quels, sauf si vous savez qu’ils signifient zéro. Consignez séparément les échecs de conversion d’une date et les dates absentes de la source. Sans cela, vous perdrez les informations nécessaires pour corriger la ligne par la suite.

Effectuer un rapprochement avant l’importation

• Lignes : chaque enregistrement source doit figurer dans le résultat nettoyé ou dans le rapport des enregistrements mal formés. Expliquez séparément les exclusions.
• Identifiants : examinez dans un éditeur de texte brut les valeurs comportant des zéros initiaux et les longues chaînes qui ressemblent à des nombres.
• Totaux : comparez les montants par devise avant et après le nettoyage. Ne faites pas la somme de devises différentes.
• Modifications : échantillonnez des enregistrements issus de chaque transformation, notamment les espaces supprimés, les statuts convertis et les dates transformées.
• Destination : importez un petit échantillon dans l’application cible et vérifiez comment elle interprète les dates et les champs texte.

Certaines applications de tableur suppriment les zéros initiaux à l’ouverture d’un CSV. Dans ce cas, vérifiez le fichier brut et importez la colonne des identifiants au format texte. Après avoir examiné le résultat, vous pouvez demander à l’agent de l’écrire dans une nouvelle feuille ou une autre destination à l’aide d’un outil connecté qui prend en charge cette action. Confirmez la destination, vérifiez les enregistrements importés et laissez le rapport original inchangé.