Eine unübersichtliche CSV bereinigen, ohne Zeilen zu verlieren

Eine bereinigte CSV kann übersichtlicher aussehen und trotzdem fehlerhaft sein. Führende Nullen verschwinden, uneindeutige Datumsangaben werden dem falschen Monat zugeordnet und beim Entfernen von Duplikaten können legitime Transaktionen verloren gehen. Bewahren Sie die Quelldatei unverändert auf und sorgen Sie dafür, dass sich jede Änderung auf eine ursprüngliche Zeile zurückführen lässt.

Angenommen, Ihr Bestellbericht liegt in einer verbundenen Tabelle, auf einem freigegebenen Laufwerk oder in einem Web-Dashboard. Verweisen Sie Beeuni auf den Bericht und geben Sie den Datumsbereich an. Mit der erforderlichen Verbindung oder dem Browserzugriff kann der Agent die Daten abrufen und vor der Bereinigung eine Quellkopie speichern.

Lassen Sie den Agenten zuerst die gespeicherte Kopie prüfen. Bevor er Werte ändert, sollte er Trennzeichen, Codierung, Spaltenüberschriften, die Anzahl der geparsten Zeilen und fehlerhafte Datensätze melden. Eine einfache Zeilenzählung reicht nicht aus, denn ein in Anführungszeichen gesetztes CSV-Feld kann einen Zeilenumbruch enthalten. Speichern Sie den Berichtslink, den Abrufzeitpunkt und die Filter zusammen mit der Kopie, damit Sie erklären können, welche Datensätze enthalten sind.

Legen Sie Regeln für die wichtigen Spalten fest

Legen Sie fest, was als Duplikat gilt, bevor Sie etwas entfernen. Eine Bestell-ID kann bei mehreren Positionen vorkommen. Zwei gleiche Beträge können unterschiedliche Käufe bezeichnen. Kennzeichnen Sie zunächst mögliche Duplikate und erläutern Sie die Kriterien für den Abgleich. Löschen Sie Zeilen nur dann, wenn eine Regel versehentliche Kopien von gültigen Datensätzen unterscheidet.

Fordern Sie drei Ausgaben an

Retrieve the report from the connection or page I specify, using the agreed date range.
Save an unchanged source copy and record its origin and filters.
Write and run a cleanup script using the agreed column rules.
Add source_row_number before sorting or filtering.
Keep all successfully parsed source rows in cleaned.csv.
Flag uncertain values instead of guessing.
Put malformed records and issues in review.csv, with reasons.
Write checks.txt with row counts, changed fields, and totals by currency.
Do not overwrite the source or update the live report.

Lassen Sie leere Betragsfelder leer, sofern Sie nicht wissen, dass sie null bedeuten. Erfassen Sie eine fehlgeschlagene Datumskonvertierung getrennt von einem Datum, das bereits in der Quelle fehlte. Andernfalls gehen Informationen verloren, die Sie später zur Korrektur der Zeile benötigen.

Gleichen Sie die Daten vor dem Import ab

• Zeilen: Jeder Quelldatensatz muss in der bereinigten Ausgabe oder im Bericht zu fehlerhaften Datensätzen erscheinen. Führen Sie Ausschlüsse gesondert auf.
• Kennungen: Prüfen Sie Werte mit führenden Nullen und lange Zeichenfolgen, die wie Zahlen aussehen, in einem Texteditor.
• Summen: Vergleichen Sie die Beträge je Währung vor und nach der Bereinigung. Addieren Sie keine unterschiedlichen Währungen.
• Änderungen: Prüfen Sie Stichproben aus jeder Transformation, darunter entfernte Leerzeichen, zugeordnete Statuswerte und konvertierte Datumsangaben.
• Ziel: Importieren Sie eine kleine Stichprobe in die Zielanwendung und prüfen Sie, wie sie Datums- und Textfelder einliest.

Manche Tabellenkalkulationsprogramme entfernen beim Öffnen einer CSV-Datei führende Nullen. Prüfen Sie in diesem Fall die Rohdatei und importieren Sie die ID-Spalte als Text. Nachdem Sie das Ergebnis geprüft haben, können Sie den Agenten bitten, es über ein verbundenes Tool, das diese Aktion unterstützt, in ein neues Tabellenblatt oder an einen neuen Speicherort zu schreiben. Bestätigen Sie das Ziel und prüfen Sie die importierten Datensätze; lassen Sie den ursprünglichen Bericht unverändert.