Очистите неуредан CSV без губитка редова

Очишћена CSV датотека може изгледати боље, а ипак бити погрешна. Нуле на почетку броја могу нестати, двосмислени датуми могу бити протумачени као погрешан месец, а уклањање дупликата може обрисати стварне трансакције. Сачувајте изворну датотеку и учините сваку измену проверљивом до оригиналног реда.

Рецимо да се ваш извештај о поруџбинама налази у повезаној табели, на дељеном диску или у веб-надзорној табли. Усмерите Beeuni на извештај и наведите период. Уз потребну конекцију или приступ прегледачу, агент може да преузме податке и сачува изворну копију пре чишћења.

Нека агент најпре прегледа сачувану копију. Пре измене вредности треба да наведе граничник, кодирање, заглавља, број парсираних редова и неисправне записе. Сам број линија није довољан јер CSV поље под наводницима може да садржи прелом реда. Уз копију сачувајте везу до извештаја, време преузимања и филтере како бисте могли да објасните који су записи обухваћени.

Одредите правила за важне колоне

Пре уклањања одлучите шта се сматра дупликатом. ИД поруџбине може да се појави у више ставки. Два једнака износа могу да означавају различите куповине. Најпре означите могуће дупликате и објасните критеријуме подударања. Обришите редове тек када имате правило које разликује случајне копије од важећих записа.

Затражите три излаза

Retrieve the report from the connection or page I specify, using the agreed date range.
Save an unchanged source copy and record its origin and filters.
Write and run a cleanup script using the agreed column rules.
Add source_row_number before sorting or filtering.
Keep all successfully parsed source rows in cleaned.csv.
Flag uncertain values instead of guessing.
Put malformed records and issues in review.csv, with reasons.
Write checks.txt with row counts, changed fields, and totals by currency.
Do not overwrite the source or update the live report.

Оставите празне износе празним, осим ако знате да представљају нулу. Неуспешно претварање датума забележите одвојено од датума који је недостајао у извору. У супротном губите информације потребне за каснију исправку реда.

Проверите подударност пре увоза

• Редови: сваки запис из извора мора да се појави у очишћеном излазу или у извештају о неисправним записима. Посебно објасните изостављања.
• Идентификатори: проверите вредности са нулама на почетку и дуге низове цифара у приказивачу обичног текста.
• Укупни износи: упоредите износе по валути пре и после чишћења. Не сабирајте различите валуте.
• Измене: проверите узорак записа из сваке трансформације, укључујући уклањање размака, мапирање статуса и претварање датума.
• Одредиште: увезите мали узорак у циљну апликацију и проверите како она тумачи датуме и текстуална поља.

Неке табеларне апликације уклањају нуле на почетку када отворите CSV датотеку. Ако се то деси, проверите необрађену датотеку и увезите колону са ИД-ом као текст. Након провере резултата, можете затражити од агента да га упише у нови лист или на одредиште помоћу повезаног алата који подржава ту радњу. Потврдите одредиште и проверите увезене записе; изворни извештај оставите непромењеним.