整理 CSV 数据,保留每一行记录
一份实用的 CSV 清理清单,涵盖日期、标识符、重复项、缺失值和逐行核对。
Beeuni 团队
Beeuni··阅读时间 3 分钟
清理后的 CSV 看起来可能更整洁,但内容仍可能有误。前导零可能消失,含义不明确的日期可能被解析成错误的月份,删除重复项也可能抹去有效交易。请保留原始文件,并确保每项转换都能追溯到原始行。
假设你的订单报告存放在已连接的电子表格、共享云盘或网页仪表板中。将报告提供给 Beeuni,并指定日期范围。具备所需的连接或浏览器访问权限后,智能体就能获取数据,并在清理前保存一份源文件副本。
先让智能体检查保存的副本,再做任何修改。它应报告分隔符、编码、表头、解析出的行数和格式错误的记录。仅统计行数并不足够,因为带引号的 CSV 字段中可能包含换行符。将报告链接、获取时间和筛选条件一并保存在副本中,以便说明其中包含了哪些记录。
为重要列设定规则
| 列 | 清理规则 | 留待审核 |
|---|---|---|
| 订单 ID | 按文本读取;保留前导零 | 缺少标识符或记录之间存在冲突 |
| 日期 | 已知源格式时,统一为 ISO 日期格式 | 03/04/2026 这类含义不明确的值 |
| 金额 | 根据指定的小数格式解析 | 分隔符混用或无法读取的值 |
| 货币 | 每行保留明确的货币信息 | 货币未知的金额 |
| 状态 | 按照已批准的标签映射规则处理 | 含义不明确的标签 |
删除任何内容之前,先定义何为重复记录。一个订单 ID 可能对应多条商品明细;相同金额也可能代表不同的购买。先标记疑似重复项,并说明匹配依据。只有在规则能够区分误复制记录与有效记录时,才删除相应行。
要求提供三份输出
Retrieve the report from the connection or page I specify, using the agreed date range.
Save an unchanged source copy and record its origin and filters.
Write and run a cleanup script using the agreed column rules.
Add source_row_number before sorting or filtering.
Keep all successfully parsed source rows in cleaned.csv.
Flag uncertain values instead of guessing.
Put malformed records and issues in review.csv, with reasons.
Write checks.txt with row counts, changed fields, and totals by currency.
Do not overwrite the source or update the live report.除非确认空白金额代表零,否则应保持为空。将日期转换失败的记录与源文件中缺失日期的记录分别记录。否则,之后就无法获得修正该行所需的信息。
导入前核对
- 行数:源文件中的每条记录都必须出现在清理后的输出中,或列入格式错误记录报告。请单独说明排除项。
- 标识符:使用纯文本查看器检查带前导零的值,以及外观类似长数字的字符串。
- 总额:清理前后按货币比较金额。不要将不同货币的金额相加。
- 变更:从每种转换中抽查记录,包括空格修剪、状态映射和日期转换。
- 目标位置:先将少量样本导入目标应用程序,检查它如何读取日期和文本字段。
某些电子表格应用程序在打开 CSV 时会删除前导零。如果发生这种情况,请检查原始文件,并在导入时将 ID 列设为文本。审核结果后,你可以让智能体通过支持该操作的已连接工具,将文件写入新的工作表或目标位置。请确认目标位置并检查导入的记录;原始报告应保持不变。