用Python开发批量数据处理工具,如何实现异常中断后的断点续跑?

发布人:A5数据发布时间:2026-11-16 13:52阅读量:19

批量工具要在异常退出后继续处理,关键是让本批结果与本批进度在同一个事务里提交。如果只把行号写到文件中,结果和断点可能一前一后生效:进度领先会漏数,进度落后则会重复处理。

下面用 Python 3.10及以上版本的标准库处理CSV:将 id,amount 中的金额转成分,把结果与已提交行数存进SQLite。重点是事务边界,不需要为断点续跑搭建调度平台或完整命令行框架。

用输入身份与已提交行数确定断点

任务ID由输入文件的SHA-256和处理规则版本构成。相同文件与规则再次运行时读取原断点;文件内容或转换规则改变,则成为新任务。结果以“任务ID+数据行号”为主键,不依赖业务ID是否重复。

运行期间必须保持输入文件不变,且同一数据库中的同一任务只启动一个处理进程。这里的断点是CSV数据记录序号,不是文本行号;带换行的CSV字段仍按一条记录计算。

最小完整实现

保存为 resume_batch.py。金额按四舍五入转为分,无法转换的记录保存错误信息后继续;文件读取或数据库错误则停止,留待修复后重新运行。

import csv
import hashlib
import sqlite3
import sys
from decimal import Decimal, InvalidOperation, ROUND_HALF_UP
from itertools import islice
from pathlib import Path

PROCESSOR_VERSION = "amount-cents-half-up-v1"


def file_hash(path):
    digest = hashlib.sha256()
    with path.open("rb") as stream:
        for block in iter(lambda: stream.read(1024 * 1024), b""):
            digest.update(block)
    return digest.hexdigest()


def transform(row):
    try:
        value = Decimal(row["amount"])
        if not value.is_finite():
            raise ValueError("金额必须是有限数值")
        cents = int(value.quantize(Decimal("0.01"), rounding=ROUND_HALF_UP) * 100)
        if not -(2**63) <= cents < 2**63:
            raise ValueError("金额超出数据库整数范围")
        return cents, None
    except (InvalidOperation, ValueError, TypeError) as error:
        return None, str(error) or "金额格式错误"


def run(path, database="results.db", batch_size=100):
    path = Path(path)
    if batch_size < 1:
        raise ValueError("batch_size必须为正整数")
    job_id = hashlib.sha256(
        (file_hash(path) + ":" + PROCESSOR_VERSION).encode()
    ).hexdigest()
    conn = sqlite3.connect(database, isolation_level="DEFERRED")
    try:
        conn.executescript("""
            CREATE TABLE IF NOT EXISTS jobs (
                job_id TEXT PRIMARY KEY, processed_rows INTEGER NOT NULL
            );
            CREATE TABLE IF NOT EXISTS results (
                job_id TEXT NOT NULL, row_no INTEGER NOT NULL,
                source_id TEXT, amount_cents INTEGER, error TEXT,
                PRIMARY KEY (job_id, row_no)
            );
        """)
        with conn:
            conn.execute("INSERT OR IGNORE INTO jobs VALUES (?, 0)", (job_id,))
        processed = conn.execute(
            "SELECT processed_rows FROM jobs WHERE job_id=?", (job_id,)
        ).fetchone()[0]
        with path.open(encoding="utf-8-sig", newline="") as stream:
            reader = csv.DictReader(stream)
            if reader.fieldnames != ["id", "amount"]:
                raise ValueError("CSV表头必须为id,amount")
            rows = enumerate(reader, start=1)
            for _ in islice(rows, processed):
                pass
            while batch := list(islice(rows, batch_size)):
                with conn:
                    for row_no, row in batch:
                        cents, error = transform(row)
                        conn.execute(
                            "INSERT INTO results VALUES (?, ?, ?, ?, ?)",
                            (job_id, row_no, row.get("id"), cents, error),
                        )
                    conn.execute(
                        "UPDATE jobs SET processed_rows=? WHERE job_id=?",
                        (batch[-1][0], job_id),
                    )
                processed = batch[-1][0]
        return job_id, processed
    finally:
        conn.close()


if __name__ == "__main__":
    job_id, processed = run(Path(sys.argv[1]))
    print(f"任务{job_id[:12]},已提交{processed}条记录")

连接使用 DEFERRED 事务模式。每个批次的 with conn: 将本批 results 写入与 processed_rows 更新作为一个事务提交;异常离开时回滚。进程在提交前崩溃,重启后重做该批;提交完成后崩溃,结果与进度已经一起保存,重启从下一批开始。连接最后仍需显式关闭,连接上下文管理器本身不负责关闭连接。

最小完整实现配图

重启时,程序重新读CSV并跳过已提交记录。它避免重复计算和落库,但不等于能直接跳到文件中的某个字节,因此超大CSV的启动仍有顺序读取成本。数据更大时可以改用稳定的数据库键或预先分片;不要直接把CSV记录序号当成可安全定位的文件偏移。

用一次失败与再次运行观察结果

创建 input.csv,包含合法金额和格式错误:

id,amount
A001,12.50
A002,bad
A003,9.99

执行 python resume_batch.py input.csv,再执行同一个命令。第一次会提交三条记录,金额分别记录为1250、空值和999,其中第二条带错误信息;第二次读取相同任务断点,不应新增结果行。业务ID即使重复,也不会把两个不同输入记录相互覆盖。

需要观察中断恢复时,可准备更大的固定输入,在处理过程中终止进程,然后用相同文件、规则和数据库重跑。应核对每个任务的结果条数、连续行号与 processed_rows 一致,不能只看控制台最后一行。不要删除数据库来“重试”,否则原断点也会被删除。

这里将错误记录也计入已处理进度,适合先完成整批、再单独处理坏数据的策略。如果要求任意一条格式错误都停止,则应让转换错误向外抛出,使当前批次一起回滚。选择哪种策略应由业务决定,并同步调整处理规则版本。

本例的结果和进度都在SQLite内,所以能原子提交。若处理动作还包括发邮件、调用收费API或写另一个系统,SQLite事务不能撤销那些外部动作;需要对外部请求使用幂等键,或以事务内的待办记录驱动后续投递,不能把本例当成跨系统“恰好一次”的保证。

A5idc数据提供适用于批处理任务和数据服务部署的物理服务器,涵盖至强、AMD EPYC及大内存、SSD/NVMe存储组合,支持按处理规模组织计算和结果库资源。中国香港、美国、日本等地区及多盘存储方案,为定时数据处理、文件归档和独立任务节点提供不同资源选择。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9828.html

相关推荐