日本服务器上的数据库如何安全导入导出,并确认数据完整?

发布人:A5数据发布时间:2026-11-10 13:19阅读量:49

日本服务器上的数据库导入导出,关键不是把一个 SQL 文件传到服务器,而是同时保证导出时点一致、传输文件未损坏、目标库未被误覆盖,以及导入后关键数据和数据库对象能够核对。日常维护建议采用“源库一致性导出—哈希校验—目标库隔离导入—业务口径复核”的顺序。

日常操作全体配图

日本机房环境还要重点确认时区、字符集和跨区域传输范围。MySQL/MariaDB 通常使用 mysqldump,PostgreSQL 使用 pg_dump;两者都应优先使用数据库原生工具,不要直接复制正在运行中的数据目录。以下步骤以已有运行环境为前提,不重复安装数据库服务。

现状与条件:先确认能否安全操作

确认数据库类型、版本和磁盘空间

先在日本服务器上确认操作系统、数据库客户端版本、磁盘空间和 inode 使用量。不要根据发行版名称猜测服务名或配置路径,实际版本以命令输出为准。

cat /etc/os-release
mysql --version
mariadb --version
psql --version
df -h
df -i

如果服务器上同时安装了 MySQL 和 MariaDB,应确认实际运行的服务,避免使用不匹配的客户端工具。数据库端也要记录版本:

mysql --defaults-extra-file=/etc/mysql/backup.cnf \
  -e "SELECT VERSION(), @@global.time_zone, @@character_set_server, @@collation_server;"
psql -d appdb -c \
  "SELECT version(), current_setting('TimeZone'), current_setting('server_encoding');"

命令中的认证文件应由现有的密钥管理流程维护,权限建议设置为仅数据库操作账号或 root 可读,例如:

chmod 600 /etc/mysql/backup.cnf
chmod 600 ~/.pgpass

不要把数据库密码直接写入命令行、脚本参数或工单文本中,否则可能出现在 Shell 历史记录和进程列表里。

确认时区和字符集

日本服务器的系统时区可能是 Asia/Tokyo,也可能统一使用 UTC。先查看系统设置:

timedatectl
date -Is

系统时区、数据库时区和应用时区并不一定相同。导入前后至少记录以下信息:

  • 系统时区是否为 Asia/Tokyo 或 UTC;
  • MySQL/MariaDB 的 @@global.time_zone 和 @@session.time_zone;
  • PostgreSQL 的 TimeZone;
  • 数据库字符集、排序规则是否一致;
  • 应用是否把时间存储为 UTC,再在显示层转换为日本时间。

不要因为服务器位于日本,就对时间字段统一增加 9 小时。MySQL 的 TIMESTAMP、DATETIME,以及 PostgreSQL 的 timestamp、timestamptz,在时区处理上并不完全相同。应先用少量带有明确时区的测试数据验证。

判断导出时是否能保持一致

MySQL/MariaDB 使用 --single-transaction 时,主要适用于 InnoDB 表,可以在不长时间锁表的情况下获得一致性快照。若数据库中存在 MyISAM 等非事务表,该参数不能保证这些表与 InnoDB 表处于同一个一致时点,可先检查表引擎:

SELECT TABLE_NAME, ENGINE
FROM information_schema.TABLES
WHERE TABLE_SCHEMA = 'appdb'
ORDER BY ENGINE, TABLE_NAME;

PostgreSQL 的 pg_dump 默认使用一致性快照,适合在线导出,但导出期间仍要考虑长事务、锁等待和磁盘空间。

如果业务正在进行大批量写入、结构变更或批处理,建议在维护窗口执行。要导出完全静止的数据,应暂时停止写入或让应用进入只读状态。云平台或服务器提供商的磁盘快照不能自动等同于数据库一致性备份,除非已经按照对应数据库的物理备份流程执行。

日常操作:导出、传输和导入

1. 先准备目标库恢复点

如果导入目标已经有数据,导入前必须先备份目标库。原因是常规逻辑导出文件可能包含 DROP TABLE、CREATE TABLE 或覆盖已有对象的语句,导入中途失败后也可能留下部分新数据。

目标库备份文件应与源库导出文件分开保存,并记录导出时间、数据库版本、操作者和校验值。对生产库执行备份时,要确认:

  • 备份不会写入数据库所在的同一块已满磁盘;
  • 备份文件权限为 600;
  • 备份文件不会被自动清理任务立即删除;
  • 备份至少能够被读取,最好已经在隔离环境完成过恢复验证。

2. 导出 MySQL 或 MariaDB

以下命令适用于以 InnoDB 为主的数据库。示例使用 UTC 时间命名文件,避免日本时间和 UTC 混用造成文件排序误判。

set -euo pipefail
umask 077

db=appdb
stamp=$(date -u +%Y%m%dT%H%M%SZ)
backup_dir=/var/backups/db
out="${backup_dir}/${db}_${stamp}.sql.gz"

mkdir -p "$backup_dir"

mysqldump \
  --defaults-extra-file=/etc/mysql/backup.cnf \
  --single-transaction \
  --quick \
  --routines \
  --events \
  --triggers \
  --hex-blob \
  --default-character-set=utf8mb4 \
  "$db" \
  2>"${out}.log" | gzip -1 > "$out"

sha256sum "$out" > "${out}.sha256"
stat -c '%n %s bytes' "$out" "${out}.sha256"

这些选项的作用有所区别:

  • --single-transaction:为事务表建立一致性快照;
  • --quick:逐行读取,减少客户端内存占用;
  • --routines、--events、--triggers:同时导出存储过程、事件和触发器;
  • --hex-blob:以十六进制形式处理二进制字段;
  • --default-character-set=utf8mb4:明确客户端导出字符集,减少中文、日文和全角字符出现乱码的风险。

如果检查发现存在 MyISAM 表,不能只看命令成功退出就认为所有数据完全一致。应选择维护窗口执行,或单独处理这些表。直接添加锁表参数可能阻塞线上写入,必须先评估业务影响。

3. 导出 PostgreSQL

PostgreSQL 推荐使用 custom 格式,便于之后通过 pg_restore 选择性恢复和检查对象清单:

set -euo pipefail
umask 077

db=appdb
stamp=$(date -u +%Y%m%dT%H%M%SZ)
backup_dir=/var/backups/db
out="${backup_dir}/${db}_${stamp}.dump"

mkdir -p "$backup_dir"

pg_dump \
  --format=custom \
  --file="$out" \
  --dbname="$db" \
  2>"${out}.log"

sha256sum "$out" > "${out}.sha256"
stat -c '%n %s bytes' "$out" "${out}.sha256"

单库 pg_dump 不包含整个集群的角色和部分全局对象。如果目标环境还需要恢复角色、表空间或全局权限,可单独导出,但该文件同样包含敏感信息,不能与普通业务备份混放:

pg_dumpall \
  --globals-only \
  > /var/backups/db/postgresql_globals.sql

chmod 600 /var/backups/db/postgresql_globals.sql
sha256sum /var/backups/db/postgresql_globals.sql \
  > /var/backups/db/postgresql_globals.sql.sha256

恢复全局对象可能影响同一 PostgreSQL 实例中的其他数据库,不应在不了解影响范围时直接执行。

4. 传输并校验文件

导出完成后,先在源服务器生成 SHA-256 校验文件,再通过受控的 SSH 文件传输通道传到目标服务器:

scp -p \
  /var/backups/db/appdb_20250101T030000Z.sql.gz \
  /var/backups/db/appdb_20250101T030000Z.sql.gz.sha256 \
  dbadmin@target.example:/var/backups/incoming/

在目标服务器校验:

cd /var/backups/incoming
sha256sum -c appdb_20250101T030000Z.sql.gz.sha256

只有出现 OK 才能继续导入。校验失败时不要尝试导入,也不要通过改名或重新生成目标端校验值来“修复”问题,应重新传输并检查源端文件是否在导出完成前就发生了中断。

备份文件属于完整业务数据,权限应继续保持为最小范围:

chmod 600 /var/backups/incoming/appdb_20250101T030000Z.sql.gz
chmod 600 /var/backups/incoming/appdb_20250101T030000Z.sql.gz.sha256

如果备份需要离开日本机房,还应按照组织的数据合规要求确认跨区域传输范围,并使用已批准的加密存储或加密传输方案。不要把未加密的 SQL 文件长期放在公共对象存储或可被 Web 服务访问的目录中。

A5idc数据提供日本物理服务器资源,可用于承载数据库、备份文件及隔离恢复环境。日本热销与CTG系列覆盖Xeon Gold、AMD EPYC、NVMe、SSD及大容量HDD配置,并提供CN2、CIA、GIA、SoftBank等线路选项,结合不同带宽与存储组合,为数据库导入导出、备份归档和跨区域数据传输提供硬件与网络基础。

5. 导入 MySQL 或 MariaDB

推荐先导入到隔离的目标库,例如 appdb_restore,验证无误后再安排应用切换。以下命令假定目标库已经创建,并且其字符集、排序规则和权限已按现有环境准备好:

set -euo pipefail

dump=/var/backups/incoming/appdb_20250101T030000Z.sql.gz
target_db=appdb_restore
log="${dump}.import.log"

sha256sum -c "${dump}.sha256"

{
  gzip -dc "$dump" |
    mysql \
      --defaults-extra-file=/etc/mysql/backup.cnf \
      --default-character-set=utf8mb4 \
      --show-warnings \
      "$target_db"
} 2> "$log"

不要添加 --force。该参数会让客户端遇到部分错误后继续执行,可能得到“命令结束但数据不完整”的结果。导入完成后要检查退出码和日志,而不是只看终端是否返回。

如果 SQL 文件是使用 --databases 导出的,文件中可能包含数据库创建和切换语句;如果没有使用该参数,导入目标库通常由命令末尾的数据库名决定。导入前应先检查文件生成方式,避免把数据导入错误的库。

6. 导入 PostgreSQL

将 custom 格式备份导入空的隔离数据库时,可以使用单事务模式,让失败时更容易整体回滚:

set -euo pipefail

dump=/var/backups/incoming/appdb_20250101T030000Z.dump
target_db=appdb_restore
log="${dump}.import.log"

sha256sum -c "${dump}.sha256"

pg_restore \
  --dbname="$target_db" \
  --exit-on-error \
  --single-transaction \
  --no-owner \
  "$dump" \
  2> "$log"

--single-transaction 适合空库和资源充足的恢复场景。大型数据库恢复时,长事务可能增加 WAL、锁和临时空间压力;如果改为分阶段恢复,应优先使用隔离数据库,避免部分成功的对象污染正在提供服务的目标库。

不要在生产库上默认使用 --clean。该选项会在恢复前删除已有对象,影响范围包括表、视图、函数和其他数据库对象。只有在目标库已经完成备份、确认可丢弃,并且明确需要覆盖恢复时,才考虑使用;更安全的做法通常是恢复到新数据库后进行切换。

结果检查:确认文件、对象和业务数据

检查命令结果和日志

先检查导入命令的退出状态:

echo $?

如果脚本使用了 set -e,命令失败时应直接停止。随后查看导入日志:

grep -Ei 'error|fatal|warning|failed' \
  /var/backups/incoming/appdb_20250101T030000Z.sql.gz.import.log

警告不一定代表数据丢失,但字符集转换、对象已存在、权限不足和约束失败都不能简单忽略。需要结合具体语句判断是否影响关键表或关键对象。

PostgreSQL custom 备份可以先查看对象清单:

pg_restore --list \
  /var/backups/incoming/appdb_20250101T030000Z.dump \
  > /tmp/appdb_restore.list

wc -l /tmp/appdb_restore.list

检查表、视图、触发器和程序对象

MySQL/MariaDB 可以先查看目标库的对象数量:

SELECT TABLE_TYPE, COUNT(*) AS object_count
FROM information_schema.TABLES
WHERE TABLE_SCHEMA = 'appdb_restore'
GROUP BY TABLE_TYPE;

SELECT COUNT(*) AS routine_count
FROM information_schema.ROUTINES
WHERE ROUTINE_SCHEMA = 'appdb_restore';

SELECT COUNT(*) AS trigger_count
FROM information_schema.TRIGGERS
WHERE TRIGGER_SCHEMA = 'appdb_restore';

SELECT COUNT(*) AS event_count
FROM information_schema.EVENTS
WHERE EVENT_SCHEMA = 'appdb_restore';

PostgreSQL 可以检查用户对象和约束状态:

SELECT c.relkind, COUNT(*) AS object_count
FROM pg_class c
JOIN pg_namespace n ON n.oid = c.relnamespace
WHERE n.nspname NOT IN ('pg_catalog', 'information_schema')
GROUP BY c.relkind
ORDER BY c.relkind;

SELECT conname, convalidated
FROM pg_constraint
WHERE connamespace = 'public'::regnamespace;

数量一致只能说明对象规模接近,不能证明每一行数据都相同。导入前后应针对订单、账户、库存、日志等关键表进行精确核对。

核对关键表行数和业务聚合值

对关键表执行精确查询,而不是只依赖 InnoDB 的 information_schema.TABLES.TABLE_ROWS 或 PostgreSQL 的 n_live_tup。这些字段通常是估算值。

SELECT
  COUNT(*) AS row_count,
  MIN(id) AS min_id,
  MAX(id) AS max_id,
  COALESCE(SUM(total_amount), 0) AS amount_sum,
  MAX(updated_at) AS latest_update
FROM appdb_restore.orders;

源库和目标库应使用相同查询,比较以下结果:

  • 关键表精确行数;
  • 主键或业务编号的最小值、最大值;
  • 金额、数量等可加总字段;
  • 最新更新时间;
  • 已删除、已取消、已归档等状态数量。

如果源库在导出期间仍有写入,源库当前查询结果不一定对应导出快照。要做严格验收,应在维护窗口停止写入,或使用导出时记录的快照时间和业务批次号进行比较。

还应执行应用层只读检查,例如登录管理后台查看一条新数据、一条历史数据和一条包含日文或全角字符的数据,确认页面显示、排序、时间和金额格式都正常。数据库连接池、字符集设置和应用账号权限也要在隔离环境验证。

异常处理:先区分文件问题、权限问题和数据问题

异常现象优先处理方式需要避免的操作
SHA-256 校验失败删除或隔离目标端损坏文件,重新传输并再次校验不要直接导入,也不要在目标端重新生成校验值
导出命令非零退出查看导出日志和剩余磁盘空间,确认是否产生了不完整文件不要把未完成文件当作有效备份
字符集或排序规则报错对比源库和目标库版本、字符集、排序规则,先用小数据测试不要使用 --force 跳过错误
表已存在、对象冲突确认目标库是否为空,优先换用隔离数据库不要在未备份的生产库上使用 --clean 或直接覆盖
磁盘空间不足清理经过确认的临时文件或扩容,重新估算压缩包、临时文件和数据库空间不要删除仍承担恢复用途的备份
权限不足检查数据库账号对目标库、表、函数和事件的权限不要临时授予全局管理员权限后长期保留
导入中断判断目标库是否已产生部分对象,优先丢弃隔离库并重新恢复不要直接在半成品数据库上重复导入
行数或金额不一致检查导出时是否仍有写入、是否漏了分区、触发器或过滤条件不要只凭总表大小判断完整性
时间相差数小时对比系统、数据库会话和应用时区不要直接批量加减小时数修复

如果出现 max_allowed_packet、大字段或大事务相关错误,应先确认具体报错和数据规模,再评估调整客户端或服务端参数。调整参数前要记录原值,完成导入后按变更流程恢复,不能把临时放大的配置当作永久方案。

必要恢复:让失败导入可以回到可用状态

恢复策略取决于导入目标:

  1. 隔离库导入失败:停止导入,保留日志,确认数据库中没有其他业务使用后,删除隔离库并从原始备份重新导入。删除数据库属于不可逆操作,执行前必须确认库名、备份和影响范围。
  2. 生产库导入失败但导入前已有备份:停止应用写入,保存错误日志和当前状态,使用导入前备份恢复到新的恢复库,先完成数据核对,再决定是否切换。
  3. 没有导入前备份:不要继续执行覆盖性命令。先对当前状态做一次完整备份,尽量恢复到独立实例或新数据库,再根据日志判断缺失范围。
  4. 导入成功但业务校验失败:不要直接对原库执行反向删除。优先保留源库和目标库,比较关键表、约束、触发器、序列及时间字段,必要时重新建立隔离库。

对于 PostgreSQL,恢复到新数据库后可以直接进行应用连接切换。对于 MySQL/MariaDB,数据库名切换通常需要同步修改应用配置、连接池和账号授权,因此应提前准备切换方案,并在维护窗口内执行。无论使用哪种引擎,恢复完成后都要重新执行行数、聚合值、对象数量和应用只读检查。

导入前的目标库备份只有在能够被读取或恢复后才真正具备恢复价值。至少应定期抽取一份备份,在与生产隔离的环境中完成恢复演练,并记录所需时间、缺失权限和磁盘空间。

上线或验收检查清单

  • [ ] 已确认实际数据库引擎、版本、目标库名称和数据库账号。
  • [ ] 已检查日本服务器的系统时区、数据库时区和应用时区。
  • [ ] 已确认字符集、排序规则以及日文、中文、全角字符的处理方式。
  • [ ] 已检查磁盘空间、inode、临时空间和备份保留空间。
  • [ ] 源库导出使用了适合当前引擎的一致性方式。
  • [ ] MySQL/MariaDB 已确认事务表与非事务表的范围。
  • [ ] PostgreSQL 已明确是否需要单独恢复角色和全局对象。
  • [ ] 导入前已备份目标库,且备份文件权限和保存位置符合要求。
  • [ ] 源端和目标端 SHA-256 校验均显示 OK。
  • [ ] 导入日志中没有未处理的错误、约束失败或字符集警告。
  • [ ] 表、视图、触发器、事件、函数和约束数量符合预期。
  • [ ] 关键表的精确行数、主键范围、金额汇总和最新时间已核对。
  • [ ] 已完成一条历史数据、一条最新数据和一条日文数据的只读验证。
  • [ ] 应用连接账号、连接池、时区和字符集配置已验证。
  • [ ] 已准备导入失败时的恢复库、备份文件和切换步骤。
  • [ ] 生产切换前已确认维护窗口、回滚负责人和恢复预计时间。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8655.html

相关推荐