从 MySQL 迁移

从 MySQL 迁移到 ProtonBase 指南

概述

ProtonBase 提供数据同步服务,可以方便、快捷地将 MySQL 数据一站式迁移至 ProtonBase。本文档将详细介绍从 MySQL 迁移到 ProtonBase 的完整过程,包括数据类型映射、语法差异、实际迁移步骤和最佳实践。

如需了解如何同步 MySQL 数据,请参考文档 Teleport 同步 MySQL 数据

准备工作

环境要求

  • MySQL 5.6 或更高版本
  • ProtonBase 数据库实例
  • 网络连通性(建议内网连接以获得最佳性能)
  • Teleport 数据同步工具访问权限

权限配置

在 MySQL 中创建专门用于数据同步的用户:

-- 使用具有足够权限的账户登录 MySQL
mysql -h ${mysql_host} -u root -p
 
-- 创建同步专用用户
CREATE USER 'teleport_user'@'%' IDENTIFIED BY 'secure_password';
 
-- 授予必要的权限
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'teleport_user'@'%';
 
-- 刷新权限
FLUSH PRIVILEGES;

在 ProtonBase 中创建目标用户:

-- 在 ProtonBase 中创建用户
CREATE USER "migration_user" WITH PASSWORD 'secure_password';
 
-- 授予数据库权限
GRANT ALL PRIVILEGES ON DATABASE ecommerce TO "migration_user";

网络配置

为确保最佳性能,建议配置内网连接:

  1. 确保源 MySQL 实例和目标 ProtonBase 实例在网络层面可达
  2. 配置安全组规则允许相应端口通信
  3. 如需公网访问,请配置白名单并确保传输安全

数据类型映射

MySQL 和 ProtonBase 之间的数据类型映射关系如下:

MySQL 数据类型ProtonBase 数据类型备注
TINYINTSMALLINT范围不同,MySQL: -128 到 127, ProtonBase: -32768 到 32767
BOOL / BOOLEANBOOLEANProtonBase 使用 BOOLEAN,值为 TRUE 或 FALSE
SMALLINTSMALLINT一致
MEDIUMINTINTEGERProtonBase 无 MEDIUMINT,通常用 INTEGER 替代
INT / INTEGERINTEGER一致
BIGINTBIGINT一致
FLOATREAL精度略有不同
DOUBLEDOUBLE PRECISION一致
DECIMAL(p, s)NUMERIC(p, s)一致,精度和范围相同
DATEDATE一致
DATETIMETIMESTAMP [WITHOUT TIME ZONE]ProtonBase 使用 TIMESTAMP,并支持时区
TIMESTAMPTIMESTAMP一致
TIMETIME一致
YEARSMALLINT / INTEGERProtonBase 无 YEAR 类型,需转换为整数表示
CHAR(n)CHAR(n)一致
VARCHAR(n)VARCHAR(n)一致
TINYTEXTVARCHARProtonBase 无 TINYTEXT,用 VARCHAR 替代
TEXTTEXT一致
MEDIUMTEXTTEXTProtonBase 无 MEDIUMTEXT,用 TEXT 替代
LONGTEXTTEXTProtonBase 无 LONGTEXT,用 TEXT 替代
BINARY(n)BYTEAProtonBase 无 BINARY,用 BYTEA 处理二进制数据
VARBINARY(n)BYTEA同上
TINYBLOBBYTEAProtonBase 无 TINYBLOB,用 BYTEA 替代
BLOBBYTEA一致
MEDIUMBLOBBYTEAProtonBase 无 MEDIUMBLOB,用 BYTEA 替代
LONGBLOBBYTEAProtonBase 无 LONGBLOB,用 BYTEA 替代
ENUMVARCHAR / CHECK 约束ProtonBase 无 ENUM,通常用 VARCHAR 并添加 CHECK 约束实现
SET无直接对应可以用 ARRAY 或通过表关联来实现
JSONJSONBProtonBase 推荐使用 JSONB,支持更高效的操作

SQL 语法差异

如果你使用的是 ORM(Object-Relational Mapping) 框架,例如 Java 的 Hibernate、Python 的 SQLAlchemy 等,那么迁移过程会相对简单。你只需要修改 ORM 配置中的数据库驱动和连接字符串,切换到 ProtonBase 的驱动程序,大部分查询语句都无需改动,因为 ORM 会根据目标数据库自动生成正确的 SQL 语法。

当然,仍然可能存在一些 ORM 不能很好地抽象和转换的数据库特有语法和功能,这些你可能仍需要手动调整。下面是一些常见的语法差异:

标识符引号

  • MySQL中使用反引号`来引用数据库、表、列等标识符
  • ProtonBase 使用双引号"来引用标识符

字符串引号

  • MySQL中使用单引号'和双引号"来引用字符串
  • ProtonBase只使用单引号'来引用字符串

LIMIT分页语法

  • MySQL支持LIMIT {偏移量}, {行数}的语法进行分页,如 LIMIT 20, 10
  • ProtonBase使用OFFSET {偏移量} LIMIT {行数}的语法进行分页,如 OFFSET 20 LIMIT 10

NULL 判断

  • MySQL 使用= NULL!= NULL判断是否等于 NULL
  • ProtonBase 则是 IS NULLIS NOT NULL。必须使用 IS NULL,不能使用 =!= 比较

字符串拼接

  • MySQL 使用 CONCAT() 函数
  • ProtonBase 可以使用 ||,如 'aa' || 'bb'

GROUP BY 限制

MySQL 里允许查询 ungrouped 字段,ProtonBase 里会报错:

-- MySQL 中可以执行
SELECT a, b, sum(c) FROM t GROUP BY a;
 
-- ProtonBase 中需要修改为
SELECT a, b, sum(c) FROM t GROUP BY a, b;
-- 或者使用聚合函数
SELECT a, any(b), sum(c) FROM t GROUP BY a;

Union/Union all 不同字段类型

MySQL在UNION查询中,不同字段类型会被自动转换为相容类型。ProtonBase在UNION查询中,如果字段类型不完全匹配,需要做类型转换。

-- MySQL 中可以执行
CREATE TABLE t1(a int);
CREATE TABLE t2(b text);
SELECT a FROM t1 UNION ALL SELECT b FROM t2;
 
-- ProtonBase 中需要显式转换类型
CREATE TABLE t1(a int);
CREATE TABLE t2(b text);
SELECT a::text FROM t1 UNION ALL SELECT b FROM t2;

常见函数对比

MySQL 函数ProtonBase 函数备注
CURDATE()CURRENT_DATE返回当前日期,没有时间部分
DATABASE()CURRENT_DATABASE()ProtonBase 使用 CURRENT_DATABASE() 返回当前数据库名称
DATE_ADD(date, interval)date + INTERVAL 'n unit'ProtonBase 使用 INTERVAL 语法,支持日期加法
DATE_FORMAT(date, format)TO_CHAR(date, format)ProtonBase 使用 TO_CHAR 格式化日期
DATE_SUB(date, interval)date - INTERVAL 'n unit'ProtonBase 使用 INTERVAL 语法,支持日期减法
DATEDIFF(date1, date2)date1 - date2ProtonBase 使用日期减法运算,返回天数差值
FORMAT(number, decimals)TO_CHAR(number, 'FM999999.00')ProtonBase 使用 TO_CHAR 格式化数字
FROM_UNIXTIME(unix_timestamp)TO_TIMESTAMP(unix_timestamp)TO_TIMESTAMP 将 UNIX 时间戳转换为时间
IF(condition, true_val, false_val)CASE WHEN condition THEN true_val ELSE false_val ENDProtonBase 使用 CASE 语句代替 IF 函数
IFNULL(expr1, expr2)COALESCE(expr1, expr2)COALESCE 返回第一个非 NULL 的值
INSTR(str, substr)POSITION(substr IN str)ProtonBase 使用 POSITION 查找子串的位置
JSON_EXTRACT(json, path)jsonb_extract_path(json, path)ProtonBase 使用 jsonb_extract_path 提取 JSON 对象的值
JSON_UNQUOTE(json)jsonb_extract_path_text(json, path)ProtonBase 使用 jsonb_extract_path_text 提取 JSON 文本值
LAST_INSERT_ID()RETURNING id 或 CURRVAL('seq_name')ProtonBase 使用 RETURNING 返回插入后的自动增量主键值
MONTH(date)EXTRACT(MONTH FROM date)ProtonBase 使用 EXTRACT 获取日期的月份部分
RAND()RANDOM()ProtonBase 使用 RANDOM() 生成随机数
STR_TO_DATE(str, format)TO_TIMESTAMP(str, format)ProtonBase 使用 TO_TIMESTAMP 转换字符串为时间类型
UNIX_TIMESTAMP()EXTRACT(EPOCH FROM NOW())ProtonBase 使用 EXTRACT(EPOCH FROM timestamp) 获取 UNIX 时间戳
YEAR(date)EXTRACT(YEAR FROM date)ProtonBase 使用 EXTRACT 获取日期的年份部分

ProtonBase MySQL 兼容

为了方便用户从 MySQL 兼容的数据库迁移至 ProtonBase,我们提供了一系列兼容功能。这些功能主要涵盖 MySQL 常用函数、类型转换以及一些 MySQL 特性,使得从 MySQL 到 ProtonBase 的迁移过程更加顺利。

快速启用兼容功能:

-- 创建扩展
CREATE EXTENSION mysql;
CREATE EXTENSION
 
-- 验证扩展是否生效(注:部分功能需要重连才会生效)
SELECT ifnull(null, 2);
 ifnull
--------
      2
 
-- 删除扩展
DROP EXTENSION mysql;

MySQL 函数兼容

函数名示例

unix_timestamp(date)

=> SELECT unix_timestamp('2020-03-29 03:45:00');
unix_timestamp
----------------
1585424700

from_unixtime(unix_timestamp)

=> SELECT from_unixtime(1255033470);
from_unixtime
----------------
2009-10-09 04:24:30

from_unixtime(unix_timestamp, format)

=> SELECT from_unixtime(1255033470, '%Y %D %M %h:%i:%s');
from_unixtime
----------------
2009 9th October 04:24:30

date_add(date, interval expr)

=> SELECT date_add('2024-10-01', INTERVAL '1 DAY');
date_add
----------------
2024-10-02 00:00:00

date_sub(timestamp, interval expr)

=> SELECT date_sub('2024-10-01', INTERVAL '1 DAY');
date_sub
----------------
2024-09-30 00:00:00

year(date)

=> SELECT year('2024-01-01');
year
----
2024

month(date)

=> SELECT month('2024-01-01');
month
------
1

datediff(date, date)

=> SELECT datediff('2024-10-01 01:01:01', '2024-09-29');
datediff
--------
2

curdate()

=> SELECT curdate();
curdate
--------
2025-02-21

str_to_date(str, format)

=> SELECT str_to_date('2023-02-05', '%Y-%m-%d');
str_to_date
----------------
2023-02-05 00:00:00

date_format(date, format)

=> SELECT date_format('2024-10-01 16:25:02', '%Y-%m-%d %H:%i:%s');
date_format
----------------
2024-10-01 16:25:02

ifnull(expr1, expr2)

=> SELECT ifnull(null, 2);
ifnull
------
2

isnull(expr)

=> SELECT isnull(1);
isnull
------
0

if(expr1, expr2, expr3)

=> SELECT if(false, 'More', 'Less');
if
---
Less

instr(str, substr)

=> SELECT instr('xxyyzz', 'yy');
instr
-----
3

truncate(number, D)

=> SELECT truncate(123.123, 2);
truncate
--------
123.12

find_in_set(str, strlist)

=> SELECT find_in_set('bb', 'aa,bb,cc');
find_in_set
-----------
2

substring_index(str, delim, count)

=> SELECT substring_index('a.b.c.d.e.f', '.', 2);
substring_index
---------------
a.b

json_extract(json_doc, path)

=> SELECT json_extract('{"balance": "7.77"}', '$.balance');
json_extract
------------
"7.77"

json_unquote(json_val)

=> SELECT json_unquote(json_extract('{"balance": "7.77"}', '$.balance'));
json_unquote
------------
7.77

database()

=> SELECT database();
database
--------
test

rand()

=> SELECT rand();
rand
----
0.7860905452848508

如果所需的函数未在列表中提供,可以通过 CREATE FUNCTION 语句自定义创建所需的函数:

test=> CREATE FUNCTION add(integer, integer) RETURNS integer
    AS 'select $1 + $2;'
    LANGUAGE SQL
    IMMUTABLE
    RETURNS NULL ON NULL INPUT;
CREATE FUNCTION
test=> SELECT add(1,1);
 add
-----
   2
(1 row)

类型转换兼容

源类型目标类型
smallintboolean
smallinttext
inttext
biginttext
timestamptext
numerictext
textnumeric
intboolean

如果所需的隐式转换未在列表中提供,可以通过 CREATE CAST 语句自定义创建所需的类型转换:

CREATE CAST (smallint AS boolean) WITH INOUT AS IMPLICIT;

支持 SELECT 非 GROUP BY 字段

行为说明:

  • MySQL 允许 SELECT 未在 GROUP BY 中声明的字段(隐式选择任意值)。
  • ProtonBase 默认行为与 PostgreSQL 一致,启用 mysql 扩展后,将兼容此特性。

示例:

-- 启用扩展后可执行
SELECT department, name, AVG(salary)
FROM employees
GROUP BY department;  -- name 未在 GROUP BY 中

除零操作返回 NULL

行为说明:

  • MySQL 中除零操作返回 NULL 并产生警告。
  • ProtonBase 启用兼容模式后,除零结果返回 NULL 而非抛出错误。
SELECT 10 / 0;  -- 返回 NULL

注意事项

  • 扩展依赖:所有兼容功能需依赖 mysql 扩展,删除扩展将恢复默认行为。
  • 类型安全:隐式转换可能导致意外结果,建议迁移后验证关键业务逻辑。
  • 函数冲突:若存在同名 PostgreSQL 函数,优先调用 mysql 扩展中的实现。

通过以上功能,ProtonBase 显著降低了从 MySQL 迁移的代码改造成本。如需进一步支持,请联系 ProtonBase 技术支持团队。

实际迁移步骤

以下是一个完整的 MySQL 到 ProtonBase 迁移示例,展示如何进行端到端的数据迁移。

1. 评估和准备阶段

评估源数据库

-- 检查MySQL数据库大小
SELECT 
    table_schema AS "Database",
    ROUND(SUM(data_length + index_length) / 1024 / 1024, 2) AS "Size (MB)"
FROM information_schema.tables
GROUP BY table_schema;
 
-- 检查表结构
SHOW CREATE TABLE users;
SHOW CREATE TABLE orders;

准备目标环境

-- 在ProtonBase中创建数据库
CREATE DATABASE ecommerce;
 
-- 创建用户和权限
CREATE USER "migration_user" WITH PASSWORD 'secure_password';
GRANT ALL PRIVILEGES ON DATABASE ecommerce TO "migration_user";

2. 数据结构迁移

创建表结构

-- MySQL中的表结构
CREATE TABLE users (
    id INT AUTO_INCREMENT PRIMARY KEY,
    username VARCHAR(50) NOT NULL,
    email VARCHAR(100) NOT NULL,
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
 
-- 对应的ProtonBase表结构
CREATE TABLE users (
    id SERIAL PRIMARY KEY,
    username VARCHAR(50) NOT NULL,
    email VARCHAR(100) NOT NULL,
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

处理特殊数据类型

-- MySQL中的ENUM类型
CREATE TABLE order_status (
    id INT AUTO_INCREMENT PRIMARY KEY,
    status ENUM('pending', 'processing', 'shipped', 'delivered') NOT NULL
);
 
-- ProtonBase中的等效实现
CREATE TABLE order_status (
    id SERIAL PRIMARY KEY,
    status VARCHAR(20) NOT NULL CHECK (status IN ('pending', 'processing', 'shipped', 'delivered'))
);

3. 数据迁移

使用Teleport进行数据同步

  1. 登录ProtonBase控制台
  2. 导航到"数据同步" -> "数据导入"
  3. 创建新的同步任务
  4. 配置MySQL源连接信息
  5. 配置ProtonBase目标连接信息
  6. 选择要同步的数据库和表
  7. 配置同步策略(全量+增量)
  8. 启动同步任务

验证数据迁移

-- 检查表行数
SELECT COUNT(*) FROM users;
SELECT COUNT(*) FROM orders;
 
-- 检查数据完整性
SELECT * FROM users LIMIT 10;
SELECT * FROM orders WHERE created_at >= CURRENT_DATE - INTERVAL '7 days';

4. 应用程序适配

更新连接配置

# 原MySQL配置
# jdbc:mysql://mysql-host:3306/ecommerce
 
# 新ProtonBase配置
jdbc:postgresql://protonbase-host:5432/ecommerce

处理SQL语法差异

// 原MySQL分页查询
String mysqlQuery = "SELECT * FROM users LIMIT 20, 10";
 
// ProtonBase分页查询
String protonbaseQuery = "SELECT * FROM users OFFSET 20 LIMIT 10";

5. 测试和验证

功能测试

-- 测试基本查询
SELECT u.username, COUNT(o.id) as order_count
FROM users u
LEFT JOIN orders o ON u.id = o.user_id
GROUP BY u.username;
 
-- 测试聚合查询
SELECT 
    DATE_TRUNC('month', created_at) as month,
    COUNT(*) as user_count
FROM users
GROUP BY DATE_TRUNC('month', created_at)
ORDER BY month;

性能测试

-- 测试查询性能
EXPLAIN ANALYZE 
SELECT * FROM orders 
WHERE user_id = 12345 
AND created_at >= '2024-01-01';

迁移最佳实践

1. 迁移前准备

  1. 详细评估

    • 评估数据量大小
    • 识别特殊数据类型
    • 检查复杂查询和存储过程
    • 评估应用程序依赖
  2. 制定迁移计划

    • 确定迁移时间窗口
    • 准备回滚方案
    • 制定测试计划
    • 安排团队培训

2. 迁移过程中

  1. 分阶段迁移

    • 先迁移非关键业务数据
    • 逐步迁移核心业务数据
    • 并行运行新旧系统
  2. 监控和验证

    • 实时监控迁移进度
    • 验证数据一致性
    • 记录迁移过程中的问题

3. 迁移后优化

  1. 性能调优

    • 根据查询模式创建索引
    • 优化表存储模式(行存/列存)
    • 调整系统参数
  2. 安全加固

    • 配置IP白名单
    • 设置用户权限
    • 启用审计日志

常见问题和解决方案

1. 数据类型不兼容

问题:MySQL的TINYINT在ProtonBase中映射为SMALLINT,可能导致数据范围问题。

解决方案

-- 在应用层处理数据范围验证
-- 或者在ProtonBase中添加CHECK约束
ALTER TABLE my_table 
ADD CONSTRAINT valid_tinyint 
CHECK (my_column >= -128 AND my_column <= 127);

2. SQL语法差异

问题:LIMIT语法不兼容导致查询失败。

解决方案

-- 使用ORM框架自动处理语法差异
-- 或者在应用中适配SQL语法
-- MySQL: LIMIT 10, 20
-- ProtonBase: OFFSET 10 LIMIT 20

3. 字符集和排序规则

问题:字符集和排序规则差异导致数据比较异常。

解决方案

-- 在ProtonBase中明确指定字符集和排序规则
CREATE TABLE my_table (
    name VARCHAR(100) COLLATE "en_US.utf8"
);

通过遵循这些步骤和最佳实践,您可以顺利完成从MySQL到ProtonBase的迁移,并充分利用ProtonBase的分布式数据库优势。