Міграція PostgreSQL з EC2 на RDS/Aurora через консоль RDS

Запуск PostgreSQL на Amazon Elastic Compute Cloud (Amazon EC2) надає повний контроль над рушієм бази даних та операційною системою. Однак це також означає, що ви відповідаєте за всі операційні завдання, такі як патчі, резервне копіювання, реплікація, відмовостійкість, управління сховищем та посилення безпеки. Цей операційний тягар зростає разом з вашим робочим навантаженням.

Від самокерованого до керованого: Переваги міграції

Міграція на Amazon Relational Database Service (Amazon RDS) для PostgreSQL або Amazon Aurora PostgreSQL-Compatible Edition перекладає ці обов'язки на повністю керований сервіс. Ви отримуєте автоматизоване резервне копіювання, відновлення на момент часу, автоматичну відмовостійкість, автоматичне масштабування сховища та вбудовані функції безпеки, включаючи шифрування, автентифікацію бази даних IAM та інтеграцію з AWS Secrets Manager.

Метод міграції: AWS DMS та нативні інструменти PostgreSQL

Міграція самокерованої бази даних PostgreSQL, що працює на Amazon EC2, до Amazon RDS для PostgreSQL або Amazon Aurora PostgreSQL-Compatible Edition використовує функцію автоміграції, вбудовану в консоль Amazon RDS, яка працює на базі AWS Database Migration Service (AWS DMS).

Оскільки це міграція PostgreSQL-to-PostgreSQL, AWS DMS використовує свою можливість гомогенної міграції даних. Вона застосовує власні нативні інструменти PostgreSQL, а не універсальний рушій реплікації. Це означає, що міграція точно відображає вихідну схему, типи даних, розділи таблиць та вторинні об'єкти, такі як функції та збережені процедури, на цільову базу даних. Зазвичай це призводить до значно швидшої міграції, ніж гетерогенні завдання DMS.

Чому обрати міграцію через консоль RDS?

Підхід через консоль RDS ідеальний, коли потрібна надійність DMS з мінімальними зусиллями на налаштування, особливо для простих міграцій PostgreSQL-to-PostgreSQL, які не вимагають фільтрації таблиць або користувацьких трансформацій.

Існують інші підходи до міграції PostgreSQL з EC2 на керований сервіс:

pg_dump/pg_restore: Простий, але вимагає повного простою протягом всього процесу дампа та відновлення. Не має вбудованого захоплення змін даних (CDC).
Ручне завдання AWS DMS: Надає повний контроль над налаштуваннями реплікації, правилами вибору та трансформаціями, але вимагає ручного налаштування екземплярів реплікації, кінцевих точок та завдань.
Сторонні інструменти (наприклад, Bucardo, pgloader): Можуть підходити для конкретних випадків використання, але їм бракує нативної інтеграції з AWS та керованого моніторингу.

Режими реплікації

Гомогенні міграції даних AWS DMS використовують нативні інструменти PostgreSQL у безсерверному середовищі та підтримують три режими реплікації:

Повне завантаження (Full load): Найкраще для невеликих баз даних або коли прийнятне вікно обслуговування. Цільова база даних недоступна під час відновлення.
Тільки захоплення змін (CDC only): Використовується, коли схема/дані вже існують на цільовій базі даних, і потрібно реплікувати лише поточні зміни. Мінімальний час простою (коротке переключення).
Повне завантаження + CDC (Full load + CDC): Найкраще для виробничих міграцій, що потребують мінімального часу простою. Виконує початкову синхронізацію через логічну реплікацію, потім захоплює поточні зміни до моменту переключення.

Тривалість міграції залежить від розміру бази даних, пропускної здатності мережі та активності запису на джерелі.

Підготовка до міграції: Ключові вимоги

Перед початком міграції необхідно переконатися в наявності наступних умов:

Джерело: PostgreSQL 10.4+ працює на Amazon EC2.
Ціль: RDS для PostgreSQL або Aurora PostgreSQL (тієї ж або вищої версії).
Роль IAM: Надає DMS доступ до баз даних, Secrets Manager та Amazon CloudWatch.
Secrets Manager: Облікові дані джерела та цілі зберігаються як секрети.
Мережа: Групи безпеки, що дозволяють TCP 5432 між джерелом EC2 та цільовою RDS/Aurora.
Користувач бази даних джерела: Суперкористувач (для CDC) або тільки SELECT (для повного завантаження). Додайте IP-адресу DMS до pg_hba.conf.
Користувач бази даних цілі: Роль rds_superuser з правами CREATE, SELECT, INSERT, UPDATE, DELETE, TRUNCATE.
Група параметрів цілі: rds.logical_replication = 1 (потребує перезавантаження).

Важливі аспекти та обмеження

Хоча функція міграції через консоль RDS значно спрощує процес, існують важливі аспекти, про які слід знати:

Непідтримувані об'єкти: Табличні простори, ролі, розширення, класи операторів та тригери подій не мігруються.
Великі об'єкти: Стовпці bytea підтримуються. Однак великі об'єкти lo_* не реплікуються через логічну реплікацію.
Значення послідовностей: Значення послідовностей можуть не відображати останнє nextval після міграції. Потрібно виконати SELECT setval() після переключення.
Потрібне перезавантаження: Увімкнення rds.logical_replication на цільовій базі даних вимагає перезавантаження.
Зберігання WAL: Джерело зберігає журнал попереднього запису (WAL), доки він не буде спожитий. Слідкуйте за використанням диска на базах даних з інтенсивним записом.
Зміни DDL: Уникайте змін схеми (DDL) на джерелі під час CDC. Вони не реплікуються автоматично і вимагають перезапуску міграції для захоплення нових таблиць.
Без правил вибору: Функція автоміграції консолі RDS мігрує всі таблиці. Фільтрація не підтримується.

Виконання та перевірка міграції

Процес міграції включає підготовку вихідної бази даних, зберігання облікових даних, налаштування цільової бази даних, запуск міграції та перевірку результатів. Наприклад, для джерела необхідно налаштувати параметри wal_level, max_replication_slots, max_wal_senders та wal_sender_timeout, а також створити користувача DMS з відповідними правами та публікацію для логічної реплікації. Облікові дані зберігаються в AWS Secrets Manager. На цільовій базі даних потрібно надати необхідні дозволи користувачу та встановити rds.logical_replication = 1.

Запуск міграції здійснюється через консоль RDS, де вибирається цільовий екземпляр, налаштовуються джерело та ціль, а також тип міграції (наприклад, повне завантаження та CDC). Прогрес можна відстежувати через журнали CloudWatch. Після завершення міграції необхідно підключитися до цільового екземпляра RDS та перевірити, чи всі таблиці, кількість рядків та дані відповідають джерелу. Перевірка CDC включає вставку нових даних у джерело та підтвердження їх появи на цільовій базі даних.

Оптимізація та безпека після міграції

Після завершення міграції та переключення трафіку на цільову базу даних рекомендується виконати наступні операції для оптимальної продуктивності запитів:

Оновити статистику таблиць для планувальника запитів (ANALYZE VERBOSE).
Перебудувати всі індекси (REINDEX DATABASE), що є блокуючою операцією, тому її слід планувати на період низького трафіку.
Звільнити сховище та оновити карту видимості (VACUUM FULL ANALYZE), також блокуюча операція.

Для посилення безпеки після міграції слід дотримуватися таких практик:

Вимкнути або видалити користувача DMS: Обліковий запис dms_user був створений з підвищеними привілеями для міграції. Після завершення міграції його слід вимкнути або видалити.
Змінити майстер-пароль RDS: Негайно після міграції змініть майстер-пароль RDS та увімкніть автоматичну ротацію.
Забезпечити з'єднання SSL/TLS: Переконайтеся, що всі з'єднання до екземпляра RDS використовують шифрування SSL/TLS (rds.force_ssl = 1).
Увімкнути шифрування: Шифрування даних у стані спокою має бути увімкнено під час створення екземпляра.

Типові проблеми та їх вирішення

Під час міграції можуть виникнути типові помилки, такі як відмова в дозволі на реплікацію (через відсутність привілею REPLICATION), невірний рівень WAL (не встановлений на logical), відсутність публікації, недостатня кількість слотів реплікації або відмова з'єднання. Для кожної з цих проблем існують конкретні кроки для вирішення, що включають налаштування користувачів, параметрів PostgreSQL або конфігурації мережі.

Що це означає для розробників

Ця міграція звільняє вашу команду від завдань адміністрування баз даних, дозволяючи зосередитися на розробці додатків, а не на управлінні базою даних.

Ключові факти

Міграція самокерованої PostgreSQL з EC2 на Amazon RDS або Amazon Aurora PostgreSQL-Compatible Edition знімає відповідальність за операційні завдання.
Міграція використовує функцію автоміграції в консолі Amazon RDS, що працює на базі AWS Database Migration Service (AWS DMS).
Для PostgreSQL-to-PostgreSQL міграції AWS DMS використовує нативні інструменти PostgreSQL, забезпечуючи точне відображення схеми та швидшу міграцію.
Підтримуються три режими реплікації: повне завантаження, тільки захоплення змін (CDC) та повне завантаження + CDC для мінімального простою.
Функція міграції через консоль RDS ідеальна для простих міграцій без фільтрації таблиць або кастомних трансформацій.