Захват изменений данных (CDC)

Change Data Capture (CDC) — это подход к отслеживанию построчных изменений в исходной базе данных (вставок, обновлений, удалений) и их передаче в другие системы почти в реальном времени. Вместо того чтобы по расписанию перечитывать всю таблицу, CDC обычно читает журнал транзакций базы (например, WAL в Postgres или binlog в MySQL) и потому фиксирует каждое изменение с минимальной нагрузкой на источник. Для SaaS-разработчиков CDC — это то, что держит аналитическое хранилище, поисковый индекс или кеш в синхронизации с боевой базой без тяжёлых пакетных заданий. На нём построены инструменты вроде Debezium, Fivetran и Airbyte; это основа событийных архитектур и reverse-ETL. На практике: CDC на основе журнала гораздо бережнее, чем опрос запросами, но требует повышенных прав в базе и аккуратной обработки изменений схемы. Заложите в план порядок событий и идемпотентность — одно и то же изменение может прийти повторно, поэтому потребители обязаны терпеть дубликаты. Следите за ростом слота репликации в Postgres: отключившийся потребитель может незаметно забить диск.