CRM-міграції накопичують помилки: як ML вирішує проблеми дедуплікації даних

Щороку тисячі організацій мігрують свої бази даних з однієї CRM-системи в іншу. Цей етап є найкращою можливістю виправити накопичені роками помилки, проте більшість проєктів керується дедлайнами, завершенням контрактів із вендорами та витратами на паралельну роботу систем. У таких умовах успіх міграції зводиться лише до перенесення записів без видимих збоїв, тоді як точність даних залишається поза межами скоупу.

Основні проблеми, які не вдається виявити простими SQL-запитами чи скриптами на Python, включають неявне дублювання сутностей (коли один контакт має різні варіації імені, адреси чи телефону) та неактуальний статус померлих клієнтів чи донорів. Для покращення якості даних під час міграції пропонується застосовувати методи машинного навчання.

Ймовірнісне зіставлення сутностей на основі ембеддингів

Правила точного збігу рядків (exact-match) пропускають фрагментовані записи через псевдоніми або дівочі прізвища. Замість них пропонується використовувати семантичне зіставлення за допомогою енкодера речень (sentence encoder), який перетворює контактні дані у щільні вектори. Це дозволяє еквівалентним сутностям перебувати поруч у векторному просторі.

Для масштабування підходу потрібні індекси наближеного пошуку найближчих сусідів (ANN), такі як FAISS або HNSW, а також крок блокування (наприклад, групування за поштовим індексом) для оптимізації попарних порівнянь. Отриманий бал схожості слугує емпіричним рівнем впевненості: залежно від нього злиття відбувається автоматично або передається на перевірку людині.

Ймовірнісна оцінка замість бінарного прапорця

Замість стандартного статичного поля IsDeceased пропонується зберегти наявне значення та накласти поверх нього керований класифікатор (наприклад, градієнтний бустинг або логістичну регресію). Модель генерує оцінку впевненості на основі таких ознак, як вік, давність останньої активності та порівняння зі сторонніми реєстрами. Якщо впевненість низька, запис позначається для ручного аудиту перед оновленням у новій системі.

Видобування сигналів із текстових нотаток за допомогою NLP

Важливі зміни статусу часто зафіксовані у довільному тексті звітів або нотаток співробітників і не потрапляють у структуровані поля. Застосування NLP або LLM під час міграції дає змогу витягти конкретні типи подій. Кожне запропоноване оновлення має містити оцінку впевненості та пряме посилання на першоджерело для ручної верифікації.

Виявлення аномалій у поведінкових патернах

Щоб уникнути помилкових злиттів різних людей із подібними іменами та адресами, перед фіналізацією застосовується друга модель. Вона аналізує історію активності (частоту дій, суми, канали взаємодії) та перевіряє, чи виглядає об'єднана історія як поведінка однієї особи, чи як штучне поєднання двох різних профілів.