Приховані помилки даних: Як часові пояси зламали кредитну модель

Непомітна помилка після міграції даних

Після міграції конвеєра даних з однієї вихідної системи до іншої, всі автоматизовані перевірки пройшли успішно. Схема даних відповідала очікуванням, кількість рядків збігалася, відсоток значень NULL залишався в межах історичних порогів, перевірки актуальності були "зеленими", а тести розподілу не виявили нічого незвичайного.

Прихована проблема з часовими поясами

Однак, через три місяці, модель кредитного ризику почала відхиляти платоспроможних заявників. Розслідування виявило помилку, яка перебувала у виробничому середовищі з моменту міграції. Поле loan_default_date було конвертовано в інший часовий пояс, ніж origination_date.

Для більшості позик ця різниця була непомітною, оскільки кілька годин зміщення не мають значення при розрахунку значення, що вимірюється сотнями днів. Проте для позик, які дефолтували протягом першого тижня, це змінило все. Ознака days_until_default стала від'ємною.

Вплив на моделі машинного навчання

Цей випадок підкреслює, що вміння писати коректний SQL та здатність розпізнавати, коли ідеально валідний SQL може непомітно навчати модель машинного навчання відхиляти "неправильних" клієнтів, є різними навичками.

Що це означає для розробників

Цей випадок демонструє, що навіть при успішному проходженні всіх автоматизованих перевірок після міграції даних, можуть виникати приховані логічні помилки, які впливають на моделі машинного навчання. Розробникам слід враховувати потенційний вплив тонких відмінностей у даних, таких як часові пояси, на кінцеві результати моделей.

Ключові факти

• Міграція конвеєра даних пройшла з успішним проходженням всіх автоматизованих перевірок (схема, кількість рядків, NULL, актуальність, розподіл).

• Через три місяці після міграції виявлено помилку з різними часовими поясами між loan_default_date та origination_date.

• Ця помилка призвела до того, що ознака days_until_default стала від'ємною для позик, які дефолтували протягом першого тижня.

• Модель кредитного ризику почала відхиляти платоспроможних заявників.

• Вміння писати валідний SQL та розуміти його вплив на моделі машинного навчання є різними навичками.

Джерела

• The Data Engineering Skills Matrix AI Just Broke!