Рефлексії після місяця вивчення Data Engineering: Що залишилося за кадром

Місяць публічного навчання Data Engineering

Минув місяць з моменту публікації першої статті про 12-місячну дорожню карту самостійного вивчення Data Engineering. За цей час було написано ще три статті, кожна з яких деталізувала побудований проєкт: ETL-пайплайн з нуля, його адаптацію для продакшну з використанням SQLite та ідемпотентності, а також планування за допомогою GitHub Actions, що переросло в уроки з портативності та планування.

План проти реальності: гнучкість у навчанні

Початкова дорожня карта передбачала послідовне вивчення інструментів: SQL, потім Python, Git, Spark, Airflow, Databricks. Однак автор не дотримувався цього суворого порядку. Замість цього, він зосередився на створенні невеликого пайплайну, постійно вдосконалюючи його. Інструменти, такі як SQL, Python та Git, з'являлися в процесі роботи, коли цього вимагав сам пайплайн, а не за заздалегідь визначеним графіком. Це призвело до усвідомлення, що план є лише відправною точкою, а не жорстким контрактом.

Справжня природа технічних викликів

Автор виявив, що кожна технічна проблема, з якою він стикався, мала не лише технічне рішення, але й нетехнічний урок. Наприклад, ідемпотентність була не стільки про SQLite, скільки про недовіру власним припущенням. Стійкість даних (persistence) була про усвідомлення ризику їх втрати, а портативність – про виявлення залежності всього пайплайну від одного середовища через жорстко закодований шлях. Ці виклики виявилися "уроками мислення", що проявлялися через код.

Зміна мотивації та боротьба з "синдромом блискучого об'єкта"

Початкова мотивація – отримання високооплачуваної ролі інженера даних – з часом почала згасати і стала виснажливою. Натомість з'явилася нова рушійна сила: бажання допомогти одній людині, яка знаходиться в подібній ситуації, чекаючи на наступну статтю. Автор також зізнався, що зіткнувся з "синдромом блискучого об'єкта", розглядаючи можливість переходу до інженерії ШІ або отримання сертифікації, що відволікало його від початкового шляху.

Сила публічної відповідальності

У момент сумнівів автор звернувся до незнайомця в LinkedIn за порадою щодо найкращого шляху в Data Engineering. Натомість отримав відповідь, що той вже читав його статтю про дорожню карту і порадив дотримуватися власного плану, оскільки надлишок думок може заплутати. Цей випадок підкреслив важливість публічної відповідальності, яка може повернути власні слова у потрібний момент.

Новий підхід до навчання

Автор усвідомив, що для ефективного навчання не обов'язково створювати великі, довготривалі проєкти. Натомість, низка невеликих проєктів, які можна завершити за вихідні та які зосереджені на конкретній концепції, виявилася набагато ефективнішою. Цей підхід дозволяє завершувати проєкти та отримувати знання, не втрачаючи імпульсу.

Що мотивує зараз

Хоча високооплачувана роль все ще залишається частиною загальної картини, тепер автора мотивує сам процес створення, написання про проблеми та допомога іншим через свої статті. Це усвідомлення дає йому чіткіше розуміння того, що буде підтримувати його протягом наступних одинадцяти місяців.

Що це означає для розробників

Цей досвід підкреслює, що гнучкість у навчанні та фокус на малих, завершених проєктах може бути ефективнішим за суворе дотримання плану. Розробникам варто пам'ятати, що технічні проблеми часто приховують глибинні "уроки мислення", а публічна відповідальність може стати потужним мотиватором.

Ключові факти

• Автор завершив перший місяць публічного вивчення Data Engineering за 12-місячною дорожньою картою.

• За цей місяць він опублікував чотири статті, описуючи побудову ETL-пайплайнів, їхню готовність до продакшну та планування за допомогою GitHub Actions.

• Навчання інструментів (SQL, Python, Git) відбувалося не за планом, а за потребою, що виникала під час роботи над пайплайном.

• Виклики, з якими стикався автор, мали технічне рішення, але під ними лежали нетехнічні "уроки мислення" (наприклад, про ідемпотентність, стійкість даних, портативність).

• Початкова мотивація (високооплачувана роль) згасла, поступившись бажанню допомогти іншим через свої статті.

Джерела

• One Month Into Learning Data Engineering in Public: Here’s What I Didn’t Write About