Зростання цін на пам'ять та інфраструктуру зберігання даних через бум ШІ створює нові виклики для інженерів даних. Стаття розглядає три підходи — від класичного чанкування Pandas до Dask та Polars — для оптимізації ETL-процесів та обробки великих наборів даних з обмеженими ресурсами пам'яті.
