Обработка больших JSON-файлов без исчерпания памяти — Итамар Тернер-Трауринг
Автор: PyCon US
Загружено: 2025-06-02
Просмотров: 5063
Описание:
Если вам нужно обработать большой JSON-файл на Python, очень легко исчерпать память при загрузке данных, что может привести к очень медленному выполнению или сбоям из-за нехватки памяти. Если вы работаете в облаке, вы можете приобрести машину с большим объёмом памяти, но это означает более высокие затраты. Как обрабатывать такие большие файлы, не исчерпывая память?
В этом докладе вы узнаете:
Как измерить использование памяти.
Некоторые причины, по которым загрузка JSON занимает так много памяти.
Затем вы узнаете о некоторых решениях этой проблемы:
Использование более эффективного представления в памяти.
Загрузка только необходимого подмножества данных.
Потоковый парсинг, который может парсить файлы произвольного размера, используя фиксированный объём памяти.
Использование другого формата файла, например, JSON Lines.
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке:
