Обзор 44 виртуальных машин с возможностью прерывания работы в Google Cloud для профессиональных и...

Описание: Обзор 44 виртуальных машин с возможностью прерывания работы в Google Cloud для профессиональных инженеров по машинному обучению — 16 декабря
ПОСМОТРЕТЬ ЗАПИСЬ: https://fathom.video/share/-Hcusj73gF...
Цель встречи

Обзор виртуальных рабочих процессов с возможностью прерывания работы в GCP для экзамена GCP по машинному обучению.

Основные выводы

Экономически эффективная пиковая мощность: Виртуальные машины с возможностью прерывания работы обеспечивают скидку 60–80% на избыточную вычислительную мощность GCP, но Google может освободить их в течение 30 секунд.

Идеально подходят для отказоустойчивых рабочих нагрузок: Они идеально подходят для пакетной обработки (например, Spark), которая может автоматически повторять неудачные задачи, что обеспечивает значительную экономию средств и более быстрое завершение заданий.

Гибридная кластерная стратегия: сочетание небольшого базового количества стандартных рабочих процессов (2–5) с большим пулом прерываемых рабочих процессов (10–50) для обеспечения стабильности задач при максимальной экономической эффективности.

Не использовать для задач, чувствительных к задержкам: не используйте прерываемые рабочие процессы для потоковых или производственных конвейеров со строгими SLA, поскольку неожиданные перезапуски приведут к сбоям и нарушат гарантии обслуживания.

Темы

Обзор прерываемых виртуальных машин

Определение: избыточная вычислительная мощность GCP Compute Engine, предлагаемая со скидкой 60–80%.

Ключевое ограничение: Google может освободить виртуальные машины в течение 30 секунд, когда требуется дополнительная мощность.

Идеальный вариант использования: отказоустойчивые рабочие нагрузки (например, Spark), которые автоматически повторяют неудачные задачи, минимизируя сбои от прерывания.

Конфигурация и анализ затрат и выгод

Гибридная кластерная стратегия: сочетание стандартных рабочих процессов (для стабильности) с прерываемыми рабочими процессами (для пиковой мощности).

Основные (стандартные) рабочие процессы: 2–5 невытесняемых виртуальных машин обеспечивают стабильную базовую производительность.

Вытесняемые рабочие процессы: 10–50 виртуальных машин обеспечивают экономически эффективную и масштабируемую мощность.

Пример экономии затрат:

20 стандартных вытесняемых рабочих процессов N1 стоят примерно столько же, сколько 7 стандартных рабочих процессов.

Эта конфигурация обеспечивает 23 рабочих процесса общей мощности (20 вытесняемых + 3 стандартных).

Прирост производительности: Для параллельных рабочих нагрузок с независимыми задачами эта стратегия может обеспечить до 3 раз большую скорость при той же стоимости.

Рекомендации и предостережения

Рекомендации:

Поддерживайте стандартную базовую производительность: Всегда используйте не менее 2 стандартных рабочих процессов; никогда не используйте 100% вытесняемых рабочих процессов.

Соотношение: Установите количество вытесняемых рабочих процессов в 2–5 раз больше, чем количество стандартных рабочих процессов.

Рабочая нагрузка: Используйте только для пакетной обработки, а не для производственных конвейеров, чувствительных ко времени.

Мониторинг: Отслеживайте показатели вытеснения; Добавьте стандартных рабочих процессов, если скорость обработки данных чрезмерно высока.

Меры предосторожности:

Рабочая нагрузка: Не используйте для потоковых заданий или производственных конвейеров с жесткими требованиями к задержке.

Обоснование: Сбои заданий и перезапуски после прерывания нарушат соглашения об уровне обслуживания (SLA).

Дальнейшие шаги

Жюль:

Продолжайте создавать контент для подготовки к экзамену GCP.

Призывайте зрителей ставить лайки, подписываться и делиться контентом.