ycliper

Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
Скачать

Insights from Finetuning LLMs with Low-Rank Adaptation

deep learning

lora

pytorch

LLMs

AI

Автор: Sebastian Raschka

Загружено: 2023-12-17

Просмотров: 12124

Описание: Sebastian's books: https://sebastianraschka.com/books/

Links:
LoRA: Low-Rank Adaptation of Large Language Models, https://arxiv.org/abs/2106.09685
LitGPT: https://github.com/Lightning-AI/lit-gpt
LitGPT LoRA Tutorial: https://github.com/Lightning-AI/lit-g...

Low-rank adaptation (LoRA) stands as one of the most popular and effective methods for efficiently training custom Large Language Models (LLMs). As practitioners of open-source LLMs, we regard LoRA as a crucial technique in our toolkit.

In this talk, I will delve into some practical insights gained from running hundreds of experiments with LoRA, addressing questions such as: How much can I save with quantized LoRA? Are Adam optimizers memory-intensive? Should we train for multiple epochs? How do we choose the LoRA rank?

---

To support this channel, please consider purchasing a copy of my books: https://sebastianraschka.com/books/

---

  / rasbt  
  / sebastianraschka  
https://magazine.sebastianraschka.com

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...
Insights from Finetuning LLMs with Low-Rank Adaptation

Поделиться в:

Доступные форматы для скачивания:

Скачать видео

  • Информация по загрузке:

Скачать аудио

Похожие видео

© 2025 ycliper. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: [email protected]