Tutorial: ¿Cómo funcionan los TOKENS en los Grandes Modelos de Lenguaje?

Описание: 🔥🔥Curso Introducción a los Grandes Modelos de Lenguaje: https://codificandobits.com/curso/int... 🔥🔥
🔥🔥Asesorías y formación personalizada: https://codificandobits.com/servicios/ 🔥🔥

Los tokens son uno de los elementos centrales en cualquier Gran Modelo de Lenguaje (LLM): al introducir o generar texto el modelo realmente lo que hace es procesar tokens.

Así que en este tutorial veremos de forma práctica cómo usar diferentes LLMs disponibles en Hugging Face para entender en detalle el papel que juegan estos tokens al momento de procesar o generar texto usando este tipo de modelos.

El código fuente de este tutorial: https://drive.google.com/drive/folder...

Contenido:
00:00 Introducción
01:27 Organización del tutorial
02:08 Breve repaso: ¿qué son los tokens?
06:19 Varios ejemplos de tokens a la entrada de un LLM
22:03 Los tokens generados por un LLM
27:09 Los tokens y la ventana de contexto
33:01 Conclusión

🔴 ** VISITA WWW.CODIFICANDOBITS.COM **
En el sitio web encontrarás la Academia Online con cursos, proyectos y tutoriales que te ayudarán a construir tu carrera en Inteligencia Artificial, Ciencia de Datos y Machine Learning.

🔴 ** ÚNETE A CODIFICANDO BITS Y SÍGUEME EN MIS REDES SOCIALES **
✅ Sitio web: https://www.codificandobits.com
✅ LinkedIn:   / msotaquira  

🔴 ** ACERCA DE MÍ **
Soy Miguel Sotaquirá, el creador de Codificando Bits, doctor en Bioingeniería y desde el año 2017 soy un apasionado de la Ciencia De Datos y la Inteligencia Artificial. En la actualidad me dedico por completo a divulgar contenido y a brindar asesoría a personas y empresas sobre estos temas.

🔴 ** ACERCA DE CODIFICANDO BITS **
El objetivo de Codificando Bits es inspirar y difundir el conocimiento en las áreas de Machine Learning, Inteligencia Artificial y Ciencia de Datos.

#machinelearning #ia #inteligenciaartificial #llm