Eu rodei 7 LLMs no RASPBERRY PI (para você não ter que fazer isso)

Описание: LLMs no Raspberry Pi 5: é possível rodar LLM local em 16GB de RAM sem GPU? Neste vídeo eu testo 7 modelos no Raspberry Pi 5 com 16GB de RAM, rodando 100% na CPU via llama.cpp no LM Studio. Sem placa de vídeo, sem Mac, sem hardware caro.

Os modelos testados incluem LFM 2.5 VL 1.6B, Qwen3 VL 2B, Gemma 3 Gaia PT-BR 4B, Qwen 2.5 Coder 7B, GLM 4.6V Flash, GPT-OSS 20B (Mixture of Experts) e Qwen3 Coder 30B-A3B em Q2. Medimos tokens por segundo, tempo pro primeiro token e qualidade das respostas em cada um. Pelos resultados, deu pra ver que modelos pequenos (1B a 4B parâmetros) rodam com 5 a 7 tokens/segundo, o que já é utilizável para tarefas simples. Modelos MoE como o GPT-OSS surpreendem ao ativar só 3.6B de parâmetros por token, entregando velocidade acima do esperado para um modelo de 20B. Já visão computacional e modelos acima de 7B viram um gargalo sério na CPU do Pi.

📌 Se quiser acompanhar o que anda passando pela minha cabeça, me segue lá no Substack: https://progbr.substack.com/

👉 E se você ainda tá por fora sobre LLMs, dá uma olhada nesse vídeo onde eu explico tudo o que você precisa saber para dar o primeiro passo nesse universo:    • O Que São LLM’s? (Large Language Models)  

_______

🔹 Quer aprender a criar apps do zero até a publicação comigo? Então dá uma olhada no meu curso: https://programadorbr.com/flutter?src...

_______

0:00 Intro
0:31 Hardware e Setup
2:06 LFM 2.5 VL 1.6B
6:33 Qwen3 VL 2B
7:55 Gemma 3 Gaia
8:49 Qwen 2.5 Coder 7B
10:53 GLM 4.6V Flash
14:54 GPT-OSS 20B
18:43 Qwen3 Coder 30B-A3B
23:15 Conclusão

_______

👀 Se tiver curiosidade, dá uma olhada em alguns dos meus apps publicados:
⏵ Teleprompter: https://apps.apple.com/app/apple-stor...
⏵ Pomodoro: https://apps.apple.com/app/apple-stor...
⏵ Jogo da Velha Infinito
iOS: https://apps.apple.com/app/apple-stor...
Android: https://play.google.com/store/apps/de...

_______

✴️ Segue também meus outros canais:
⏵ Canal sobre o universo Apple:    / @iprogbr  
⏵ Canal de programação:    / @programadorbr  
⏵ Perfil no Instagram:   / progbr