Como projetei um Assistente de Suporte com IA (RAG + LLM-as-a-Judge) — Do Problem Framing ao Rollout

Описание: Neste vídeo apresento o projeto completo de um Assistente de Suporte Inteligente para a SuportePro — uma plataforma SaaS fictícia de gestão de projetos para equipes de marketing.

O projeto foi desenvolvido como parte do desafio final do curso de AI Product Specialist da PM3 e cobre todo o ciclo de produto: do problem framing à arquitetura de IA, das métricas de sucesso ao plano de rollout.


🔍 O QUE VOCÊ VAI VER

Abertura + Contexto do Problema
Problem Framing (How Might We)
Métricas de Sucesso (VARR como North Star)
Jornada do Usuário (ponta a ponta)
Arquitetura de IA (5 camadas)
Orquestração + Prompts
Stack Tecnológica + Custos
Riscos, Trade-offs e Governança
MVP, Rollout + Conclusão

⸻

🏗️ ARQUITETURA E DECISÕES-CHAVE

RAG grounded com risk-based routing (baixo/médio/alto risco)
4 prompts especializados: Query Rewriter, Classifier, Generator, Judge
LLM-as-a-Judge com validação síncrona para queries sensíveis
Fallback estruturado com circuit breaker (max 2 tentativas)
Controle de acesso por role (Viewer, Member, Admin, Owner)
Cache semântico para FAQ com threshold conservador (0.95)

📊 NORTH STAR METRIC: VARR (Validated Answer Resolution Rate)
Mede resolução validada — não deflection inflada.

🛠️ STACK

LLMs: GPT-4o (Generator), GPT-3.5 (Rewriter/Classifier), GPT-4o-mini (Judge)
Embeddings: text-embedding-3-small (OpenAI)
Reranking: Cohere Rerank v3
Vector DB: Pinecone
Cache/Session: Redis + RediSearch
Orquestração: LangChain
Observabilidade: LangSmith
Backend: Python + FastAPI

⸻

📌 PRÓXIMOS VÍDEOS

🔜 Deep dive nas camadas de arquitetura
🔜 Apresentação do protótipo funcional

⸻

📚 CONTEXTO

Este projeto faz parte do curso AI Product Specialist da PM3. A SuportePro é uma empresa fictícia, mas o problema, a arquitetura e as decisões foram desenhados como se fossem para produção — com trade-offs reais, métricas operacionais e plano de rollout progressivo.

⸻

🔗 LINKS
Curso AI Product Specialist — PM3:

⸻

#AIProduct #ProductManagement #RAG #LLM #IA #Suporte #SaaS #PM3 #AIProductSpecialist