IA Local com RTX 4060 + Ryzen 9: Guia Completo

Com 8GB de VRAM, você consegue rodar com folga modelos até 7B parâmetros em Q4. Confira o mapa completo:

• •7B Q4 (~4GB VRAM) — roda com folga, sobra memória pro sistema
• •13B Q3 (~5.5GB VRAM) — entra na 4060 com margem
• •14B Q3/Q4 (~6-7GB VRAM) — cabe, mas usa quase tudo
• •32B+ — não cabe na VRAM; precisa de CPU offload (lento)

Regra prática: Q4 = boa qualidade. Q3 = economiza VRAM, qualidade levemente menor.

Com RTX 4060 rodando modelos 7B Q4, espere:

• •7B Q4: 25-40 tokens/segundo — fluido, parece resposta em tempo real
• •13B Q3: 15-22 tokens/segundo — ainda confortável
• •14B Q3: 12-18 tokens/segundo — perceptível, mas aceitável

Para comparar: ChatGPT gira em torno de 40-60 tok/s. Você chega perto com 7B localmente!

O Ryzen 9 tem muitos núcleos e suporta RAM generosa (32GB+). Isso permite rodar modelos maiores usando CPU offload — parte do modelo fica na VRAM (rápido) e o resto na RAM (mais lento).

Com 32GB RAM + 8GB VRAM, você consegue experimentar modelos 30B e até 70B via CPU offload, mas a velocidade cai muito (2-8 tok/s). Serve para tarefas que não precisam de velocidade — análise, revisão de texto, etc.

Para uso cotidiano: stick com os 7B-14B na VRAM. Rápido e prático.

A RTX 4060 é ótima pra começar, mas se você quiser mais:

• •RTX 4070 (12GB) — dobra o espaço pra VRAM. Cabe 30B Q4 inteiro na GPU. Grande salto de qualidade.
• •RTX 4070 Ti (16GB) — roda 70B Q4 completo. O ponto onde praticamente qualquer modelo open-source entra.
• •RTX 3090 (24GB, usado) — custo-benefício absurdo no mercado secundário. 24GB VRAM por preço de 4070.

Com o Ryzen 9 que você tem, qualquer uma dessas GPUs vai performar excelente.