Como Rodar uma LLM no M4 Pro: Passo a Passo

O segredo do Apple Silicon para IA é a memória unificada. Diferente de um PC com GPU dedicada, no M4 Pro a CPU, GPU e Neural Engine compartilham a mesma memória física. Isso significa que um modelo de 24GB de parâmetros usa os 24GB direto — sem overhead de transferência entre CPU e GPU. O resultado: modelos que não caberiam em placas de vídeo convencionais rodando fluido no Mac.

Ollama é o jeito mais simples de rodar LLMs localmente. É tipo um Docker para modelos de IA.

Instalação:

`

brew install ollama

`

Ou baixe direto em ollama.com

Rodar o primeiro modelo:

`

ollama run llama3.2

`

Ele baixa e já abre um chat no terminal.

Modelos recomendados para M4 Pro:

• •llama3.2 (3B) — ultra rápido, bom para tarefas simples
• •llama3.1:8b — equilíbrio perfeito velocidade/qualidade
• •llama3.1:70b — impressionante, precisa de 48GB RAM
• •mistral:7b — ótimo em português
• •qwen2.5:14b — excelente para código
• •gemma3:12b — o novo do Google, muito bom

MLX é o framework de machine learning da Apple, otimizado especificamente para Apple Silicon. Traz mais performance que Ollama em alguns modelos.

Instalação:

`

pip install mlx-lm

`

Rodar modelo:

`

mlx_lm.generate --model mlx-community/Llama-3.1-8B-Instruct-4bit --prompt "Olá!"

`

Os modelos ficam no HuggingFace sob o namespace mlx-community. Tem praticamente todos os modelos populares já convertidos para MLX.

Vantagem do MLX: usa Neural Engine + GPU do Mac de forma mais eficiente. Em alguns benchmarks chega a 2x mais rápido que Ollama.

Rodar no terminal funciona, mas uma interface visual é muito melhor. Open WebUI é o equivalente ao ChatGPT para modelos locais.

Instalar com Docker:

`

docker run -d -p 3000:8080 \

-v open-webui:/app/backend/data \

--name open-webui \

ghcr.io/open-webui/open-webui:main

`

Depois acesse: http://localhost:3000

Ele conecta automaticamente com o Ollama e você tem uma interface completa com histórico de conversas, upload de arquivos, e até Vision (imagens) se o modelo suportar.

Quantização é uma técnica que reduz o tamanho do modelo comprimindo os pesos numéricos. Um modelo 70B em float16 ocupa ~140GB, mas em 4-bit cabe em ~40GB.

No Ollama, modelos com :q4_0 ou :q4_K_M no nome já vêm quantizados.

Exemplos:

• •ollama pull llama3.1:70b-instruct-q4_K_M → 70B em ~40GB (precisa de 48GB)
• •ollama pull llama3.3:70b-instruct-q2_K → 70B ultraleve em ~26GB

Para o M4 Pro com 24GB, o sweet spot é modelos até 14B em 4-bit ou modelos até 8B em float16.