Ollama é uma ferramenta popular para instalar modelos de IA no seu computador. Embora modelos de IA locais ofereçam mais privacidade e controle sobre seus dados, eles também exigem hardware robusto. Para evitar problemas como falta de memória ou sobrecarga da CPU/GPU, é essencial escolher o modelo de IA certo para o seu PC. Este guia oferece dicas para selecionar modelos de IA com Ollama.
Ollama é compatível com a maioria dos modelos LLM disponíveis, como DeepSeek, Granite, Kimi, Mistral, Gemma, Qwen, GLM, Nemotron, Olmo e GPT-OSS. Ao escolher um modelo, você pode optar por versões locais ou na nuvem, e modelos especializados para tarefas complexas. Dentro de cada modelo, o tamanho é determinado pelo número de parâmetros. Quanto mais parâmetros, mais complexa a IA, mas também maior o consumo de recursos e o espaço de armazenamento.
O principal desafio não é tanto qual modelo de IA escolher, mas sim garantir que ele possa rodar no seu computador e ser útil para suas tarefas. Vamos detalhar os fatores a serem considerados para fazer a escolha correta e evitar modelos que não funcionam após o download.
Medindo um modelo de IA por parâmetros
Ao avaliar o tamanho de um modelo LLM ou de IA, dois fatores quantificáveis se destacam: os parâmetros e o contexto. Outros fatores, como dados e técnicas de treinamento, são mais difíceis de quantificar.
O número de parâmetros em um modelo de IA refere-se a valores ajustáveis dentro do modelo. Quanto mais parâmetros, mais precisos os modelos em capturar padrões de dados sutis. Um mesmo modelo pode ter diferentes contagens de parâmetros, influenciando seu tamanho e custo. Idealmente, mais parâmetros significam melhor desempenho, mas também maior consumo de recursos de hardware e energia.
Por isso, existem modelos menores (com menos parâmetros) para dispositivos móveis, modelos médios para hardware mais modesto e modelos grandes para máquinas potentes em contextos profissionais. Geralmente, modelos pequenos variam de 1 a 3 bilhões de parâmetros (1B-3B), modelos médios entre 7B e 13B (podendo chegar a 20B), e modelos grandes superam os 70B.
Medindo um modelo de IA por contexto
O segundo fator quantificável é o contexto, também conhecido como janela de contexto ou comprimento de contexto. Isso se refere à “quantidade de texto que o modelo pode considerar ou lembrar em qualquer momento”. Uma janela de contexto maior permite que o modelo processe entradas mais longas e incorpore mais informações, resultando em maior precisão, menos “alucinações” e respostas mais coerentes.
O contexto é medido em tokens. Quanto maior a quantidade de tokens, mais contexto. Isso, por outro lado, pode aumentar o tempo de resposta e o consumo de energia.
A documentação oficial do Ollama fornece estimativas de VRAM necessária para modelos de IA com base na janela de contexto. Para 4.000 tokens, menos de 24 GB de VRAM são suficientes. Para 32.000 tokens, são necessários entre 24 e 48 GB de VRAM. Para 256.000 tokens, mais de 48 GB de VRAM são necessários. O Ollama permite ajustar o comprimento do contexto nas configurações, oferecendo opções como 4k, 8k, 16k, 32k, 64k ou 128k.
Escolhendo um modelo de IA com Ollama
Ollama simplifica o processo de download e instalação de modelos de IA com comandos simples. No entanto, nem todos os modelos são adequados para todos os computadores. A escolha depende do espaço de armazenamento disponível, memória RAM, processador (CPU) e placa de vídeo (GPU).
Para auxiliar na escolha, existem sites como o OllamaModels. Este site detecta o hardware do seu computador (RAM, CPU e GPU) e sugere modelos de IA locais compatíveis. Ele fornece informações detalhadas sobre o tamanho do modelo em disco, a quantidade de RAM e VRAM necessária, o contexto máximo suportado e o comando para instalação via Ollama.
Para evitar problemas, o Ollama geralmente configura modelos de IA com um contexto de 4k (o mínimo). Você pode aumentar essa configuração se acreditar que seu PC suporta.
Continue lendo: Como escolher qual modelo de IA você deve instalar no seu PC com Ollama
