Posso rodar LLMs grandes só com CPU?

Sim, mas o desempenho será muito inferior. Para produção ou múltiplos usuários, GPU é recomendada.

Como saber o tamanho do embedding ideal?

Depende do modelo de embedding e da precisão desejada. Teste com amostras e meça o impacto em RAM e disco.

Qdrant precisa de muita RAM?

Sim, para consultas rápidas, os embeddings devem caber na RAM. Para grandes volumes, aumente a RAM ou aceite latências maiores.

Posso usar discos HDD para Qdrant?

É possível, mas não recomendado. O desempenho em consultas e recuperação de dados será muito inferior.

CPU, RAM ou GPU? Dimensionando recursos para Ollama e Qdrant

Em resumo

Dimensionar recursos para LLMs locais exige entender o impacto real de CPU, RAM e GPU em cada cenário. O tamanho do modelo, embeddings e banco vetorial determinam o hardware mínimo necessário para desempenho e custo otimizados.

Conta gratuita

Crie a sua conta para abrir esta lição

Progresso, avaliações e credenciais ficam guardados no seu painel. Depois de entrar, todos os treinamentos ficam abertos.

Criar conta Já tenho conta

Leva um minuto. O usuário é o seu e-mail.