Como Correr LLMs Localmente: Guia Completo com Ollama e LM Studio

# Instalação

# macOS e Linux (uma linha):
curl -fsSL https://ollama.com/install.sh | sh

# Windows: descarregar de https://ollama.com/download

# Verificar instalação
ollama --version

# Descarregar modelos populares
ollama pull llama3.1          # Meta Llama 3.1 8B (4.7 GB)
ollama pull mistral           # Mistral 7B (4.1 GB)
ollama pull codellama         # Code Llama 7B (3.8 GB)
ollama pull phi3              # Microsoft Phi-3 (2.3 GB)
ollama pull gemma2            # Google Gemma 2 9B (5.4 GB)

# Ver modelos instalados
ollama list

# Correr um modelo (chat interativo)
ollama run llama3.1

# Correr com prompt direto
ollama run llama3.1 "Explica o que é recursão em Python"

# Correr modelo de código
ollama run codellama "Escreve uma função Python para quicksort"

# Gerar texto com a API REST (compatível com curl)

# Chat completion
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [
    {"role": "system", "content": "És um assistente que responde em português."},
    {"role": "user", "content": "O que é machine learning?"}
  ],
  "stream": false
}'

# Gerar embeddings
curl http://localhost:11434/api/embeddings -d '{
  "model": "llama3.1",
  "prompt": "Texto para gerar embedding"
}'

# Listar modelos disponíveis
curl http://localhost:11434/api/tags

# pip install ollama

import ollama

# Chat simples
response = ollama.chat(
    model='llama3.1',
    messages=[
        {'role': 'system', 'content': 'Responde sempre em português de Portugal.'},
        {'role': 'user', 'content': 'Explica o padrão MVC em 3 frases.'}
    ]
)
print(response['message']['content'])

# Chat com streaming (resposta em tempo real)
stream = ollama.chat(
    model='llama3.1',
    messages=[{'role': 'user', 'content': 'Escreve um poema sobre Python.'}],
    stream=True,
)
for chunk in stream:
    print(chunk['message']['content'], end='', flush=True)

# Gerar embeddings
embedding = ollama.embeddings(
    model='llama3.1',
    prompt='Texto para converter em vetor numérico'
)
print(f"\nDimensão do embedding: {len(embedding['embedding'])}")

# Listar modelos
models = ollama.list()
for m in models['models']:
    size_gb = m['size'] / (1024**3)
    print(f"  {m['name']}: {size_gb:.1f} GB")

# Ficheiro: Modelfile-assistente-pt
FROM llama3.1

PARAMETER temperature 0.7
PARAMETER num_ctx 4096
PARAMETER top_p 0.9

SYSTEM """
És o assistente virtual da Vibe Coding Academy, uma escola de IA em Portugal.

Regras:
- Responde SEMPRE em português de Portugal (PT-PT)
- Sê amigável e profissional
- Foca-te em temas de IA, programação e tecnologia
- Quando não souberes, admite e sugere fontes
- Usa exemplos práticos sempre que possível
"""

# Criar o modelo customizado:
# ollama create assistente-vibe -f Modelfile-assistente-pt

# Usar:
# ollama run assistente-vibe "Que linguagem devo aprender para ML?"

# LM Studio expõe uma API compatível com OpenAI em localhost:1234
# Podes usar a biblioteca openai standard!

# pip install openai

from openai import OpenAI

# Apontar para o servidor local do LM Studio
client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio"  # qualquer string serve
)

# Usar exatamente como a API da OpenAI
response = client.chat.completions.create(
    model="local-model",  # nome do modelo carregado no LM Studio
    messages=[
        {"role": "system", "content": "És um programador Python experiente."},
        {"role": "user", "content": "Escreve uma classe para gerir uma fila de tarefas com prioridades."}
    ],
    temperature=0.7,
    max_tokens=1000
)

print(response.choices[0].message.content)

# Isto significa que qualquer código que use a API OpenAI
# funciona localmente sem alterações (só muda o base_url)!

import ollama

class ChatbotLocal:
    def __init__(self, model: str = "llama3.1"):
        self.model = model
        self.historico = []
        self.system_prompt = {
            'role': 'system',
            'content': """És um assistente de programação prestável.
Responde em português de Portugal. Quando dás exemplos de código,
usa comentários em português. Sê conciso mas completo."""
        }

    def perguntar(self, mensagem: str) -> str:
        self.historico.append({'role': 'user', 'content': mensagem})

        response = ollama.chat(
            model=self.model,
            messages=[self.system_prompt] + self.historico[-10:]  # últimas 10
        )

        resposta = response['message']['content']
        self.historico.append({'role': 'assistant', 'content': resposta})
        return resposta

    def limpar(self):
        self.historico = []
        print("Histórico limpo.")

# Utilização
bot = ChatbotLocal()

print("=== Chatbot Local (escreve 'sair' para terminar) ===\n")
while True:
    pergunta = input("Tu: ")
    if pergunta.lower() in ('sair', 'exit', 'quit'):
        break
    if pergunta.lower() == 'limpar':
        bot.limpar()
        continue

    resposta = bot.perguntar(pergunta)
    print(f"\nAssistente: {resposta}\n")