Jogo/plans/fine_tuning_plan.md

Plano: Fine-tuning de Modelo LLaMA para o Sistema do Mestre

Visão Geral

Transformar o sistema de ordens estáticas em um modelo de linguagem personalizado que gere conteúdo no estilo do "Mestre".

---

Opção A: Fine-tuning com LoRA (Recomendado)

Recursos Necessários

Item	Requisito Mínimo
GPU	24 GB VRAM (A100 3090 4090) ou Colab Pro
RAM	32 GB sistema
Disco	20 GB (modelo base + logs)
Tempo	2–4 horas (LoRA 8B)

Passos

1. Preparação do Dataset

   • Extrair ordens dos arquivos dados*.py
   • Formato JSONL:

     {"text": "### Instruction:\nEscreva uma ordem erótica.\n### Response:\n[ordem]"}
     

2. Configuração

   • Usar llama.cpp + transformers + peft (LoRA)
   • Treinar com taxas de aprendizado baixas (2e-4)

3. Conversão para GGUF

   • Após treino, converter com llama.cpp/tools
   • Quantizar em Q4_K_M para velocidade

4. Integração

   • Substituir LLAMACPP_BASE_URL apontando para o novo modelo
   • Ajustar SYSTEM_PROMPT se necessário

---

Opção B: Ajuste de Prompts + RAG (Sem GPU)

Como fazer

1. Criar um "banco de ordens" em memória vetorial (FAISS)
2. No prompt, pedir para o modelo escolher/expandir do banco
3. Isso simula um modelo personalizado sem fine-tuning

Vantagem

• Funciona com CPU
• Respostas sempre alinhadas ao estilo do projeto

---

Dataset de Exemplo (extraído dos dados do projeto)

{"text": "### Instruction:\nGere uma ordem erótica para homem e mulher.\n### Response:\n👫 CASAL HOMEM & MULHER\n⚠️ PRAZER É ORDEM. O corpo veste a camisa do prazer..."}
{"text": "### Instruction:\nGere uma ordem de masturação com gozo.\n### Response:\n💦 MAST. E GOZO INDIVIDUAL\n⚠️ GOZAR É OBRIGATÓRIO..."}

---

Próximos Passos (se aprovado)

• Criar script de extração de ordens (extract_orders.py)
• Configurar ambiente LoRA (train_lora.py)
• Pipeline de conversão GGUF
• Testes de velocidade/qualidade