marcocosta10000
594f1a5725
Add complete Flask web application with Telegram bot integration, multiple AI provider support (llama.cpp, OpenRouter, z.ai, StepFun), extensive order banks for BDSM-themed gameplay, automated cron scheduling, and responsive web UI with inference parameter controls.
68 lines
2.0 KiB
Markdown
Executable File
68 lines
2.0 KiB
Markdown
Executable File
# Plano: Fine-tuning de Modelo LLaMA para o Sistema do Mestre
|
||
|
||
## Visão Geral
|
||
Transformar o sistema de ordens estáticas em um modelo de linguagem personalizado que gere conteúdo no estilo do "Mestre".
|
||
|
||
---
|
||
|
||
## Opção A: Fine-tuning com LoRA (Recomendado)
|
||
|
||
### Recursos Necessários
|
||
| Item | Requisito Mínimo |
|
||
|------|------------------|
|
||
| GPU | 24 GB VRAM (A100 3090 4090) ou Colab Pro |
|
||
| RAM | 32 GB sistema |
|
||
| Disco | 20 GB (modelo base + logs) |
|
||
| Tempo | 2–4 horas (LoRA 8B) |
|
||
|
||
### Passos
|
||
|
||
1. **Preparação do Dataset**
|
||
- Extrair ordens dos arquivos `dados*.py`
|
||
- Formato JSONL:
|
||
```json
|
||
{"text": "### Instruction:\nEscreva uma ordem erótica.\n### Response:\n[ordem]"}
|
||
```
|
||
|
||
2. **Configuração**
|
||
- Usar `llama.cpp` + `transformers` + `peft` (LoRA)
|
||
- Treinar com taxas de aprendizado baixas (2e-4)
|
||
|
||
3. **Conversão para GGUF**
|
||
- Após treino, converter com `llama.cpp/tools`
|
||
- Quantizar em Q4_K_M para velocidade
|
||
|
||
4. **Integração**
|
||
- Substituir `LLAMACPP_BASE_URL` apontando para o novo modelo
|
||
- Ajustar `SYSTEM_PROMPT` se necessário
|
||
|
||
---
|
||
|
||
## Opção B: Ajuste de Prompts + RAG (Sem GPU)
|
||
|
||
### Como fazer
|
||
1. Criar um "banco de ordens" em memória vetorial (FAISS)
|
||
2. No prompt, pedir para o modelo escolher/expandir do banco
|
||
3. Isso simula um modelo personalizado sem fine-tuning
|
||
|
||
### Vantagem
|
||
- Funciona com CPU
|
||
- Respostas sempre alinhadas ao estilo do projeto
|
||
|
||
---
|
||
|
||
## Dataset de Exemplo (extraído dos dados do projeto)
|
||
|
||
```json
|
||
{"text": "### Instruction:\nGere uma ordem erótica para homem e mulher.\n### Response:\n👫 CASAL HOMEM & MULHER\n⚠️ PRAZER É ORDEM. O corpo veste a camisa do prazer..."}
|
||
{"text": "### Instruction:\nGere uma ordem de masturação com gozo.\n### Response:\n💦 MAST. E GOZO INDIVIDUAL\n⚠️ GOZAR É OBRIGATÓRIO..."}
|
||
```
|
||
|
||
---
|
||
|
||
## Próximos Passos (se aprovado)
|
||
|
||
- [ ] Criar script de extração de ordens (`extract_orders.py`)
|
||
- [ ] Configurar ambiente LoRA (`train_lora.py`)
|
||
- [ ] Pipeline de conversão GGUF
|
||
- [ ] Testes de velocidade/qualidade |