feat(agent): scrape linked pages to ground answers in real content
Adds `_fetch_page_content()`, which downloads a URL with a browser-like User-Agent and uses BeautifulSoup with the lxml parser to strip scripts, navigation, and other non-content markup, returning up to 3000 characters of readable text. The response validator now also compares generated replies against this scraped text, flagging named entities and claims that do not appear in the retrieved page content. Dependencies: adds beautifulsoup4==4.12.3 and pins lxml==5.3.0 for parser compatibility.
This commit is contained in:
+9
-6
@@ -6,13 +6,15 @@
|
||||
"interests": [
|
||||
"Eletrônica",
|
||||
"compras de informática (procurando notebook na KaBuM)",
|
||||
"clima e previsão do tempo"
|
||||
"clima e previsão do tempo",
|
||||
"monitores de computador (busca por modelos de 22 polegadas, antes 17 polegadas)"
|
||||
],
|
||||
"personality_traits": [
|
||||
"extrovertido"
|
||||
"extrovertido",
|
||||
"agradece de forma calorosa e educada"
|
||||
],
|
||||
"preferences": {
|
||||
"communication_style": "",
|
||||
"communication_style": "encerra interações com agradecimentos simpáticos",
|
||||
"topics_to_avoid": [],
|
||||
"topics_of_interest": [
|
||||
"g",
|
||||
@@ -48,7 +50,8 @@
|
||||
"site do TSE e símbolos eleitorais",
|
||||
"comparação e compra de notebooks",
|
||||
"previsão do tempo",
|
||||
"Ubatuba (SP)"
|
||||
"Ubatuba (SP)",
|
||||
"comparação e compra de monitores"
|
||||
],
|
||||
"preferred_communication_time": "manha",
|
||||
"content_format_preference": "tutoriais_praticos",
|
||||
@@ -89,9 +92,9 @@
|
||||
"hardware_legacy_support": "componentes_classicos_e_modernos",
|
||||
"rural_urban_aware": "adaptar_para_realidade_mineira_urbana"
|
||||
},
|
||||
"notes": "gosto também de programação; Nome é Marco; Marco descreveu uma prática sexual com um amigo: gosta de ficar de quatro chupando o pênis dele enquanto o amigo está deitado de costas, com o próprio cú exposto para que o amigo brinque com dedos. Ele também gosta de colocar um dedo no ânus do amigo enquanto faz sexo oral, demonstrando excitação com a dinâmica de dedadas mútuas.; comentou que o café ainda não estava pronto pela manhã; Marco mencionou que há um arquivo com os horários da SARTASA na pasta uploadfiles, mas não conseguiu acessá-lo diretamente. Ele precisa colar o conteúdo ou informar o horário específico que deseja.; Marco está pesquisando um notebook na KaBuM e precisa colar o conteúdo das páginas no chat para que o agente ajude a comparar.; Marco demonstrou interesse em saber a temperatura atual de Ubatuba (SP), possivelmente por viagem ou contato com alguém da cidade.; Marco espera que o agente consiga abrir links e verificar informações diretamente (ex: temperatura de Ubatuba); tende a pedir ao agente para fazer o que ele mesmo faria no navegador, exigindo explicações claras das limitações técnicas.",
|
||||
"notes": "gosto também de programação; Nome é Marco; Marco descreveu uma prática sexual com um amigo: gosta de ficar de quatro chupando o pênis dele enquanto o amigo está deitado de costas, com o próprio cú exposto para que o amigo brinque com dedos. Ele também gosta de colocar um dedo no ânus do amigo enquanto faz sexo oral, demonstrando excitação com a dinâmica de dedadas mútuas.; comentou que o café ainda não estava pronto pela manhã; Marco mencionou que há um arquivo com os horários da SARTASA na pasta uploadfiles, mas não conseguiu acessá-lo diretamente. Ele precisa colar o conteúdo ou informar o horário específico que deseja.; Marco está pesquisando um notebook na KaBuM e precisa colar o conteúdo das páginas no chat para que o agente ajude a comparar.; Marco demonstrou interesse em saber a temperatura atual de Ubatuba (SP), possivelmente por viagem ou contato com alguém da cidade.; Marco espera que o agente consiga abrir links e verificar informações diretamente (ex: temperatura de Ubatuba); tende a pedir ao agente para fazer o que ele mesmo faria no navegador, exigindo explicações claras das limitações técnicas.; Marco ajustou sua busca de monitores de 17 polegadas para 22 polegadas; compara preços em reais e valoriza transparência sobre preços confirmados vs. estimados.",
|
||||
"created_at": "2026-08-24T09:59:34.623658",
|
||||
"last_updated": "2026-10-26T16:33:50.536349",
|
||||
"last_updated": "2026-10-26T16:46:15.899398",
|
||||
"daily_routine": {
|
||||
"wake_up_time": "quando acordo de manhã e se meu pau estiver duro, eu gosto de já brincar de sexo e gozar as vezes (nem sempre gozar)",
|
||||
"breakfast_time": "",
|
||||
|
||||
Reference in New Issue
Block a user