fix(fetch): improve SPA rendering and URL normalization in browser scraper
Increase hydration wait to 5s and scroll the page three times to trigger lazy-loaded content before extracting text. Prefer body text when it yields more content than main-content selectors. Normalize URLs to https and strip the www. prefix for consistent deduplication, and allow bare domains with no trailing path to match the extraction pattern. Also update agent/user profiles with site reputation and price comparison guidance, and append conversation logs for 2026-10-27.
This commit is contained in:
+67
-60
@@ -7,7 +7,10 @@
|
||||
"Eletrônica",
|
||||
"compras de informática (procurando notebook na KaBuM)",
|
||||
"clima e previsão do tempo",
|
||||
"monitores de computador (busca por modelos de 22 polegadas, antes 17 polegadas)"
|
||||
"monitores de computador (busca por modelos de 22 polegadas, antes 17 polegadas)",
|
||||
"sites educacionais (pesquisa sobre educaginga.org.br)",
|
||||
"mouse USB (periféricos de informática)",
|
||||
"comparação de preços em sites como Buscapé, Zoom e Shopee"
|
||||
],
|
||||
"personality_traits": [
|
||||
"extrovertido",
|
||||
@@ -16,63 +19,67 @@
|
||||
"preferences": {
|
||||
"communication_style": "encerra interações com agradecimentos simpáticos",
|
||||
"topics_to_avoid": [],
|
||||
"topics_of_interest": [
|
||||
"g",
|
||||
"o",
|
||||
"s",
|
||||
"t",
|
||||
"o",
|
||||
" ",
|
||||
"d",
|
||||
"e",
|
||||
" ",
|
||||
"f",
|
||||
"a",
|
||||
"z",
|
||||
"e",
|
||||
"r",
|
||||
" ",
|
||||
"a",
|
||||
"ç",
|
||||
"õ",
|
||||
"e",
|
||||
"s",
|
||||
" ",
|
||||
"d",
|
||||
"e",
|
||||
" ",
|
||||
"t",
|
||||
"e",
|
||||
"c",
|
||||
"n",
|
||||
"o",
|
||||
"l",
|
||||
"o",
|
||||
"g",
|
||||
"i",
|
||||
"a",
|
||||
" ",
|
||||
"e",
|
||||
" ",
|
||||
"p",
|
||||
"r",
|
||||
"o",
|
||||
"g",
|
||||
"r",
|
||||
"a",
|
||||
"m",
|
||||
"a",
|
||||
"ç",
|
||||
"ã",
|
||||
"o",
|
||||
"horários de ônibus",
|
||||
"transporte público",
|
||||
"site do TSE e símbolos eleitorais",
|
||||
"comparação e compra de notebooks",
|
||||
"previsão do tempo",
|
||||
"Ubatuba (SP)",
|
||||
"comparação e compra de monitores"
|
||||
],
|
||||
"topics_of_interest": [
|
||||
"g",
|
||||
"o",
|
||||
"s",
|
||||
"t",
|
||||
"o",
|
||||
" ",
|
||||
"d",
|
||||
"e",
|
||||
" ",
|
||||
"f",
|
||||
"a",
|
||||
"z",
|
||||
"e",
|
||||
"r",
|
||||
" ",
|
||||
"a",
|
||||
"ç",
|
||||
"õ",
|
||||
"e",
|
||||
"s",
|
||||
" ",
|
||||
"d",
|
||||
"e",
|
||||
" ",
|
||||
"t",
|
||||
"e",
|
||||
"c",
|
||||
"n",
|
||||
"o",
|
||||
"l",
|
||||
"o",
|
||||
"g",
|
||||
"i",
|
||||
"a",
|
||||
" ",
|
||||
"e",
|
||||
" ",
|
||||
"p",
|
||||
"r",
|
||||
"o",
|
||||
"g",
|
||||
"r",
|
||||
"a",
|
||||
"m",
|
||||
"a",
|
||||
"ç",
|
||||
"ã",
|
||||
"o",
|
||||
"horários de ônibus",
|
||||
"transporte público",
|
||||
"site do TSE e símbolos eleitorais",
|
||||
"comparação e compra de notebooks",
|
||||
"previsão do tempo",
|
||||
"Ubatuba (SP)",
|
||||
"comparação e compra de monitores",
|
||||
"verificação de reputação de sites",
|
||||
"educaginga.org.br",
|
||||
"comparação e compra de mouse USB",
|
||||
"sites de comparação de preços (Buscapé, Zoom, Shopee)"
|
||||
],
|
||||
"preferred_communication_time": "manha",
|
||||
"content_format_preference": "tutoriais_praticos",
|
||||
"project_complexity": "intermediario_avancado",
|
||||
@@ -112,9 +119,9 @@
|
||||
"hardware_legacy_support": "componentes_classicos_e_modernos",
|
||||
"rural_urban_aware": "adaptar_para_realidade_mineira_urbana"
|
||||
},
|
||||
"notes": "gosto também de programação; Nome é Marco; comentou que o café ainda não estava pronto pela manhã; Marco mencionou que há um arquivo com os horários da SARTASA na pasta uploadfiles, mas não conseguiu acessá-lo diretamente. Ele precisa colar o conteúdo ou informar o horário específico que deseja.; Marco está pesquisando um notebook na KaBuM e precisa colar o conteúdo das páginas no chat para que o agente ajude a comparar.; Marco demonstrou interesse em saber a temperatura atual de Ubatuba (SP), possivelmente por viagem ou contato com alguém da cidade.; Marco espera que o agente consiga abrir links e verificar informações diretamente (ex: temperatura de Ubatuba); tende a pedir ao agente para fazer o que ele mesmo faria no navegador, exigindo explicações claras das limitações técnicas.; Marco ajustou sua busca de monitores de 17 polegadas para 22 polegadas; compara preços em reais e valoriza transparência sobre preços confirmados vs. estimados.",
|
||||
"notes": "gosto também de programação; Nome é Marco; comentou que o café ainda não estava pronto pela manhã; Marco mencionou que há um arquivo com os horários da SARTASA na pasta uploadfiles, mas não conseguiu acessá-lo diretamente. Ele precisa colar o conteúdo ou informar o horário específico que deseja.; Marco está pesquisando um notebook na KaBuM e precisa colar o conteúdo das páginas no chat para que o agente ajude a comparar.; Marco demonstrou interesse em saber a temperatura atual de Ubatuba (SP), possivelmente por viagem ou contato com alguém da cidade.; Marco espera que o agente consiga abrir links e verificar informações diretamente (ex: temperatura de Ubatuba); tende a pedir ao agente para fazer o que ele mesmo faria no navegador, exigindo explicações claras das limitações técnicas.; Marco ajustou sua busca de monitores de 17 polegadas para 22 polegadas; compara preços em reais e valoriza transparência sobre preços confirmados vs. estimados.; Marco pesquisou o site educaginga.org.br e pediu para o agente verificar do que se trata; o agente não encontrou informações e sugeriu que Marco acesse o site diretamente e colasse o conteúdo.; Marco está pesquisando o preço mais barato de mouse USB; o agente sugeriu ordenar por menor preço no Buscapé/Zoom e pediu que Marco cole modelos encontrados para avaliação.",
|
||||
"created_at": "2026-08-24T09:59:34.623658",
|
||||
"last_updated": "2026-10-26T16:46:15.899398",
|
||||
"last_updated": "2026-10-27T20:06:42.438893",
|
||||
"daily_routine": {
|
||||
"wake_up_time": "ao acordar de manhã",
|
||||
"breakfast_time": "",
|
||||
|
||||
Reference in New Issue
Block a user