Gawen

@SoaresBruno Olá, tudo bem! Cara esto tendo um outro problema na implementação desse webscrap, que é o seguinte, no placehold temos, entre outras, as seguintes informações: 'pagina': 1, 'registrosPorPagina': 20 Só que, ao fazer a busca eu sei que tenho muito mais que 1 página e 20 registros, contudo eu não consigo acertar uma forma que dinamize esse número e me trata todos os registros em vez de unicamente os 20 primeiros. Já tentei colocar o número total no número de registrosPorPagina, mas dá erro, ele aceita um númeor máximo de 40 registros. Já tentei executar num laço for, para ir iterando o número de páginas, mas no meio da iteração dá erro e pára de rodar e não sei o que pode ser esse erro. A questão dos filtros eu consegui acertar com sua dica de monitorar pelo devtools, mas essa eu estou me debatendo e não estou conseguindo resolver, se você puder me dar um auxílio eu lhe agradeço muito. Abraços, Gawen

@SoaresBruno muito obrigado, vou monitorar tb pelo devtools, para ver outros filtros... grato pela ajuda! Abraços, Gawen

Olá SoaresBruno, Está funcionando perfeito esse script que fizestes, mas como conseguistes a informação do payload no site? Estou tentnado ver se consigo por um filtro por ano, mas mesmo com o 'filtros': []' no payload não tá funcionando se eu coloco valores alí Tem como vc me dar uma ajuda com isso? Abraços Gawen

Olá SoaresBruno, Nossa, funcionou perfeito. O que acontecia é que eu não estava sabendo como passar os parâmetros para o requests. Muito obrigado por sua ajuda! Grande abraço! Gawen

Olá Graymalkin, Grato por sua ajuda nessa minha árdua tarefa. Mas, não sei se será possível implementar algo em relação ao site em questão. Eu usei, pelo Firefox mesmo, o inspecionar elemento, é bem interessante. Contudo, quando estou na página de resultados da busca e faço essa inspeção de elmento ele me mostra uma coisa, mas no código da página (o que virá acredito eu, qdo eu conseguir fazer a pesquisa via web scraping) é outra, é muito louco esse site, nunca vi algo parecido! Valeu mesmo pelas dicas, estou tentando aqui implementar e, pode ter certeza, se eu conseguir algo vou postar em no meu blog a solução que encontrei, porque vou te falar tá de rosca isso!!! Abraços, Gawen.

Opa, obrigado pela informação Graymalkin. Vou ver esse tutorial sobre o Selenium e pensar se é possível, tb, enviar as informações por GET ou POST. Mas vou te contar, o site que preciso fazer essa busca é bem complicadinho, é o Banco de Teses da CAPES, dá uma olhada no código fonte dele para você ver o que to falando http://bancodeteses.capes.gov.br/banco-teses/#!/ Mas, obrigado pelas dicas! Abraços Gawen

Olá pessoal, blz? Estou precisando implementar um web scraping em um site dinâmico. Este site tem um formulário no qual se insere dados de pesquisa e que retorna as informações necessárias, como automatizar a busca de dados se somente depois de dar as palavras-chaves é que ele retorna as informações? Grato se puderem me ajudar com algumas dicas. Abraços, Gawen