Programação & Web
DeepSeek R1
Script Python Assíncrono para Web Scraping com Playwright
Web scraping assíncrono com Playwright, paginação automática, bypass básico e exportação CSV/JSON.
0cópias
0joinhas
0favoritos
O prompt
Desenvolva um script profissional em Python (asyncio + Playwright) para extração de dados resiliente e escalável.
Parâmetros:
- URL Alvo: {{url_alvo}}
- Dados a Extrair: {{campos_extracao}}
- Formato de Saída: {{formato_saida}}
Requisitos:
1. Iniciar a navegação em {{url_alvo}} em modo headless, com configurações de stealth para evitar detecção bot comum (User-Agent realista, viewport dinâmico).
2. Lógica para lidar com rolagem infinita ou paginação 'Próxima Página' até extrair todos os registros.
3. Tratamento de exceções com retries exponenciais em caso de timeout ou elementos não renderizados.
4. Coleta dos campos: {{campos_extracao}}.
5. Pipeline de limpeza e validação de dados antes de persistir em {{formato_saida}}.
6. Logs estruturados com a biblioteca 'loguru' ou 'logging' indicando progresso e tempo decorrido.
Como usar
- Substitua {{url_alvo}}, {{campos_extracao}} (ex.: 'titulo, preco, url') e {{formato_saida}} ('csv' ou 'json').
- Instale as dependências: pip install playwright loguru && playwright install chromium.
- Rode python scraper.py — modo headless com User-Agent realista; paginação e rolagem infinita são tratadas automaticamente.
- Antes de rodar em escala, verifique os termos de uso do site alvo e o robots.txt.
Exemplo de saída
scraper.py (~120 linhas): Playwright assíncrono com configurações stealth (UA realista, viewport dinâmico), lógica de rolagem infinita / 'próxima página', retries exponenciais em timeout, pipeline de limpeza antes de persistir em CSV UTF-8 e logs estruturados via loguru com progresso e tempo decorrido.