README.md

Básico de HTML/CSS e seletores xpath

• Estrutura de um arquivo HTML
• Tags básicas de HTML
• Atributos de tags
• querySelector e querySelectorAll
• Seletores de CSS com BeautifulSoup

Requisições HTTP usando Python (Métodos e status codes)

• Biblioteca requests
• Métodos HTTP
• Status codes e exemplos (https://http.cat/)
• Texto de resposta
• JSON de resposta
• Headers de resposta

Como tornar uma requisição "mais humana" trocando user-agent e usando libs como hrequests

• O que é user-agent
• Requisições com hrequests

Como funciona a estrutura de uma página de notícia (meta tags e ld-json)

• O que são meta tags (https://g1.globo.com/educacao/enem/2017/noticia/enem-levantamento-mostra-o-que-mais-cai-na-prova-desde-2009.ghtml)
• O que é ld-json (application/ld+json) (https://www.estadao.com.br/economia/imposto-para-milionarios-veja-qual-potencial-arrecadacao/)
• Como achar essas informações no código fonte

Como funciona a estrutura de um site: O que é o arquivo robots.txt, como achar e ler um sitemap

• O que é robots.txt (https://www.estadao.com.br/robots.txt, https://g1.globo.com/robots.txt, https://www.r7.com/robots.txt)
• O que é sitemap
• Como achar essas informações

Como quebrar um captcha usando um browser headless

• O que é um captcha
• O que é um browser headless
• Playwright e Stealth

Como lidar com paywalls de conteúdo

• 12ft.io