Crawling

Scrapyé uma estrutura Python poderosa e eficiente para projetos de rastreamento e raspagem da web em grande escala. Ele fornece uma abordagem estruturada para definir regras de rastreamento, extrair dados e lidar com vários formatos de saída.

• Instalar o scrapy

pip3 install scrapy

• Baixar o reconspyder extraí-lo no diretório atual

wget https://academy.hackthebox.com/storage/modules/279/ReconSpider.zip
unzip ReconSpider.zip 

• Executar o reconspyder

python3 ReconSpider.py http://inlanefreight.com

• O spyder rastreará o alvo e coletará informações valiosas.

cat results.json