# Crawling

`Scrapy`é uma estrutura Python poderosa e eficiente para projetos de rastreamento e raspagem da web em grande escala. Ele fornece uma abordagem estruturada para definir regras de rastreamento, extrair dados e lidar com vários formatos de saída.

* Instalar o `scrapy`

```bash
pip3 install scrapy
```

* Baixar o `reconspyder` extraí-lo no diretório atual

```bash
wget https://academy.hackthebox.com/storage/modules/279/ReconSpider.zip
unzip ReconSpider.zip 
```

* Executar o `reconspyder`

```bash
python3 ReconSpider.py http://inlanefreight.com
```

* O spyder rastreará o alvo e coletará informações valiosas.

```
cat results.json
```