O objetivo deste projeto é fornecer uma ferramenta automatizada para coletar informações específicas de uma página da web. Nós utilizamos técnicas de mapeamento e extração de dados para analisar a estrutura da página e identificar padrões na apresentação de dados, permitindo que os dados sejam extraídos e organizados em uma estrutura de dados útil.
Para instalar o projeto, você precisa clonar o repositório do Github:
$ git clone [email protected]:gildemberg-santos/webcrawlerurl_v2.gitPara iniciar o conteiner, basta executar o seguinte comando:
$ make start
Se você precisar parar o conteiner, basta executar o seguinte comando:
$ make stop
Para executar o serviço, basta executar o seguinte comando:
$ make run
ou
$ make dev
Para executar todos os testes, basta executar o seguinte comando:
$ make test
Para executar o build, basta executar o seguinte comando:
$ make build
Com estes comandos, você pode facilmente instalar, iniciar e executar o nosso web crawler para extração de dados. Divirta-se coletando informações úteis da web!