Este repositório contém a implementação de um Scrapper para coleta de dados do site CBOE.

A Arquitetura do sistema pode ser observada na imagem abaixo:

├─ cboe_finance_scraper
│  ├── collect
│  │   └── crawler.py
│  ├── helpers
│  │   ├── save_data.py
│  │   └── validation_time.py
│  ├── config.py
│  └── main.py
├── data
│  ├── preprocessed
│  ├── raw
│  └── dicionario_de_dados.md
├─ design
├─ images
├─ references
├─ poetry.lock
├─ pyproject.toml
└── README.md

Para mais informações sobre a estrutura do projeto, clique aqui.

Para rodar este projeto, basta seguir os seguintes passos:

1. Abra o terminal, dentro da pasta do projeto, e digite os seguintes códigos:

poetry install
poetry shell

2. Com o ambiente instalado e ativado com o passo anterior, execute o seguinte comando:

python cboe_finance_scraper/main.py

OBS.: Caso queira salvar os dados no banco de dados, terá que configurar as variáveis de ambiente (.env) com seu usuário e senha do banco de dados