Habr Carrier parser

Простая тулза для сбора вакансий из RSS ленты хабр карьеры. Все аккуратно собирается в базу для последующего анализа. Выполнено в виде микросервиса с возможность развертывания на бесплатном уровне в heroku.Предусмотрено так же создание дампа данных для того чтоб можно было забрать в другое место.

Для локальной разработки достаточно:

1. поставить пакеты из requirements-dev.txt -- pip install -r requirements-dev.txt
2. авторизоваться в heroku-cli и выбрать проект
3. Настроить postgres, redis на heroku
4. Запустить ./run_from_local_migrations_on_heroku.bash чтоб прошли миграции для БД
5. запустить что вам требуется из баш скриптов run_local*

Для развертывания на heroku:

1. Жмакнуть по кнопке
2. Подцепить сервис Postgres и redis
3. Засунуть в настройка переменных среды параметр ACCESS_MAGIC_KEY в котором указать случайные значения. Это пригодиться если захочется выгружать дампы.
4. Указать в переменных среды RSS_URL адрес откуда тянуть данные https://career.habr.com/vacancies/rss?page=1&per_page=25&q=Ruby
5. Запустить ./run_from_local_migrations_on_heroku.bash чтоб прошли миграции для БД
6. Прописать в heroku cron : cd src/ && python3 parser_hc.py
7. Enjoy

quality