Используйте скрипт logs_download_simple.py для выгрузки логов Яндекс Метрики. Данные сохраняются в два файла metrika_hits.csv и metrika_visits.csv.
Команда для запуска:
python3 logs_download_simple.py
Период выгрузки и перечень данных для выгрузки задается непосредственно в скрипте. Токен для доступа к данным размещается в отдельном файле. Смотри комментарии в скрипте.
В скрипте отсутствует проверка доступности данных.
Для загрузки данных из файлов в кликхаус используйте скрипт logs_upload_simple.py.
Команда для запуска:
python3 logs_upload_simple.py
Параметры соединения и режим загрузки данных указываются непосредственно в скрипте.
При необходимости, указывается путь к файлу сертификата в переменной SSL_VERIFY.
Режим загрузки 1 приводит к удалению и созданию таблиц под данные. Режим 0 добавляет данные в существующие таблицы. При первой загрузке для автоматического создания таблиц рекомендуется использовать режим 1.
В скрипте не реализована проверка доступности базы данных, наличия в ней необходимых таблиц и данных за аналогичный период.
Скрипты могут быть объединены с исключением записи в файл.
Вместо скрипта для загрузки в ClickHouse можно использовать скрипт logs_upload_psql_simple.py для загрузки в PostgreSQL