Skip to content

Latest commit

 

History

History
43 lines (30 loc) · 3.16 KB

README.md

File metadata and controls

43 lines (30 loc) · 3.16 KB
Raw

Установка и настройка

  • Клонируем репозиторий
  • Для удобства работы создаем симлинки в ~/bin/ для файлов ./common/{osm_validate,osm_test_validator}

Для запуска валидации даём команду osm_validate, где указываем валидатор и регион:

osm_validate sberbank RU-MOS

Создание своего валидатора

Допустим мы хотим создать новый валидатор с именем mbank:

  • Создаем файл в папке parser с именем валидатора: mbank.php

  • В нём должен быть класс mbank, унаследованный от Validator

  • В классе задаём домен $domain, откуда будут скачиваться страницы

  • Задаём список $url в формате регион => url

  • В $fields прописываем поля, которые собираемся извлекать со страниц, если задано какое-то значение, то оно считается константой для всех объектов

  • Устанавливаем $filter - фильтр объектов из базы OSM, это массив - первый параметр тег=значение, второй - фильтр по подстроке

  • Создаем функцию parse, в которую передается первым параметром текст, в этой функции нужно распарсить страницу, создать объекты:

      $o = $this->makeObject($obj); // отфильтровываем нужные поля у объекта
  $this->addObject($o);         // добавляем в базу для последующего анализа

Проверка валидатора

Для проверки валидатора запускаем osm_test_validator:

osm_test_validator sberbank RU-MOS

В случае успеха будет выведено кол-во объектов и первый объект в списке. Для вывода всех объектов, добавьте ключ --all. Ключ --all удобно использовать совместно с grep, чтобы отфильтровать только определенные поля и визуально оценить правильность работы:

osm_test_validator sberbank RU-MOS --all | grep opening_hours

Комментарии

  1. При валидации создаются gzip сжатые Javascript файлы в папке data. В файлах регион/валидатор.js.gz находятся данные из OSM, в файлах валидатор/регион.js.gz находятся реальные данные с сайтов.
  2. Для распаковки всех *.js.gz можно запустить common/ungzipOsmArchives, предварительно поправив в нем путь к валидатору.