Skip to content

Habr дайджест

Maxim edited this page Apr 29, 2019 · 3 revisions

Ссылка на репозиторий

https://github.com/Femax/HabrDigest

Habr дайджест (Рекомендательный сервис)

Основная идея проекта заключается в парсинге постов хабра и отбор постов с помощью рекомендательного сервиса который использует заранее введеные пользовательские данные. Проект будет состоять из двух сервисов которые можно делать раздельно.

Сервис парссинга + ендпоинты для фронта

Стек: Akka-Http, scala-scraper

Собственно сервис который будет парсить и класть посты в базу + отдавать эти данные. P.S. Возможно что хабр даст ключ и будет возможность использовать их клевое апи

Рекомендательный сервис

Стек: python, pandas, word2vec?

Скорее всего для этого сервиса будет использоваться питон так как он содержит необходимые библиотеки для работы с мат. статом. Сервис будет собирать количество комментариев апвоутов с помощью pandas и возвращать какой-то коэф. Либо использовать word2vec. P.S. Опыта написания таких сервисов у меня нет. Так что в крайнем случае замокаю этот сервис

Front и Android

Стек Front: Scala.js, react, react-bootstrap, mobx, akka-stream

Стек Android: Dagger, Android-Scala, Moxy, akka-stream

В идеале написать клиентские части который будет опрашивать пользователя о его предпочтениях(Выбор категорий, ключевые слова и т.д). Основная задача котую хотелось бы решить в этом разделе переиспользование клиент серверной прослойки между js и Android c с использованием akka-stream.

Программа минимум

Так как задач много планирую сначала сделать сервис парсинга и фронт для сбора пользовательских данных, остальное при наличии времени, но надеюсь что сделаю все.

Помощь

Буду рад если кто-то поможет мне со всем этим. Пишите в телегу @Femax339

Ссылки

пример android с akka stream то как планирую писать фронт + https://github.com/typesafehub/akka-js рекомендательная система то чем будем парсить хабр

Clone this wiki locally