forked from samdoiron/WhoAmI
-
Notifications
You must be signed in to change notification settings - Fork 0
/
update.js
93 lines (82 loc) · 2.94 KB
/
update.js
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
// I don't want to hose feedly's servers, so don't run this script too much.
var request = require('request'),
fs = require('fs');
var interests = [
['gaming', 'ігри', 'игры'],
['architecture', 'архітектура', 'архитектура'],
['design', 'дизайн'],
['politics', 'політика', 'политика'],
['art', 'мистецтво', 'искусство'],
['painting', 'живопис', "живопись"],
['technology', 'технологія', 'технология'],
['writing', 'письменство', 'писательство'],
['books', "книги"],
['engineering', 'технологія', 'технология', 'техніка', 'техника', 'інжинирінг', 'инжиниринг'],
['science', 'наука'],
['economics', 'економіка', 'экономика'],
['history', 'історія', 'история'],
['diy', 'зроби сам', 'сделай сам', 'очумелые ручки'],
['cooking', 'кулінарія', 'кулинария'],
['movies', 'кіно', 'кино'],
['television', 'телебачення', 'телевидение'],
['philosophy', 'філософія', 'философия'],
['psychology', 'психологія', 'психология'],
['sports', 'спорт', 'спорт'],
['programming', 'developing', 'html', 'javascript', 'css', 'python', 'програмування', 'программирования']
];
function loadUrls(interestAliases, callback) {
var urls = [],
count = interestAliases.length,
url = 'http://feedly.com/v3/search/feeds';
interestAliases.forEach(function(interest) {
request.get({url: url, qs: {q: interest, n: 1000}, json: true}, function(error, response, body) {
if (!error && response.statusCode === 200 && body.results.length) {
body.results.forEach(function (result) {
if('website' in result) {
urls.push(result.website);
}
})
}
// if all aliases are loaded
if (!--count) {
// process it
callback(urls);
}
});
});
}
function sortByUrl(interests){
var byUrl = {};
for(var key in interests) {
interests[key].forEach(function (url) {
byUrl[url] = byUrl[url] || [];
byUrl[url].push(key);
})
}
return byUrl;
}
function saveSites(urls) {
fs.writeFile('sites.json', JSON.stringify(urls), function(err) {
if(err) {
console.log(err);
} else {
console.log('sites.json was saved!');
}
});
}
var allInterests = {},
length = interests.length
count = length;
interests.forEach(function(interest, i) {
var key = interest[0];
console.log('Retrieving %s, (%s / %s)', key, i + 1, length);
loadUrls(interest, function(urls) {
allInterests[key] = urls;
// if all interests are loaded
if (!--count) {
// sort interests by url,
// and save to sites.json
saveSites(sortByUrl(allInterests));
}
});
});