A crawler that reads all the 'comune' data from italian Wikipedia. This crawler will be used to retrieve and insert all the 'comuni' information in a MongoDB database. It parses data that is in the right column.
$ npm install compendiovicorum-crawlerStart your MongoDB server and edit config.js file.
Then you could run:
$ node app.jsThe structure of insterted documents is this:
{
"nome": "Abano Terme",
"tipo": "comune",
"stemma": "http://upload.wikimedia.org/wikipedia/it/7/79/Abano_Terme-Stemma.png",
"bandiera": "http://upload.wikimedia.org/wikipedia/it/5/50/Abano_Terme-Gonfalone.png",
"stato": "Italia",
"regione": "Veneto",
"provincia": "Padova",
"sindaco": {
"nome": "Luca Claudio",
"partito": "lista civica di centro-destra Luca Claudio sindaco",
"inizioCarica": "30/05/2011"
},
"latitudine": "45°21′42.84″N",
"longitudine": "11°47′32.64″E",
"altitudine": "14 m s.l.m.",
"superficie": "21,41 km²",
"abitanti": "19 349",
"censimento": "31.12.2011",
"frazioni": [
"Feriole",
"Giarre",
"Monteortone",
"Monterosso"
],
"comuniConfinanti": [
"Albignasego",
"Due Carrare",
"Maserà di Padova",
"Montegrotto Terme",
"Padova",
"Selvazzano Dentro",
"Teolo",
"Torreglia"
],
"codicePostale": [
"35031"
],
"prefisso": "049",
"fusoOrario": "UTC+1",
"codiceIstat": "028001",
"targa": "PD",
"classificazioneSismica": "zona 4 (sismicità molto bassa)",
"classificazioneClimatica": "zona E, 2 383 GG",
"nomeAbitanti": "aponensi",
"patrono": "San Lorenzo martire",
"giornoFestivo": "10 agosto",
"sitoIstituzionale": "http://www.comune.abanoterme.pd.it/"
}If you have issues, just open one here.