MapReduce on suurten datamäärien prosessointiin tarkoitettu ohjelmointimalli. Google App Engine tarjoaa oman MapReduce-ympäristönsä.
MapReduceen voi tutustua vaikka tästä. Tässä taas ohjeita App Enginen mapreduce-kirjaston käyttöön.
App Enginen MapReduce-toteutuksessa on erilaisia tapoja lukea syötettä ja kirjoittaa tuloksia.
Tässä harjoituksessa voi esimerkiksi lukea käyttäen DatastoreInputReader:ia ja kirjoittaa tulokset FileOutputWriter:illä Cloud Storageen.
- Toisessa viikkoharjoituksessa tallennettiin eläimiä Datastore-tietokantaan. Voit jatkaa joko omasta 2. harjoituksen toteutuksestasi tai kloonata tämän repositorion, johon on jo valmiiksi lisätty mapreduce-kirjasto.
- Laske MapReducen avulla kunkin eläimen saalistajien lukumäärä. Eli se kuinka monta kertaa kukin eläin esiintyy muiden eläinten saaliseläimenä.
- Tulosten esittämiseen ei tässä tarvitse keskittyä. Voit katsoa ne vaikka SDK:n kehityskonsolin Blobstore Viewerillä (jos tallensit käyttäen
FileOutputWriter:iä. Tai App Enginessä ajaessasi sen kehityskonsolista.
(Oikeasti tietenkään näin pienten datamäärien tapauksessa ei ole mitään järkeä käyttää MapReducea; saman voisi hyvin tehdä tietokantakyselyinkin.)