Add new internal endpoint for updating public csv data into S3 #645
Conversation
| @@ -0,0 +1,53 @@ | |||
| (ns solita.etp.service.csv-to-s3 | |||
There was a problem hiding this comment.
Voisi olla myös joku s3-caching tjsp.
There was a problem hiding this comment.
En pidä tuosta ehdotuksestani enää yhtään. Joku s3-csv-caching olisi ollut parempi ehdotus, mutta tämäkin on kyllä mielestäni ihan kuvaava nimi.
| (when (not= 0 (.position current-part)) | ||
| (upload-part-fn (aineisto-service/extract-byte-array-and-reset! current-part)))))) | ||
|
|
||
| (defn- process-csv-to-s3! [aws-s3-client key csv-reducible-query log-start log-end] |
There was a problem hiding this comment.
ehkä tuo logitusten parametrisointi tässä kontekstissa oli vähän overkill mutta tulipahan tehtyä
There was a problem hiding this comment.
Varmaan ihan hyvä, että tulee ainakin muistettua logittaa, kun käyttää tätä funktiota.
|
|
||
| (defn update-public-csv-in-s3! [db whoami aws-s3-client query] | ||
| (let [csv-query (energiatodistus-csv/energiatodistukset-public-csv db whoami query) | ||
| key "/api/csv/public/energiatodistukset.csv"] |
There was a problem hiding this comment.
Tälle voisi tehdä jonkin public-csv servicen ja hakea keyn sitä kautta 🤔
|
|
||
| (defn update-aineisto-in-s3! [db whoami aws-s3-client aineisto-id] | ||
| (let [csv-query (aineisto-service/aineisto-reducible-query db whoami aineisto-id) | ||
| key (str "/api/signed/aineistot/" aineisto-id "/energiatodistukset.csv") |
There was a problem hiding this comment.
Nämäkin keyt voisi muuten siirtää serviceen. Vrt. solita.etp.service.energiatodistus/file-key
| @@ -0,0 +1,53 @@ | |||
| (ns solita.etp.service.csv-to-s3 | |||
There was a problem hiding this comment.
Voisi olla myös joku s3-caching tjsp.
| (defn update-aineisto-in-s3! [db whoami aws-s3-client aineisto-id] | ||
| (log/info (str "Starting updating of aineisto (id: " aineisto-id ").")) | ||
| (let [csv-reducible-query (aineisto-reducible-query db whoami aineisto-id) | ||
| key (str "/api/signed/aineistot/" aineisto-id "/energiatodistukset.csv") |
There was a problem hiding this comment.
Tämäkin olisi ollut hyvä silloin aikoinaan varmaan tehdä omaksi funktiokseen ja käyttää myös testeissä sitä kautta. Refaktoroi toki, jos huvittaa.
| (t/deftest test-public-csv-to-s3 | ||
| (t/testing "Public csv doesn't exist before generating" | ||
| (t/is (false? (file/file-exists? ts/*aws-s3-client* "/api/csv/public/energiatodistukset.csv")))) | ||
|
|
||
| (t/testing "Public csv exists after generating" | ||
| (csv-to-s3/update-public-csv-in-s3! ts/*db* {:id -5 :rooli 2} ts/*aws-s3-client* {:where nil}) | ||
| (t/is (true? (file/file-exists? ts/*aws-s3-client* "/api/csv/public/energiatodistukset.csv"))))) |
There was a problem hiding this comment.
Täälläkin voisi sitten hakea file-keyt servicen kautta.
| :middleware [[security/wrap-db-application-name | ||
| (kayttaja-service/system-kayttaja :aineisto)] | ||
| [security/wrap-whoami-for-internal-aineisto-api]] |
There was a problem hiding this comment.
Nämä middlewaret voisivat varmaan olla jotain muuta.
Vaikuttavat ainakin niihin, että saako tehdä tietokantakyselyt, ja jos jotain muutettaisiin, niin audit tauluihin tulisi merkintä käyttäjästä.
Koska csv:tä pystyy hakemaan public puolelta, niin voisi varmaan hyppiä siitä routesta taaksepäin ja päätellä, mitä kannattaisi olla, tai tarvitaanko näitä edes🤔
There was a problem hiding this comment.
Jos nyt tajusin oikein tämän niin routessa takaisinpäin hyppimällä näyttäisi löytyvän publicin alta seuraava middleware, tämä varmaan riittäisi julkisen csvn latauksen tapauksessa?
["/public" {:middleware [[security/wrap-db-application-name]]}
There was a problem hiding this comment.
Joo luulisin niin. Lisäksi tuli vähän mietittyä, että se saattaisi vaikutta jopa siihen mitä csv:hen tulee. En nyt ole ihan varma vaikuttaisiko, mutta kai se kulkeutuu tuonne solita.etp.service.energiatodistus-search/whoami-sql asti 🤔
Mutta nyt ainakin pitäisi olla sama. Jos keksii testin, jolla testaa vähän tuota sisältö, niin voisi olla hyvä.
| (when (not= 0 (.position current-part)) | ||
| (upload-part-fn (aineisto-service/extract-byte-array-and-reset! current-part)))))) | ||
|
|
||
| (defn- process-csv-to-s3! [aws-s3-client key csv-reducible-query log-start log-end] |
There was a problem hiding this comment.
Varmaan ihan hyvä, että tulee ainakin muistettua logittaa, kun käyttää tätä funktiota.
Aika pitkälti olemassaolevaa totetusta mukaillen toteutettu uusi sisäinen endpoint julkisen puolen CSV-tiedostojen lataamiselle S3:een.
Aineisto.clj -tiedostossa tulee nyt hieman duplikaatti koodia ja ajattelin yhtenäistää toteutusta kunhan saan palautetta että olenhan tajunnut toiminnallisuuden oikein.
Testasin MinIO Consolen kautta ja näytti tulevan oikean kansion alle CSV:t