train jiweil and AdaGram on umbc

[makrai]

No description provided.

[makrai]

AdaGram finishes on Thursday

[makrai]

lefutott a jiweil az umbc-n, pontosabban OutOfMemoryError-t dobott, úgyhogy fenntartásokkal kell kezelni az outputot. Ha nagyon más jön ki, mint a többi nyevre, akkor meg kéne csinálni kisebb korpuszon

[gaebor]

nessie-n próbáltad? ott van a legtöbb memória.

[makrai]

I did some mistake in moving the jiweil embedding to store, I will tell you when I finish

[makrai]

AdaGram has finished
real 3996m50.961s
not I do the postprocessing

[makrai]

a jiweil-t ügyesen kitöröltem, úgyhogy csinlom újra. Az AdaGram mindjárt a helyén lesz
/mnt/store/hlt/Language/English/Embed/multiprot/adagram/umbc-600-1epoch.mse

[DavidNemeskey]

Adagramra lefuttattam. Jó korrelációk több mindennel is (neela, huang). És @gaebor -nak igaza van, a logolt frekvenciákkal mind Spearmannel, mind Pearsonnal jó egyezést mutat.

[makrai]

a jiweil lehet, hogy nem lesz meg emberi időn belül, úgyhogy most átnézem a németet és a magyart, utána pedig lehet, hogy lefuttatok mindent egy angol webkorpuszon (ukWaC?)

[gaebor]

@makrai miért akarnál ukWaC-on tanítani, az UMBC nem jó?

[makrai]

attól tartok, az UMBC-n nem készül el időben

[gaebor]

az ukWaC miért készülne el gyorsabban?

[makrai]

mert hülye vagyok

store/hlt/Language/English/Crawl$ wc UMBC_Webbase/corpus.cleaned.without.pos.txt ukwac/UKWAC.spl 
   40586438  3338409198 18886715300 UMBC_Webbase/corpus.cleaned.without.pos.txt
   88214600  2247153469 12297438448 ukwac/UKWAC.spl

[gaebor]

UMBC-ből van felezett is /mnt/store/hlt/Language/English/Crawl/UMBC_Webbase/umbc.even.paragraphs.txt vagy umbc.odd.paragraphs.txt