Sentence merging still an issue

[DavidNemeskey]

Ali kalifa/Ali ibn Abi Tálib (Mekka, 599. július 29. - Kúfa, 661. január 24.) volt az iszlám negyedik, a „helyesen vezetettek” közé tartozó kalifája (uralkodott 656. június 17-étől haláláig).

There are three errors in the output:

• <w>kalifa/Ali</w> remains a single token
• a </s> is inserted after július 29.
• 24.) remains a single token instead of <w>24</w><c>.</c><c>)</c> (or sth like that)

@gaebor Thanks for spotting this.

[mittelholcz]

To "kalifa/Ali": Most of all \w+/\w+ strings listed from the hungarian webcorpus are URLs, abbreviations (e.g. TCP/IP) or measurement units (e.g. km/h), see webcorpus_-_top100_words_with_slash.txt, which should be treated as one token.