Recognize more than one line at a time

[mikegerber]

No description provided.

[mikegerber]

Related, from a private email between @kba and @andbue, copied with permission:

Hi Konstantin, ich hatte, als ich auf ocrd_calamari gestoßen bin, den Eindruck, dass predictor.predict_raw suboptimal ist, weil damit jede Zeile einzeln ins Netz geworfen wird, nicht eine komplette Batch. Eine größere Parallelisierung auf der GPU müsste eigentlich einen Geschwindigkeitsvorteil bieten, nach allem was ich darüber bisher gelesen habe. Jetzt habe ich allerdings in die Standardparameter von Calamari einen Blick geworfen und zu meinem Erstaunen festgestellt, dass dort auch eine batch_size von 1 festgelegt ist. Insofern macht das dann doch keinen Unterschied.

[bertsky]

IIUC this is no more the case in Calamari 2 BTW. This uses https://github.com/Planet-AI-GmbH/tfaip/blob/516a1f176e979c0abeb305550be0682c25a059e3/tfaip/data/databaseparams.py#L64 by default. The new predict_raw will delegate to predict_pipeline with an ad-hoc config. (But perhaps we should set up predict_pipeline directly to have true parallelism between the PAGE pre-/post-processing on the CPU and the Tensorflow prediction on the GPU.)