Performance von sendData

[wahani]

Ich habe gerade einige Vergleiche zwischen https://github.com/INWTlab/dbrequests und dbtools angefangen. Zunächst einmal ist die Umsetzung in dbtools vergleichsweise schnell. Mir ist aber trotzdem aufgefallen, dass wir bei einem sendData und großen Datensätzen sehr viel Zeit brauchen, bis überhaupt in die CSV Datei geschrieben wird. Der Vorgang hat insgesamt ca. 6 Minuten gebraucht, ohne es genau gemessen zu haben hat es ca. 2 Minuten gedauert, bis ich den Konsolen-Output von data.table gesehen habe. Irgendetwas muss dort noch passieren. Mein Verdacht war zunächst: https://github.com/INWT/dbtools/blob/d0e19d225f3453f19ad5cb0d9d00a6e9a935ed9d/R/sendData.R#L97 weil ansonsten eigentlich nicht so viel passiert. Hier lohnt sich noch einmal ein genauerer Blick. Vermutlich würde es reichen ein paar Log-Statements zu setzen, und sich die Timings anzuschauen.

Ich habe das mit folgenden Daten getestet:

NROW <- 1000000
RPLCS <- 50

char <- function(nrow) {
  res <- matrix(sample(c(letters, LETTERS), 8 * nrow, TRUE), ncol = 8)
  apply(res, 1, paste0, collapse = "")
}
num <- function(nrow) round(abs(rnorm(nrow, sd = 10000)))
id <- function(nrow) seq(1, nrow)

df <- data.table::data.table(
  id = id(NROW),
  char1 = char(NROW),
  char2 = char(NROW),
  num1 = num(NROW),
  num2 = num(NROW)
)

df <- data.table::rbindlist(replicate(RPLCS, df, FALSE))

system.time(
  data.table::fwrite(df, "some.csv")
)

creds <- dbtools::Credentials(
  # Local Database:
  dbtools::MySQL,
  host = "0.0.0.0",
  port = 3306,
  password = "root",
  username = "root",
  dbname = "test"
)
dbtools::testConnection(creds)

system.time(
  dbtools::sendData(creds, df, "some_table", mode = "truncate")
)