Erfahrungen mit dem Kompilieren eines vollständigen perl

[SvenLuebke]

Hallo Freetz-NG Entwickler!

Hat jemand Erfahrungen sammeln können mit dem Kompilieren eines vollständigen perl? Ich habe das wegen FHEM mal probiert und vieles läuft auch, selbst Module mit Libraries, aber eben manche Module (z.B. DBI) scheinen nicht zu laufen. Lasse ich mir mit ldd die Abhängigkeiten anzeigen, dann sehe ich wieder so etwas:

        ld-uClibc.so.1 => /var/media/ftp/usr/lib/ld-uClibc.so.1 (0x77cec000)
        libc.so.0 => /var/media/ftp/usr/lib/libc.so.0 (0x00000000)
        /var/media/ftp/usr/lib/ld-uClibc.so.1 => /var/media/ftp/usr/lib/ld-uClibc.so.1 (0x00000000)

wobei dieses Modul sogar funktioniert. Die gleiche Ausgabe für das SQLite Modul sieht so aus

        ld-uClibc.so.1 => /var/media/ftp/usr/lib/ld-uClibc.so.1 (0x76fb4000)
        libsqlite3.so.0 => /var/media/ftp/usr/lib/libsqlite3.so.0 (0x00000000)
        libc.so.0 => /var/media/ftp/usr/lib/libc.so.0 (0x00000000)
        /var/media/ftp/usr/lib/ld-uClibc.so.1 => /var/media/ftp/usr/lib/ld-uClibc.so.1 (0x00000000)

Habt Ihr eine Idee, woran es liegen könnte, dass ein Modul funktioniert, das andere jedoch nicht?

Ich freue mich über jede hilfreiche Antwort! Danke!

[fda77]

Ich sehe da keinen Fehler. Vielleicht braucht eine der Libs eine andere die es nicht gibt? Weshalb sind die denn nach /var/media/ftp verlinkt und nicht /usr/lib/freetz/? Der Pfad könnte sich ändern. Wenn die unbedingt auf USB sollen könnte man das mit external machen, damit kann man den Pfad konfigurieren

[SvenLuebke]

Oh...vielleicht habe ich da etwas durcheinander gebracht. Ich dachte, die Lade-Adresse muss überall ungleich 0 sein. Ist das doch nur bei ausführbaren Binaries wichtig? Sieht wohl so aus.

Fehlende Libs habe ich per strace gecheckt, konnte aber nichts Auffälliges entdecken: Alle Dateien können früher oder später gefunden werden.

Weshalb sind die denn nach /var/media/ftp verlinkt und nicht /usr/lib/freetz/? Der Pfad könnte sich ändern. Wenn die unbedingt auf USB sollen könnte man das mit external machen, damit kann man den Pfad konfigurieren

Ich benutze doch Freetz-NG nur zum Bauen und lege die Libs in /var/media/ftp/usr/lib. Du meinst, es könnte sich der Pfad /var/media/ftp ändern? Ja, das stimmt, dann müsste ich alles neu bauen...wäre aber auch nicht so wild. Ist eine Optimierung wert. Was meinst Du mit man könnte "das mit external machen"? Über Links?

So langsam bin ich echt am Verzweifeln...habe schon mehrere Tage investiert diese Sache zu untersuchen, bekomme die DBI-Module aber einfach nicht zum Laufen. Die libmysqlclient.so (Version 5.7.32...aktuell noch maintained) von Oracle läuft scheinbar ohne Probleme, zumindest kann ich über eine Test-Applikation auf eine MySQL-Datenbank meines Providers zugreifen. Das Ganze über perl eingebunden will aber einfach nicht laufen:

Had to create DBD::mysql::dr::imp_data_size unexpectedly at /var/media/ftp/opt/fhem/lib/perl5/5.32.1/mips-linux/DBI.pm line 1261.
Had to create DBD::mysql::db::imp_data_size unexpectedly at /var/media/ftp/opt/fhem/lib/perl5/5.32.1/mips-linux/DBI.pm line 1291.
Undefined subroutine &DBD::mysql::db::_login called at /var/media/ftp/opt/fhem/lib/perl5/5.32.1/mips-linux/DBD/mysql.pm line 157.

Wenn es keinen Fehler mehr bei den Libs gibt, dann muss der Fehler wohl irgendwo im perl DBI liegen, denn:

1. Die (sql-) Libs einzeln scheinen zu laufen (per Test-Applikation in C mit dynamischen Lib(s) getestet)
2. perl kann .so Libs ohne Probleme laden und ausführen (SerialPort.so funktioniert z.B. nachweislich)
3. perl läuft sonst auch ohne Probleme

Ich hab inzwischen herausgefunden, dass es DBI_TRACE gibt, mit dem man - wie der Name schon sagt - einen DBI-Trace erzeugen kann...ohne die Details zu kennen, ist das Verstehen aber nicht einfach. Außerdem gibt es noch den eingebauten perl-Debugger. Weder das Eine noch das Andere hat mich bisher weitergeführt.

Hat noch jemand einen besseren Tipp auf Lager?

[fda77]

Achso... dann passt das mit den Pfaden! Wenn ich ein Programm hab das irgendwas nicht machen, ruf ich das mit "strace -fff ......." auf.
Hast du mal nach "Had to create DBD::mysql::dr::imp_data_size unexpectedly" gesucht? Da gibt es viele Treffer, zb "PERL_DL_NONLAZY=1" setzen.
Ich hab aber von Perl aber keine Ahnung

[SvenLuebke]

Ja, mit strace habe ich auch versucht das Problem zu untersuchen...das geht dann aber irgendwann so weit ins Detail...da bin ich leider raus. Die negativen Rückgabewerte (von open(), stat(), read() ) kann ich noch erkennen, aber bei mprotect, mmap ist es dann vorbei, gerade dann, wenn vielleicht ein Fehler erkannt wird, der dann "normal" ist. Und perl lädt ja auch noch dauernd Module nach, der strace-Log wird dann etwas umfangreicher.

Natürlich habe ich auch schon nach der Fehlermeldung gesucht...und bekam genau EINEN Such-Eintrag eines Forums unter google...natürlich mit KEINER Antwort. Umso mehr war ich verwundert, dass Du so viele Resultate hattest. Ich habe mir bei Fehlerausgaben angewöhnt, den Text in Anführungszeichen zu setzen (um die Antworten genau auf meinen Fehler zu beschränken). Das klappt hier vielleicht durch die Doppelpunkte nicht mehr. Nehme ich die weg, bekomme ich wirklich viele Sucheinträge. Das ist schon mal ein Top-Hinweis! Vielen Dank! Nun kann ich weiter forschen!

Zumindest könnte nun deutlich werden, dass es sich um gar keinen Fehler in Kombination mit der Fritzbox und meinen gebauten Binaries handelt (das habe ich natürlich vermutet, weil es ja scheinbar bei anderen läuft...gerade auch nur wegen EINEM Suchergebnis), sondern vielleicht ein generelles Problem beim Bauen.

Ich halte Euch auf dem Laufenden, wenn Ihr möchtet!

[fda77]

Google liefert mir für "Had to create DBD::mysql::db::imp_data_size unexpectedly" 25ooo Treffer. Man darf das aber NICHT in Anführungszeichen setzen

Kennst du https://github.com/dirk-dhu/freetz-ng-new/ ? Da gibt ein paar zusätzliche Pakete für Freetz mit fhem. Ich hatte den vor langem mal angeschrieben ob @dirk-dhu das nicht mergen möchte, bekam aber nie eine Antwort
Vielleicht klappt es damit. Zum testen sollte es reichen in deinem aktuellen checkout nur das Verzeichnis make/perl/ reinzukopieren

[SvenLuebke]

Das mit den Anführungszeichen musste ich nun auch feststellen.

Ich wusste nicht, dass es einen so aktuellen Stand (sogar für freetz-NG) gibt. fhem auf der Fritzbox schien eher tot zu sein, weil nicht performant genug und wg. der Einschränkungen seitens AVM. Im Prinzip hab ich ein ähnliches perl.mk gebaut, das allerdings noch nicht so umfangreich ist.

Inzwischen hat sich bei meinen Binaries herausgestellt, dass DBI::sqlite ohne Probleme auf der Fritzbox läuft. Eine Datenbank wird dabei ohne Fehlermeldungen angelegt. D.h. der DBI-Teil (dafür wird auch schon eine dynamische Lib DBI.so nachgeladen) scheint zu funktionieren. Nur der mysql-Treiber (den ich mangels mysql-Server nur über Netzwerk/Internet teste) scheint sich noch zu weigern. Und ich habe noch ein paar nette Debug-Env.Variablen über die google-Suchergebnisse kennengelernt. Vielleicht kann ich das Problem dadurch weiter eingrenzen.

[fda77]

Du sollst Hardware von AVM kaufen! Ne Schaltbare Steckdose für UVP 50 euro und Heizkörperregler für UVP 60!!1
Alles ab x4xx ist bestens für FHEM geeignet. Als Beispiele: Eine 7590 hat 500 mb ram von denen bei mir 33% belegt sind. Eine 6490 hat eine x86 CPU mit mehreren Cores von je über 1Ghz. Die 6660 sogar 2GHz je core mit 1GB ram
Für meine gammelige Telekomleitung die bei gutem Wetter mit Glück volle 50 Mbit hinbekommt (und gern mal auf 5mbit absackt) reicht eine uralte Fritzbox

Die Version von @dirk-dhu besser? Ich find es halt blöd wenn verschieden Stände über verschieden Repos verteilt sind statt alles in 1 gemergt zu sein. Sollte man dirk-dhu/freetz-ng-new@68d16a6 cherrypicken? Ist halt blöd, dass da immer mehrere Packages in 1 Commit sind

[SvenLuebke]

Ich hab mysql inzwischen zum Laufen bekommen. Es war ein Verständnisproblem beim Bauen und leider hat sich kein Binary mit einer hilfreichen Fehlermeldung beschwert. Bei der Version von @dirk-dhu ist kein mysql vorhanden. Das lässt sich auch nicht so einfach vollständig integrieren, da der Build-Prozess von mysql nicht fürs Cross-Compilen ausgelegt ist. Man müsste das cmake-File patchen, damit man die benötigte libmysqlclient komplett automatisiert gebaut bekommt. Die alpha-Version, die bei freetz-NG integriert ist, unterstützt scheinbar kein SSL, wodurch DBD::mysql nicht gebaut werden kann, da dort ein paar Defines verwendet werden, die in dieser Version noch nicht vorhanden waren.

Ich find die AVM-Hardware auch echt super und kaufe sie alle paar Jahre ganz gerne. Schön, dass Du mir eine aufkommende Frage schon beantwortet hast, ohne dass ich gefragt habe: Die 7590 stellt dem Linux-Kernel also wirklich 512MB zur Verfügung?! Die 7490 hat ja leider nur 256MB...naja, 24000s nach dem Starten von apache, subversion, WebSVN und FHEM hatte sie zumindest noch 70MB im Cache.

[fda77]

Also die 7590 hat 500mb
https://boxmatrix.info/wiki/FRITZ!Box_7590
install-type: mips34_512MB_grx5_dect446_5geth_2ab_isdn_nt_te_pots_2usb_host3_2wlan11n_hw226_29616
aber

              total        used        free      shared  buff/cache   available
Mem:         454284      100672       50880       14688      302732      298924

also 150 von 450 werden genutzt. Ich hab aber viel vom AVM-Kram entfernt. Wofür AVM die restlichen 50 reserviert hat weiss ich nicht. Für mich hätte die 7490 jedenfalls ausgereicht.

Das MySql in Freetz ist uralt! Ich hatte diese Version schon auf der 7270 oder 7390 genutzt. Das müsste auch mal jemand aktualsieren, oder gleich MariaDB hinzufügen. Die Version läuft auch nicht auf x86 und arm da dazu noch Patches fehlen: https://github.com/Freetz-NG/freetz-ng/tree/master/make/mysql/patches

Ich hab mir das mir dem cherrypicken nochmal überlegt. Wenn man hier jetzt ein ganz andere Perl integriert, kann @dirk-dhu das nicht mehr rebasen. Daher übernehm ich nachher den 1 Commit, und du kannst deine Änderungen/Erweiterungen draufpacken. Dann kann dirk nur diese Änderung rückgängig machen wenn er will

[fda77]

Durch ein FOS Update wurde übrigends im August die RAM-Einteilung geändert. Die Statistik fing auf einer 7490 an

[fda77]

Ich hab lokal den dirk-dhu/freetz-ng-new@68d16a6 gemergt, aber das ist noch viel Arbeit. Als allererstes fällt auf dass bei jedem unpack alle Dateien für Perl erneut heruntegeladen werden. So schnell wird das nichts