Nachdem ich mich von dem schrecken erholt hatte, begann ich mit der Ursachenforschung.

Den Einstieg bekam ich mit Ingos Blog-Eintrag.

Von dort ging es weiter zu http://2bits.com/articles/drupal-performance-tuning-and-optimization-for-large-web-sites.html und dem sichten der extra-langen Liste nach anwendbaren Vorschlägen.

Mein erster Kandidat war die MySQL-Datenbank. Sie läuft auf dem selben Rechner wie der Web-Server also keine zu überprüfende Netzwerk-Kommunikation. Also nahm ich das tuning-primer.sh-Skript und optimierte den DB-Server, so lange mir die Vorschläge plausibel erschienen und endlich alle Tests auf Grün standen. Keine Verbesserung.

Auch zeigte das devel.module, dass nur ein Bruchteil der Ladezeit für die SQL-Queries benötigt wurde.

Als nächstes (wenige Tage später) nahm ich mir den Apache vor. Auf ihm laufen neben PHP-Skripten (drupal, phpmyadmin) auch diverse Python-Apps und ein Scalix mit Tomcat-Servlet-Connector. Ich entfernte alle Apache-Erweiterungen, die nicht unbedingt benötigt werden (z.B. mod_userdir und mod_info). Dann noch .htaccess-Konfigurationen in die statische Server-Konfiguration übernommen und eaccelerator installiert. Keine Verbesserung.

Zwischendurch habe ich ein Benchmark eingeschoben, um von der “gefühlten” Trägheit des Servers zu vergleichbaren Werten zu kommen und vielleicht schon kleine Verbesserungen wahrnehmen zu können.

Das Ergebnis:

ab -n50 -c2 -dS http://portal.firma.de/node/111

...

Connection Times (ms)

              min   avg   max

Connect:       49   105   302

Processing: 11182 12339 16441

Total:      11231 12444 16743

Frustrierend!

Ich hatte als nächstes den verdacht, dass der Apache (2.0.18) mit der Multifunktionalität zu kämpfen hat und nicht gleichzeitig ein guter PHP- und Servlet-Host sein kann. Außerdem wollte ich mal lighttpd und FastCGI testen, weil das bei vielen Performance-Reports als Alternative genannt wird (unabhängig von einander). So hatte ich lighttpd+FastCGI auf Port 81 installiert und auf die identische Code-Basis losgeschickt. Der Benchmark ergab: Keine Verbesserung.

Nun, nach ein paar weiteren Bedenk-Tagen bin ich zu der festen Überzeugung gekommen, dass das Problem im Drupal zu finden war. So habe ich nach weiterem Literaturstudium hatte ich dann den entscheidenden Tipp gefunden: http://civicactions.com/blog/2009/feb/10/profiling_drupal.

So kopierte ich die gesamte Drupal-Installation auf mein Notebook (zur Vereinfachung der ganzen Sache), installierte “xdebug“http://www.xdebug.org/, aktivierte das Generieren von Profiling-Informationen und installierte kcachegrind (KDE, Linux). Und ziemlich schnell war klar, dass der Performance-Engpass durch das Modul og_content_type_admin verursacht wurde, welches in hook_init jedes mal die Funktion “menu_router_rebuild” aufruft. Als ich diesen Aufruf testweise auskommentierte, hatte ich kein Performance-Problem mehr!

Ein nochmaliger Benchmark lieferte überzeugende Ergebnisse:

# ab -n50 -c2 -dS http://portal.firma.de/node/111

...

Connection Times (ms)

              min   avg   max

Connect:       90   105   148

Processing:  1279  1470  2139

Total:       1369  1575  2287

Mit 1,5 Sekunden Seiten-Ladezeit kann ich sehr gut leben :)

Das Problem ist den Entwicklern übrigens bekannt, allerdings ist das Ticket geschlossen und die vorgeschlagene Lösung hat bei mir keine Verbesserung gebracht. So habe ich mich von der Funktionalität leichten Herzens getrennt.

I just wanted to run DBDesigner on my mandriva linux notebook. A colleague of mine told me that it is a very productive visual Db modelling tool. So I downloaded it from http://fabforce.net/dbdesigner4/downloads.php, unpacked it and wanted to run it. But the script exited without any output. And no GUI window appeared. Running the app with strace showed me somethng like

libborqt-6.9-qt2.3.so: cannot open shared object file: No such file or directory

what told me to care for some dynamic lib. A quick search offered a download source: http://rpmfind.net/linux/rpm2html/search.php?query=libborqt – I downloaded and installed it and it instantly healed my "broken" DBDesigner. Now it’s running and I can start to evaluate it.

BTW: This lib is a Kylix runtime lib, that means the ap is developed in Delphi/Kylix.

Recently I wrote about a cool SQL DB client called SQL Explorer. Now a colleague of mine, who was developing against a Oracle DB presented SQL Developer. And my review reveals: It’s cool too!

SQL Developer works best with Oracle DBs (who wonders? ;-). But if you provide the jdbc connector jars for MySQL or MS SQL, then these DBs can be accessed as well. The feature set seems to be comparable with SQL Explorer. The only caveat is, that it is a Java Swing application. So it looks and feels a bit aged.

You can get it from Oracle: http://www.oracle.com/technology/products/database/sql_developer/index.html
A Oracle Technology Network (OTN) account is needed for download.

Sitting in the Oracle course I get more and more in touch with SQL and its varieties Data Manipulation Language, Data Definition Language (DDL), Data Control Language (DCL) and Transaction Control Language (TCL).

But its very cumbersome to use the iSQL*Plus web front-end to write and execute all the queries.

So I did some research and found SQL Explorer. This is a very powerful, cross-platform and cross DB client for SQL databases. Just unzip it, define the jdbc jar for your database and connect the system. Ready!

Its really easy to

• connect any database you have an JDBC driver for,
• traverse the database structure,
• examine the contents of tables,
• execute queries,
• run previous queries once more,
• export data into text, html or excel files,
• and much more.

And: Its a Eclipse RCP application!

First I exported both database schemas and it’s contents via mysqldump into files. Then I opened the files with vim (I cannot imagine one can live without this "swiss army knife" ;-)) and applied a simple substitution:

%s;\(CREATE TABLE\|INSERT INTO\) `;&www_;

and

%s;\(CREATE TABLE\|INSERT INTO\) `;&o4e_;

respectivly.

Then I imported both dump files into the new database. Everything worked fine. Until I created the first new node. I realized, that the next node id was 1! After some investigatons I found the source of my trouble in the table {sequences}, where all counter names are prepended by the $db_prefix value, as this fragment of a mysqldump shows:

INSERT INTO `tpl_sequences` (`name`, `id`) VALUES<br />('tpl_users_uid', 1),<br />('tpl_menu_mid', 74),<br />('tpl_node_nid', 15),<br />('tpl_node_revisions_vid', 15);

After renaming the counter names everything worked well again.
And I hope I didn’t miss anything.