Joerg on the web

Insert on duplicate key update

2010-03-16T08:22:09Z

(Ja, wer diesen Artikeltitel schon bei Kris gelesen hat: eine sehr ähnliche Thematik, nur halt eben nicht mysql)

Ich hatte letzte Woche den Fall, dass ich eventuell vorhandene Zeilen in einer Oracle 10g Datenbank anpasen musste; falls sie nicht vorhanden waren, mussten sie erzeugt werden. Natürlich kann man das ganze mit einem select vorab prüfen, ob das ganze da ist und dann entsprechend mit einem update oder einem insert weiterarbeiten (und nicht vergessen, das ganze in eine Transaktion zu packen). In meinem naiven jugendlichen Datenbank-Leichtsinn dachte ich mir aber, dass dieser Usecase so häufig vorkommt, dass er auch angenehmer mit Oracle-Bordmitteln gelöst werden kann.

Tut er auch. Dank ein bisschen Hilfe der Kollegen kam dann folgendes Statement



merge INTO DCS_SKU sku using ( SELECT 1 FROM dual ) ori

ON (sku.SKU_ID = 'SB1234' )

when matched then

    UPDATE SET

      sku.VERSION='1',

      sku.CREATION_DATE=TO_DATE('09/03/2010 15:59:00', 'DD/MM/YYYY HH24:MI:SS')

when NOT matched then

     INSERT(sku.SKU_ID, sku.VERSION,sku.CREATION_DATE)

      VALUES('SB1234', '1',TO_DATE('09/03/2010 15:59:00')

raus. Es prüft, ob sku.SKU_ID mit dem Wert "SB1234" bereits vorhanden ist. Wenn ja, wird entsprechend ein Update gefahren, ansonsten ein Insert.

Eigentlich nutzt man das "merge"-Statement zum Zusammenfassen von Tabellen, man kann es aber auch für diesen Zweck etwas zweckentfermden. Im Gegensatz zu Kris kenne ich mich mit Oracle zu wenig aus, um zu sagen, wo die (sicherlich vorhandenen) Fehler liegen und welche side effects man beachten muss. (Für den Usecase, bei dem ich es eingesetzt habe, war Fehlerhandling auch sehr nachrangig.) Vielleicht mag mich ja jemand aufklären

Mobilfunktarife out of hell

2009-08-04T20:22:50Z

Es demnächst mal wieder die Qual der Wahl an, Vertragsverlängerung beim Mobiltelefon. Mittlerweile dürfte es bereits die 6. Verlängerung sein, jedesmal mit einem neuen Endgerät. Vor 10 Jahren hat man noch die Neuerungen jeder neuen Handy-Generation richtig gemerkt, am ehesten beim Gewicht (mein erstes Handy,ein Nokia 1610, wog noch ca 300 Gramm, dessen Nachfolger in meiner Tasche, ein Siemens S25, nur noch 130 Gramm.

Bei den Tarifen, die von T-Mobile (damals noch Telekom) seitdem angeboten wurden, haben sich leider nicht im gleichen Maß die Preise geändert. Kostete 1997 eine Minute noch 69 Pfennig (in einem Telly Tarif), so verlangt T-Mobile heutzutage in den Relax-Tarifen bei vergleichbaren Grundpreisen immer noch 29 Cent pro Minute. Man könnte doch meinen, daß die Kosten für die Infrastruktur für ein Telefonat wesentlich gesunken sind bei einer gleichzeitigen vergrösserten Nachfrage (der grosse Handy-Boom war ja erst 2000/2001). Nein, ein einfaches Telefonat ist -- wenn man die Minutenpreise anschaut -- immer noch unbezahlbar.

Dabei geht es ja billiger. Selbst T-Mobile bietet prepaid-Tarife an, bei denen keine Grundgebühren anfallen und wo eine Minute in ein beliebiges Netz (Festnetz wie auch Mobilfunknutze) "nur" noch 19 Cent kostet. Von den (Prepaid)-Biliganbietern mit momentan 9 Cent pro Minute in alle Netze mal ganz zu schweigen. Wenn ich daher mal grosszügigerweise die Grundgebühr einzig als Ratenzahlung für mein verbilligtes Endgerät ansehe, verlangt die T-Mobile 300% des Minutenpreises von Congstar (die das gleiche Netz nutzen wie T-Mobile).
Gearscht sind Vertragskunden: Zuerst binden sie sich für 24 Monate (und können von eventuell sinkenden Preisen während der Vertragslaufzeiten nicht profitieren), zum anderen werden Mondpreise verlangt.

Ich überlege mir daher ernsthaft, ob ich nach mehr als 10 Jahren bei dem Rosa Riesen meinen Vertrag kündige; der Billigheimer Congster bietet Rufnummer-Portierung und die Möglichkeit, online die Karte aufzuladen. Das Goodie "keine Mindestvertragslaufdauer" gibt es noch oben drauf.

Offenbar zählt die Bestandskundschaft nicht mehr, höchstens als Melkkuh.

Andersweitig unterwegs

2009-04-29T18:37:08Z

Ein Grund, warum in diesem Blog in der letzten so wenig passiert, sind meine Aktivitäten auf cqdump (vom Namen her angelehnt an das mysqldump von Kris). Dort verbringe ich etwas Zeit, über die Stück Software (Day Communique) zu erzählen, welches ich tagtäglich in unter den Fingern habe. (Ja, das ist das fragliche Stück Software, über welches ich bereits desöfteren geschrieben habe.)

Work-Live-Balance?

2009-03-02T19:58:43Z

Auf Xing kann man sich bei einer entsprechenden Einstellung der Startseite ständig von Jobangeboten bombardieren lassen. Diese Vorschläge liegen mitunter doch schonmal recht heftig daneben, so meinte Xing auch schonmal, eine Stelle als Fabrikleiter in Spanien könnte für mich interessant sein. Naja.

Heute ist mir aber doch mal wieder eine recht ... amüsante ... Stellenbeschreibung untergekommen. Gesucht wird ein Projektleiter, zwar nicht mein Ding, aber trotzdem mal reinschauen und rausfinden, warum Xing das für mich interessant hält. Blabla, wir sind so toll, unter den Top 100 der deutschen Arbeitgeber, wir tun was für unsere Leute, sülz.

"Wir bieten eine optimale Work-Live-Balance". Klingt ja wunderbar. "Die Motivation der Mitarbeiter wird sowohl durch Fortbildungen wie auch durch gemeinsame Aktivitäten außerhalb der Arbeitszeit gefördert. Ahja, die Wochenende sind auch schon verplant, wie wunderbar. Unten bei den Anforderungen dann der Brüller "uneingeschränkte Mobilität".

Ich weiss jetzt nicht, was die unter "optimaler Work-Live-Balance" verstehen. Offenbar nicht dasselbe wie ich. Mein Ding ist "uneingeschränkte Mobilität" (was ich als 5 Nächte pro Woche im Hotel interpretiere) jedenfalls nicht, dafür bin ich viel zu sehr Familienmensch (Disclaimer: Bei 2 Nächten im Hotel sieht das schon wieder ganz anders aus). Für andere muss das aber "optimal" sein.

Langwierig

2009-01-15T22:00:02Z

Der erste Durchlauf, um meine Mails von meinem lokalen Server über eine DSL-Leitung (1mbit upstream) auf einen Rootserver per imap zu synchronisieren.



++++ Statistics ++++

Time                   : 295721 sec

Messages transfered    : 394783

Messages skipped       : 0

Total bytes transfered : 2745423813

Total bytes skipped    : 0

Total bytes error      : 0

Detected 0 errors

Please, rate imapsync at http://freshmeat.net/projects/imapsync/

295721 Sekunden sind fast dreieinhalb Tage; die Geschwindigkeit ist auch nicht berauschend, in 3 Sekunden 4 Mails synchronisiert; insgesamt gingen etwas mehr 2,5 GByte über die Leitung, auf die Sekunden runtergerechnet ergibt sich eine genutzte Bandbreite von etwa 9 kbyte/s, was einer Auslastung der vorhandenen Bandbreite von unter 10 Prozent entspricht.

An dieser Stelle würde eine Synchronisierung, die mehrere Ordner parallel bearbeitet, sicherlich Wunder bewirken.

Stehblues

2009-01-09T18:36:51Z

Virtualisierung ...

2008-12-12T19:51:40Z

heisst man das Phänomen, daß zu gewissen regelmässigen Zeitpunkten Applikationen langsam werden. Zu den Zeitpunkten nämlich, zu dem in allen virtuellen Maschinen auf einem Blech das Systemmanagement synchron anläuft und die ansonsten vorhandenen 40% idle CPU gnadenlos und über mehrere Minuten auf 0 dezimiert.

Das Unix für Männer (Teil 6)

2008-10-07T19:36:02Z

Es treten immer mal wieder Seltsamkeiten zutage, die einem das Unix für Männer bereithält. Der Gag des Tages: Grössenangaben bei Filesystemen.

Es ist das tägliche Brot eines Admins, sich über den noch freien Festplattenplatz zu informieren. Unter allem, was sich zumindest halbwegs zur Unix-Familie zugehörig fühlt, gibt es dafür den Befehl "df" (wie "disk free"),der einem -- mehr oder weniger nett formatiert -- anzeigt, wieviel Platz denn noch auf einem Filesystem zur Verfügung steht.

Das funktioniert überall, auch das Unix für Männer hält sich eigentlich auch ziemlich brav dran. Es gibt (ja wer hätte das gedacht?) nur eine einzige Ausnahme: Wenn man GPFS als Dateisystem einsetzt und es auf 2 unterschiedliche SAN-Devices installiert hat, quasi als RAID1 auf SAN-Ebene. Dann zeigt einem der "df" den Brutto-Wert an, als das doppelte der nutzbaren Kapazität.

(Da sich das ganze auf alle Grössenangaben auf einem GPFS bezieht, ist eine Datei, die genau 1 Byte enthält, auch 2 Byte groß. Ich wundere mich, warum noch keine Anwendung deswegen übel auf die Nase gefallen ist. )

Das Unix für Männer (Teil 5)

2008-08-09T08:46:30Z

Neues von der IBM Java Front. Wir haben die JVM inzwischen einigermassen stabil hingekriegt, nachdem wir MAXDATA so gesetzt haben, daß der native Heap für einen normalen Betrieb ausgereicht hat.

Da die Performance des Gesamtsystems aus diversen Gründen suboptimal war, wurde nach einer kurzen Evaluation die JVM einem Upgrade auf 1.5 unterzogen, da ein paar Tests einen Performance-Gewinn in der Grössenordnug von 30-40% versprochen haben (wohl hauptsächlich aufgrund eines verbesserten Garbage Collector). Bisher hat noch niemand nachgewiesen, ob die Performance damit wirklich besser geworden ist, da wir als Hauptursache des Problems -- binnen einer Stunde nach einem Start der Applikation wurde sie erst sehr langsam und stürzte dann mit einem Out-of-Memory ab -- einen etwas unkontrolliert wachsender Cache innerhalb der JVM identifiziert haben, den wir dann auch recht schnell bändigen konnten.

Seitdem die JVMs also wieder etwas länger laufen, gibt es das Phänomen, daß sie völlig unvermittelt stehenbleiben. Kein Eintrag im Log, truss zeigt keine Aktivität, man kann auch keinen Threaddump mehr schreiben. Nachdem wir mit etwas Mühe einen Speicher-Dump erzeugt haben, wurde die Ursache für den Stellstand von der IBM als ein ENOMEM in der libpthread identifziert. Juhu, schon wieder zu wenig native heap. Eine Überwachung mit svmon zeigt auch, daß sich der native heap mit der Zeit immer mehr füllt, selbst als wir noch etwas mehr Platz dafür freigeräumt hatten.

Ob wir damit einen Bug in der JVM gefunden haben oder sich der benötigte native heap schlichtweg drastisch vergrössert, ist noch nicht absehbar.

Sysadmin Appreciation Day

2008-07-25T06:30:00Z

Lasst es euch gut gehen, ihr habt's verdient.

Handling I/O errors

2008-07-02T13:49:48Z

Meaningful error messages are good. Period. A lot of software badly sucks at this point. They throw "an error happened" or show a strange behaviour, but they don't say, that they cannot open a file because of missing access rights. I stress in application guidelines for java software, that every exception is getting caught and at least logged at an warning loglevel. This mechanism offers the possibility to increase the loglevel from the usual "ERROR" to something like "INFO" if we're debugging an issue.

Continue reading "Handling I/O errors"

Sinnvoller Einsatz von Caches

2008-04-20T14:42:48Z

Reale Crashtests in der Automobilindustrie sind kostspielig und zeitaufwendig. Eigentlich nicht notwendige Tests (etwa weil beim ersten Versuch vergessen wurde, den Kopf des Crashtest-Dummies zu montieren) sollten möglichst vermieden werden.
Braucht man allerdings ein Jahr später die Ergebnisse nochmals, dann wird man den Test nicht nochmals nachvollziehen; stattdessen holt man aus dem Archiv die Ergebnisse des gewünschten Tests. Das erspart einem unnötigen Stress mit dem Chef und beschleunigt die aktuelle Arbeit enorm.

Ähnlich verhält es sich bei Programmen. Aufwendig berechnete (Zwischen-) Ergebnisse werden vorgehalten, damit man bei Bedarf wieder darauf zurückgreifen kann, ohne die komplette Berechnung wiederholen zu müssen. Diese Zwischenspeicher nennt man üblicherweise Cache. (Die Hardware-Leute verwenden auch Caches, aber dort werden sie etwas anders verwendet. Ich beschränke mich hier auf die Software.)

Continue reading "Sinnvoller Einsatz von Caches"

Worte, die man als Kunde nicht hören möchte

2008-04-11T21:48:10Z

Gespräch zwischen Software-Lieferant und Kunde:

Kunde: "Ich habe euch hier einen Speicherdump eurer Software; ich hab' mal versucht, eine Analyse zu machen, aber mein Rechner (1GB RAM) ist wohl zu klein dafür, hat eine diesbezügliche Fehlermeldung geworfen. Bitte macht ihr das, ist ja euer Job."

Lieferant: "So grosse Rechner haben wir nicht ..."

So geschehen im Jahre des Herrn 2007

Filesystem or database, that's the question

2008-04-02T19:54:55Z

Ich bin durch Zufall über einen wunderbaren Artikel gestolpert: Wie schreibe ich ein nicht-skalierbares Content Management System.

Es wird da allen Ernstes behauptet, das Datenbanken nur unnötige Komplexität haben und Personal brauchen, ein Filesystem dahingehend pflegeleicht und schnell sei.

When a database gets confused it can lose track of everything. And that's bad. Really bad. So bad they created a term for it. Corrupt. Being corrupt is so bad that every relational database requires an administrator function that acts as the gate keeper to ensure this very bad thing never happens.

Ich glaube, ich muss den Menschen mal einladen und zeigen, welche Probleme man kriegt, wenn man das Rad neu erfinden will. Wir setzen so ein filebasiertes Content Management System ein und haben sehr viel Spaß damit ...

Das Unix für Männer (Teil 4)

2008-03-30T20:49:59Z

Die letzte Zeit war es etwas ruhiger hier, aber anderswo hat es gewaltig geknallt.

Gegeben seien 2 Systeme, die gemeinsam auf ein Dateisystem lesend wie schreibend zugreifen müssen. NFS kommt aus diversen Gründen nicht in Frage. Dann bleibt im IBM-Umfeld GPFS übrig, das man dann auf SAN-Storage ablegt. Da man das Clusterfilesystem auch hochverfügbar haben will, wird das Filesystem auch gleich doppelt abgelegt auf zwei verschiedenen Storage-Systemen (quasi ein RAID 1 auf Schrank-Ebene).

Beide Systeme sind entsprechend grossem Blech virtualisiert (LPARs) und greifen mittels VIO auf das Storage zu. Jedes VIO hat daher Verbindungen zu beiden Storage-Systemen.

Dann ... fällt ein Storagesystem komplett aus. Zumindest derart, daß die Daten nicht mehr auf die Disks kommen. Und daß die Verbindungen zu diesem Storagesystem ausfallen. Tada, die Stunde der Hochverfügbarkeit hat geschlagen. Jetzt kann sich zeigen, ob das teure System sein Geld wirklich wert ist.

Was machen allerdings die VIO Systeme auf beiden Blechen? Sie fahren alle Verbindungen zu sämtlichen Storage-Systemen herunter. Auf beiden LPARs blockieren sämtliche I/O Aufrufe, während das Clusterfilesystem noch gemountet ist.

Diese Blockade der VIO Systeme lässt sich nur durch einen Reboot aufheben (nachdem das kaputte Storage auch richtig vom Rest der Umgebung abgetrennt wurde). Und weil die LPARs auch hängen, braucht man auch dort einen Reboot. Richtiges unmounten des Clusterfilesystems? Leider nicht möglich. Datenverlust bzw ein inkonsistentes Dateisystem ist zu erwarten.

Nach diesen Reboots und bangen Stunden, wie denn das Filesystem aussieht, die erlösende Nachricht: Hat wohl keine bleibenden Schäden erlebt. Nach dem Reboot konnten die Applikationen wieder hochgefahren und in Betrieb genommen werden. Was gut ist, denn ein Restore aus dem Backup hätte noch Tage gedauert, da ja nicht nur dieses System betroffen war; das Restore der weniger wichtigen betroffenen Systeme war dann 5 Tage später dran.

Jetzt hat es sich herausgestellt, daß die VIO da einen Bug gehabt hat; eigentlich hätten ja nur die Verbindungen zum defekten SAN-System gekappt werden dürfen. Das Testing des gefixten Treibers läuft...