Praxis-Tipps für die Durchführung von A/B-Tests

09.06.2010: Die professionellen E-Mail-Marketing Systeme bieten diverse Optimierungs-Funktionen an – wie beispielsweise A/B-Tests. Dabei werden mehrere Varianten eines Mailings erzeugt, um diese Varianten miteinander zu vergleichen – z.B. mehrere Betreffzeilen, unterschiedliche Versand-Zeitpunkte oder inhaltliche Mutationen.

Damit Ihre Tests möglichst erfolgreich sind, haben wir einige Tipps für die Durchführung von A/B-Tests zuammengestellt

Testen Sie regelmäßig.

Machen Sie das Testen von Mailings zur Gewohnheit. Nur wer ständig (oder zumindest regelmäßig) seine Mailings testet und optimiert, kann seine Kennzahlen nachhaltig verbessern. Sie werden sehen: Der Aufwand ist sehr gering – doch die Erkenntnisse sind oft groß!

Variieren Sie immer nur ein Element.

Variieren Sie pro Test immer nur ein Element – denn sonst wissen Sie nach dem Test nicht, welches Element für den Unterschied in den Ergebnissen verantwortlich war. (Sie können nach einem Test ja einen weiteren Test durchführen, um ein anderes Element zu optimieren!).

Stellen Sie Hypothesen auf.

Am lehrreichsten sind Tests dann, wenn Sie vor dem Test eine Hypothese aufstellen (sprich: eine Theorie darüber entwickeln, welche Test-Variante am erfolgreichsten sein wird); Denn aus dem Unterschied zwischen Ihrer Vermutung und den tatsächlichen Ergebnissen lassen sich meist die interessantesten Schlüsse ziehen!

Achten Sie auf genügend große Testgruppen.

Achten Sie darauf, dass die Teil-Gruppen nicht zu klein werden – entweder indem Sie einfach eine möglichst große Versandgruppe wählen und/oder die Anzahl an Test-Varianten nicht allzu groß werden lassen. Denn je kleiner die Teil-Gruppen sind, desto weniger wahrscheinlich ist es, dass die Unterschiede statistisch aussagekräftig (und nicht nur rein zufällig) sind. Idealerweise sollten Sie pro Testgruppe mindestens 500 Empfänger vorsehen.