Ihre Empfänger wissen am besten, welche Newsletter/Mailings ihnen gefallen. Trotz aller Tipps und Tricks zur Optimierung von Newslettern ist daher die wirkungsvollste Methode immer noch, die E-Mail einfach in der Praxis zu testen. Bewährt haben sich dazu sog. A/B-Tests. Wir zeigen Ihnen, wie A/B-Tests funktionieren und was Sie dabei beachten müssen.
Es gibt eine Vielzahl an Faktoren, die es an einem Newsletter oder Mailing zu optimieren gilt – z.B. die Betreffzeile, die Headergrafik, die Gestaltung von Call-to-Action Elementen und natürlich auch der Text. Ziel eines jeden E-Mail Versenders sollte es daher immer sein, jedes Element so zu gestalten, dass es für seine Zielgruppe maximal ansprechend ist. Um zu einem optimalen Newsletter/Mailing zu gelangen gibt es verschiedene Möglichkeiten: Checklisten, Empfängerbefragungen und Praxis-Tests.

Zwei E-Mail Varianten vergleichen

Ein bewährtes Test-Verfahren ist der sog. A/B-Test. Bei einem A/B-Test werden zwei Varianten (A und B) einer E-Mail versendet, die sich in einem Faktor (z.B. der Betreffzeile) unterscheiden. Durch einen Vergleich der Kennzahlen (beim Test der Betreffzeile z.B. die Öffnungsrate) lässt sich nun ermitteln, welche Variante besser funktioniert hat. Es ist wichtig zu beachten, dass bei einem A/B-Test immer nur ein Faktor der E-Mail getestet werden kann. Wird beispielsweise die Betreffzeile getestet, müssen andere Faktoren (wie z.B. der Versandzeitpunkt) bei beiden E-Mails gleich sein. So wird garantiert, dass der Unterschied in den Erfolgskennzahlen auch wirklich durch den zu testenden Faktor verursacht und nicht anderweitig verzerrt wurde. Tests, bei denen mehrere Faktoren gleichzeitig getestet werden, werden als multivariate Tests bezeichnet und sind komplexer in der Durchführung.
Es gibt prinzipiell zwei Möglichkeiten, einen A/B-Test durchzuführen. Einmal ist es möglich, “im laufenden Betrieb” zu testen. Dies macht nur Sinn bei periodischen Versänden wie beispielsweise einem Newsletter. Eine Ausgabe eines Newsletters wird in zwei Versionen verschickt und bei der folgenden Ausgabe wird sich an der Version mit den besseren Kennzahlen orientiert. Es ist aber auch möglich, bereits vor Versand des eigentlichen Mailings einen Testversand durchzuführen. In diesem Fall werden aus dem Verteiler zwei Testgruppen abgespalten, die je eine andere Version der E-Mail erhalten. Die erfolgreichere Variante wird nun an den Rest des Verteilers verschickt. Dies kann auch automatisiert geschehen.

Repräsentativität gewährleisten

A/B-Tests müssen nicht auf zwei Newsletter Varianten beschränkt sein. Theoretisch können unbegrenzt viele Varianten gegeneinander getestet werden. Die Voraussetzung ist, dass der Verteiler groß genug ist, damit in den Testgruppen auch genügend Empfänger für ein repräsentatives Bild vorhanden sind. Die Gruppen sollten dabei gleich groß sein. Es ist auch zu empfehlen, sie zufällig zu bestimmmen, um eine gleichmäßige Verteilung von z.B. sozio-demografischen Eigenschaften zu gewährleisten.

Beispiel: gestaltete Mail vs. Text-Mail-Look

In diesem Beispiel sollte der Newsletter eines artegic Kunden zukünftig unter anderer Firmierung verschickt werden. Deshalb sollte von den Abonnenten eine Bestätigung eingeholt werden, dass sie den Newsletter auch mit der neuen Firmierung weiter beziehen möchten. Um diese Bestätigung einzuholen, standen zwei E-Mail Typen, die sich in ihrem Design unterschieden. Eine Mail war mit Bildern und grafischen Elementen wie auffälligen Call-to-Action Buttons gestaltet. Die andere Variante hatte den Look einer handgeschriebenen Text-Mail. Vor Versand wurde mit Hilfe eines A/B-Test Versandes an eine Testgruppe ermittelt, welches Design die bessere Conversion erzielt. Das Ergebnis: Die E-Mail im Text-Look war ein wenig effizienter und wurde somit an den restlichen Verteiler versendet.