Methodik und Verfahren

1. Kriterien zuerst

Ein Vergleich beginnt nicht bei den Produkten, sondern bei der Entscheidung, die jemand treffen muss. Aus ihr ergibt sich, was zum Thema gehört und was nicht. Vor allem ergibt sich daraus die Liste der Kriterien: der technischen Merkmale, an denen die Wahl wirklich hängt.

Diese Liste wird festgelegt, bevor die Recherche beginnt, und im Überblick des Themas offen geführt. Der Grund ist schlicht. Ein Merkmal, das erst nachträglich dazukommt, könnte genau das sein, bei dem ein bestimmtes Produkt zufällig gut dasteht. Marketingbegriffe haben auf der Liste nichts verloren. Bei einem Haushaltsgerät stünden dort eher Leistungsaufnahme, Maße und Geräuschangabe als „smart“ oder „innovativ“.

Welche Fragen Käufer haben, zeigen die Vorschläge der Autovervollständigung einer Suchmaschine. Ausgewertet wird jeder Startbegriff für sich, denn Häufigkeiten aus verschiedenen Startbegriffen lassen sich nicht sinnvoll zusammenzählen. Aus den Fragen werden Beiträge. Vorher wird nachgesehen, ob ein vorhandener Beitrag die Frage schon beantwortet; dann entsteht kein zweiter.

2. Auszählen, was der Handel angibt

Fünf Produkte verraten wenig darüber, wie ein ganzer Markt seine Ware beschreibt. Ein Beitrag kann sich deshalb zusätzlich auf eine Auszählung stützen: alle Angebote zu einem Suchbegriff im Handel, derzeit bei Amazon.de. So lassen sich Fragen beantworten, an denen ein einzelnes Produkt scheitert. Wie viele Angebote nennen überhaupt eine Norm? Wie viele werben mit einer Eigenschaft, ohne sie zu belegen?

1. Was gezählt wird. Ein Suchbegriff in der Form, in der Käufer ihn eingeben, über eine festgelegte Zahl von Ergebnisseiten. Gesponserte Treffer bleiben draußen.
2. Was herausfällt. Zubehör und Produkte, die zu einer anderen Art gehören. Jeder Ausschluss bekommt einen Grund.
3. Die ganze Seite. Jede Detailseite wird vollständig gelesen: Titel, Stichpunkte, Datenfelder samt eingeklappter Tabellen, Beschreibung, Herstellerteil. Viele Angaben stehen nicht dort, wo man sie zuerst sucht.
4. Jeder Treffer einzeln. Dass ein Wort auf der Seite vorkommt, ist noch kein Befund. Steht „Edelstahl“ nur in der Shop-Navigation des Anbieters, zählt das Angebot nicht als Gerät mit Edelstahlgehäuse.
5. Mit Datum. Eine Auszählung gilt für den Tag, an dem sie gemacht wurde. Dieser Tag steht im Beitrag.

Manchmal werden auch die Packungsfotos ausgewertet, die Anbieter zeigen. Steht auf der Packung etwas, das im Angebotstext fehlt — ein Prüfzeichen, ein Warnhinweis —, wird es getrennt gezählt und auch so benannt.

3. Welche Produkte in einen Vergleich kommen

In einem Vergleich stehen fünf Produkte. Infrage kommt, was im deutschen Handel regulär zu haben ist und wozu sich belegbare Angaben finden. Wo es geht, sind alle drei Marktsegmente vertreten, Einsteiger, Mittelklasse und Premium. Sonst bliebe die Auswahl in einer Preislage stecken.

Nutzerbewertungen zählen erst ab 200 Stimmen. Darunter ist die Basis zu dünn, um eine Auswahl oder eine Reihenfolge zu tragen; erwähnt werden darf so eine Bewertung trotzdem. Ohne Quellenangabe erscheint keine Bewertung. Das lässt der Aufbau der Seite gar nicht zu.

Ob es für ein Produkt einen Partnerlink gibt, ist für die Auswahl egal. Ist ein direkter Link zum Händler der einzige oder schlicht der bessere Weg, wird er gesetzt, obwohl daran nichts verdient wird.

4. Quellen und ihr Gewicht

Im Kern sind es vier Arten von Quellen, und sie wiegen nicht gleich:

• Hersteller: Datenblatt, Bedienungsanleitung, Produktseite. Für Maße und Ausstattung die genaueste Quelle.
• Normen: mit Titel, Anwendungsbereich und dem, was frei zugänglich ist.
• Unabhängige Prüfungen: von Verbraucherorganisationen, Behörden oder aus der Fachliteratur. Wo es um Leistung oder Sicherheit geht, wiegen sie schwerer als jede Werbeaussage.
• Handel: nur dort, wo er mehr sagt als der Hersteller, und mit entsprechendem Vorbehalt.

Jede Quelle steht mit Namen, Link und Abrufdatum in der Liste am Ende des Beitrags. Prüfungen werden mit ihrem Jahr genannt. Eine ältere Prüfung bleibt, was sie ist: ein Datenstand von damals. Kundenrezensionen belegen keinen Wert, sie können höchstens Anlass für eine Gegenprobe sein. Mehr dazu auf der Seite Quellen.

5. Umgang mit Normen

Normtexte kosten Geld und werden nicht gekauft. Verwendet wird, was frei zugänglich ist: Titel und Anwendungsbereich aus den Katalogen der Normungsinstitute, Veröffentlichungen von Behörden, Fachliteratur, die eine Norm zitiert. Wo eine Norm herangezogen wird, steht dabei, worauf sich die Aussage stützt.

Beruft sich ein Angebot auf eine Norm, wird nachgesehen, ob diese Fassung noch gilt. Wer eine zurückgezogene Norm als Prüfgrundlage angibt, hat damit selbst einen Befund geliefert. Der kommt in den Text.

6. Fehlende Angaben und Ersatzwerte

Nennt der Hersteller einen Wert nicht, bleibt die Stelle leer und wird als Lücke gekennzeichnet. Geschätzt wird nicht. Von einem ähnlichen Produkt abgeschrieben auch nicht.

Eine Ausnahme gibt es: Lässt sich der fehlende Wert aus anderen, belegten Angaben ausrechnen, erscheint er als Ersatzwert. Der trägt immer drei Dinge bei sich — den Wert selbst, seine Art (errechnet, Herstellerangabe oder Normangabe) und den Rechenweg im Klartext. Als Herstellerangabe ausgegeben wird er nie.

7. Widersprüche und Ausreißer

Sagt der Hersteller das eine und der Händler etwas anderes, stehen beide Angaben im Text, jede mit ihrer Quelle. Gemittelt wird nicht, und es wird auch nicht still die Zahl genommen, die besser ins Bild passt. Welcher Quelle man folgt, entscheidet, wer liest.

Manchmal ist ein Datenfeld offensichtlich falsch befüllt: ein Maß, das physikalisch nicht hinkommen kann, eine Einheit, die nicht zur Größe passt. Dann wird der Wert nicht übernommen. Der Beitrag sagt, was dort steht und warum es nicht stimmen kann.

8. Eigene Rechnungen

Auf manche Fragen gibt keine Quelle direkt Antwort, eine Rechnung aus belegten Größen aber schon. Wie viel Strom braucht ein Gerät im Jahr, wenn man seine Leistungsaufnahme und eine übliche Nutzungsdauer kennt? Solche Rechnungen stehen mit Formel, Annahmen und Grenzen im Beitrag und sind als eigene Rechnung markiert.

Gemessen ist damit nichts. Aber man sieht, wie ein Wert zustande kommt, und kann ihn nachrechnen. Bei einer Faustregel, die niemand herleitet, geht das nicht.

9. Marktsegment statt Preis

Preise werden angesehen, um ein Produkt einem Marktsegment zuzuordnen. Aufgeschrieben werden sie nicht. Das Segment — Einsteiger, Mittelklasse oder Premium — ist die einzige Preisaussage auf kritero.de, und sie stimmt in einem halben Jahr in aller Regel noch. Taucht ein Geldbetrag auf, ob im Text, in den Daten oder in den strukturierten Daten, bricht der Aufbau der Seite ab.

10. Prüfung vor der Freigabe

Bevor geschrieben wird, ist für jeden Beitrag festgehalten, welche Aussage aus welcher Quelle kommt. Was sich danach maschinell prüfen lässt, wird maschinell geprüft, teils beim Aufbau der Seite, teils vor der Freigabe:

• kein Geldbetrag und kein Preisfeld, weder im Text noch in den Daten;
• Bewertungen und Auszeichnungen nur mit benannter Quelle;
• jede Quelle mit Bezeichnung;
• interne Links und Sprungmarken gültig, Quellenlinks erreichbar;
• strukturierte Daten ohne Preis- und Angebotsfelder;
• Darstellung auf Telefon und Desktop ohne Überlauf und ohne Überlappung.

Schlägt eine dieser Prüfungen fehl, wird nicht veröffentlicht. Für die Zahl der Quellen gilt ein Zielwert von vier bis sechs je Beitrag; liegt ein Beitrag darunter, wird das gemeldet.

Nach dem Veröffentlichen wird die ausgelieferte Seite noch einmal angesehen. Ist sie erreichbar? Sind die Partnerlinks gekennzeichnet? Kommen die Händlerlinks am Ziel an?

11. Pflege danach

Jeder Beitrag hat ein Datum der letzten Prüfung und ein Änderungsprotokoll. Das Datum der Erstveröffentlichung bleibt dabei, wie es ist. Einen gepflegten Beitrag mit neuem Datum als frischen auszugeben, wäre Lesern und Suchmaschinen gegenüber nicht ehrlich.

Stellt sich eine Zählung als fehlerhaft heraus, wird die ganze Stichprobe neu ausgezählt. Alle Beiträge, die sich auf die Zahl stützen, werden nachgezogen. Jede Korrektur erscheint auf der Seite Korrekturen.

12. Was die Methode nicht leistet

• Es gibt kein Labor. Lautstärke, Leistungsaufnahme oder Haltbarkeit werden nicht selbst gemessen; was dazu im Beitrag steht, hat eine genannte Quelle.
• Eine Auszählung ist eine Momentaufnahme. Angebotstexte ändern sich, und dieselbe Suche kann am nächsten Tag andere Treffer liefern.
• Normen fließen mit Titel, Anwendungsbereich und frei zugänglichen Angaben ein, nicht mit ihrem vollständigen Wortlaut.
• Hersteller haben ein Eigeninteresse, und Handelsangaben sind am wenigsten verlässlich. Beides wird dazugesagt.
• Bewertungen im Handel zeigen, wie zufrieden Käufer sind. Eine Messung sind sie nicht.