Ein Vergleichsportal mit tausenden Seiten bauen: worauf es technisch ankommt

Ein Portal ist nur so gut wie seine Daten. Die kommen selten fertig, sondern aus vielen Quellen: Händler-Feeds, Schnittstellen, teils per Crawling. Diese Rohdaten sind unvollständig, widersprüchlich und voller Dubletten. Bevor auch nur eine Seite entsteht, muss das sauber zusammengeführt und angereichert werden.

Wir automatisieren diesen Schritt vollständig. Neue Daten laufen täglich ein, werden geprüft, bereinigt und den richtigen Kategorien zugeordnet. Ohne diese Pipeline wäre ein Portal dieser Größe von Hand nicht zu pflegen.

Wenn jede Produktseite bei jedem Aufruf die Datenbank befragt, bricht das System unter Last zusammen. Deshalb setzen wir auf Caching. Häufig abgefragte Ergebnisse liegen im Arbeitsspeicher bereit, in unseren Projekten antwortet die Suche so in unter fünf Millisekunden.

Seiten, die sich selten ändern, liefern wir vorgerendert aus. Der Nutzer bekommt fertiges HTML, ohne dass im Hintergrund gerechnet werden muss. Das hält die Seite schnell, egal ob zehn oder zehntausend Menschen gleichzeitig darauf sind.

Zwanzigtausend Seiten nützen nichts, wenn Google sie nicht findet. Dynamische Sitemaps, strukturierte Daten und eine durchdachte interne Verlinkung sorgen dafür, dass Suchmaschinen jede Seite erreichen und einordnen können.

Gerade die interne Verlinkung wird oft unterschätzt. Seiten, die von nirgendwo verlinkt sind, gelten für Google als unwichtig. Wir verknüpfen verwandte Produkte und Kategorien automatisch, damit kein Bereich verwaist.

Diese Art von Projekt lässt sich nicht zusammenklicken. Es braucht echte Softwareentwicklung, ein Verständnis für Datenverarbeitung und Erfahrung damit, was bei großen Seitenmengen bricht. Genau darin liegt unsere Stärke, und genau deshalb halten unsere Portale auch dann noch, wenn sie wachsen.