Web Scraping vs. Preisüberwachung: Selbst bauen oder kaufen?

Die grundlegende Entscheidung: Selbst bauen oder kaufen

Jedes Team, das Preisdaten von Wettbewerbern will, kommt an dieselbe Weggabelung. Bauen Sie Ihren eigenen Scraper, oder bezahlen Sie für ein Preisüberwachungstool, das die Extraktion für Sie erledigt? Es sieht aus wie ein Kostenvergleich, ein kostenloses Skript gegen ein monatliches Abonnement, und genau diese Sichtweise verbirgt, wohin das Geld tatsächlich fließt.

Ein Scraper ist billig zu schreiben und teuer am Leben zu halten, und fast nichts von diesen Kosten taucht im ersten Monat auf. Deshalb gewinnt der Eigenbau immer wieder Diskussionen, die er verlieren sollte.

Was folgt, setzt Listenpreise an die Teile, die sich beziffern lassen, und benennt die Teile, die niemand gemessen hat. Wenn Sie noch klären, was Sie überhaupt beobachten sollen, behandelt wie Sie Wettbewerberpreise verfolgen genau das zuerst.

Was "Web Scraping" wirklich bedeutet

Web Scraping ist die reine Technik: eine Seite abrufen, sie parsen, den Preis herausziehen. In einer Demo sind das ein paar Zeilen Code, und deshalb fühlt sich der Eigenbau am Anfang leicht an. Ein Preisüberwachungstool verpackt dieselbe Technik zusammen mit Zeitplanung, Speicherung und Benachrichtigung und pflegt sie anschließend für Sie.

Die Demo funktioniert auf einer Seite, an einem Tag, auf einer Website. Echte Überwachung funktioniert weiter über Dutzende Websites hinweg, jeden Tag, während sich diese Websites unter Ihnen verändern und einige davon Sie aktiv aufhalten wollen.

Warum Preis-Scraping schwieriger ist, als es aussieht

Das Blockieren ist die erste Wand, und es ist endlich gemessen worden. Eine Studie vom Juni 2026 besuchte 10.000 Websites mit vier verschiedenen Browser-Konfigurationen, insgesamt 40.000 Seitenaufrufe, und verzeichnete eine Blockrate von 15 % für Headless-Chromium gegenüber 7 % für die übrigen Konfigurationen. Auf Bot-Erkennung entfielen 82 % der Blockaden, 59 % bestätigt anhand eines bekannten Anbieter-Fingerabdrucks und 23 % erschlossen. Von diesen Bot-Erkennungs-Blockaden gingen 37 % auf Cloudflare und 26 % auf Akamai zurück (arXiv, Juni 2026).

Zwei Dinge an dieser Zahl wiegen schwerer als die Zahl selbst.

Das Erste: Sie ist eine Untergrenze. Die Autoren zählen nur ausdrückliche HTTP-Fehlerantworten, 403, 429 und 503; abgewertete Inhalte innerhalb eines HTTP 200 liegen nach ihren eigenen Worten außerhalb ihres Beobachtungsbereichs. Der Fehlerfall, dem eine Preisüberwachung tatsächlich begegnet, ist fast immer ein 200: eine Challenge-Hülle, die sich wie eine echte Seite parsen lässt, oder eine Produktseite, die Clients ohne Browser ganz ohne Preis ausgeliefert wird. Die tatsächliche Fehlerrate für Headless-Chromium liegt also bei mindestens 15 %, und alles oberhalb dieser 15 % liefert Ihnen einen falschen Preis statt eines Fehlers.

Das Zweite ist ein Vergleich, der nie durchgeführt wurde. Die 7 % als Vergleichswert stehen für andere Browser-Konfigurationen, nicht für einfache HTTP-Abrufe. Nichts in der Studie zeigt, dass ein browserfreier Abruf sicherer wäre als ein Headless-Browser, und jeder Anbieter, der sie so zitiert, überdehnt sie.

Der Rest der Schwierigkeit ist unspektakulär:

JavaScript-Rendering: Viele Shops laden den Preis erst, nachdem die Seite geöffnet ist. Ein einfacher Abruf sieht einen Platzhalter, Sie brauchen also Rendering-Kapazität oder den zugrunde liegenden Daten-Feed.
Strukturelle Vielfalt: Jede Plattform, jedes Theme und jeder Shop zeichnet Preise anders aus. Ein Parser, der auf ein Shopify-Theme abgestimmt ist, versagt beim nächsten, und ein Marktplatz sieht völlig anders aus als ein unabhängiger Shop. Wettbewerberpreise auf Shopify verfolgen zeigt, wie viel Variation allein in einer einzigen Plattform steckt.
Varianten-Komplexität: Ein einzelnes Angebot kann Dutzende Varianten mit unterschiedlichen Preisen und Beständen führen. Der Schlagzeilenpreis ist oft die falsche Zahl, um darauf zu reagieren.
Ständiger Wandel: Websites werden neu gestaltet, Felder umbenannt, Preise verschoben. Ein Scraper ist nie fertig.

Der eine Teil, der leichter ist, als er aussieht

Beiträge zum Thema Eigenbau gegen Kauf übertreiben, wie feindlich das Web dem maschinellen Lesen gegenübersteht. Die Gegenkraft kommt von Google.

Um Shopping-Anzeigen zu schalten, muss die Landingpage eines Händlers ein Produkt zeigen, das "im Wesentlichen identisch mit dem Produkt in Ihren Produktdaten" ist, "unabhängig vom Gerät des Nutzers, vom User-Agent (einschließlich Bots), vom Browser, vom Standort, von Cookies, von Ihren Entscheidungen zur Anzeigenausrichtung oder von jeder anderen Erwägung", und sie muss "den Produktpreis auf der Landingpage klar anzeigen", passend zum Feed (Google, August 2026). Die Klammer ist das ganze Argument: Ein Händler, der Shopping-Platzierungen anstrebt, hat einen kommerziellen Grund, einem Client, der kein Browser ist, einen ehrlichen, maschinenlesbaren Preis auszuliefern.

Deshalb funktioniert das Auslesen strukturierter Produktdaten so gut, wie es funktioniert, und deshalb liest ein vernünftiger Extraktor zuerst das Markup und rendert nur dann, wenn Markup fehlt. Die Grenzen sind real: Die Vorgabe bindet Händler, die Shopping-Traffic anstreben, nicht Marktplätze und nicht Websites, denen dieser Traffic gleichgültig ist, und sie sagt nichts über regional abweichende Bestände oder Preise je Währung. Sie macht die gewöhnlichen, ungeschützten Shops billig lesbar und bringt bei der geschützten Minderheit nichts, und genau dort sterben Eigenbau-Projekte.

Die wahren Kosten des Eigenbaus

Die Abonnementgebühr für ein Tool ist sichtbar und planbar. Ein selbstgebauter Scraper kostet Geld, das Sie erst sehen, wenn Sie bereits damit leben. Es folgen drei Kostenpositionen, und nur die mittlere stammt von einer öffentlichen Preisliste. Die erste hängt vollständig von Ihrem Team ab, deshalb lasse ich sie unbeziffert, statt eine Spanne zu erfinden. Die dritte kann niemand beziffern.

Anfänglicher Entwicklungsaufwand

Etwas, das JavaScript rendert, mit mehreren Website-Strukturen umgeht, Anti-Bot-Maßnahmen übersteht, Varianten parst, Prüfungen plant, den Verlauf speichert und Benachrichtigungen verschickt, ist ein Projekt und kein Nachmittagsskript. Kalkulieren Sie es auch so.

Proxys und Rendering, zum Listenpreis

Diese Position überrascht viele, weil die Kosten einer einzelnen Anfrage keine einzelne Zahl sind. Die veröffentlichte Credit-Tabelle von ScrapingBee bepreist einen einzigen Abruf auf fünf verschiedene Arten, und der Einstiegstarif kostet USD 49 im Monat für 250.000 Credits (ScrapingBee, August 2026).

Abrufmethode	Credits pro Anfrage	Anfragen für USD 49 im Monat
Klassischer Proxy, ohne JavaScript-Rendering	1	250.000
Klassischer Proxy, mit Rendering	5	50.000
Premium-Proxy, ohne Rendering	10	25.000
Premium-Proxy, mit Rendering	25	10.000
Stealth-Modus (Rendering nicht abschaltbar)	75	3.333

Geschützte Websites schieben Sie diese Leiter Sprosse für Sprosse hinauf, und Sie entscheiden nicht, auf welcher Sprosse eine Website sitzt.

Halten Sie eine Arbeitslast dagegen. Zweihundert Wettbewerber-URLs, stündlich geprüft, sind 144.000 Prüfungen im Monat, was als einfache Abrufe noch in den Einstiegstarif passt. Gerendert braucht derselbe Job 720.000 Credits, knapp das Dreifache des gesamten Kontingents. Premium plus Rendering bringt ihn auf 3,6 Millionen, ungefähr das Vierzehnfache. Stealth bringt ihn auf 10,8 Millionen, mehr als das Vierzigfache. Dieselben URLs, derselbe Takt, Faktor fünfundsiebzig zwischen dem einen und dem anderen Ende der Leiter, und die Websites entscheiden, wo Sie landen.

Einen eigenen Proxy-Pool zu betreiben verschiebt die Kosten stattdessen auf Bandbreite. Bright Data führt Residential-Traffic mit USD 4,00 pro GB bei Abrechnung nach Verbrauch, mit monatlichen Festtarifen darunter (Bright Data, August 2026).

Monatliche Bindung	Enthaltener Traffic	Effektiver Preis
Abrechnung nach Verbrauch	keiner	USD 4,00 pro GB
USD 499 im Monat	141 GB	USD 3,54 pro GB
USD 999 im Monat	332 GB	USD 3,01 pro GB
USD 1.999 im Monat	798 GB	USD 2,51 pro GB

Volumen bringt in der höchsten Stufe rund 37 % Nachlass auf den Verbrauchspreis und nichts, was einer anderen Größenordnung nahekäme.

Ignorieren Sie die "Marktdurchschnitte" pro GB, die eine Suche dazu ausspuckt. Jeder einzelne, dem ich nachgegangen bin, führte auf einen Affiliate-Vergleichsblog zurück, der einen anderen zitierte.

Wartung, die Position, die niemand beziffern kann

Hier hat die frühere Fassung dieses Beitrags geschummelt. Sie behauptete, ein verwaltetes Tool sei günstiger, "sobald man die Entwicklungszeit einrechnet", was nach Rechnen klingt, es aber nicht ist, weil niemand die Entwicklungszeit je gezählt hat.

Es gibt keinen glaubwürdigen öffentlichen Benchmark dafür, wie oft ein Preis-Scraper kaputtgeht oder wie viele Stunden im Monat es kostet, ihn am Leben zu halten. Jede Angabe zu Wartungsstunden, die ich zurückverfolgen konnte, führte zu einem Anbieter und nicht zu einer Messung. Die begutachtete Methodenliteratur geht ehrlicher damit um: Forschung, die auf Scraping angewiesen ist, benennt das Brechen von Pipelines als bekannte Gefahr für die Reproduzierbarkeit und warnt, Pipelines könnten "brechen, wenn neue Anti-Scraping-Techniken eingeführt werden und Code mit neueren Versionen von APIs und Websites inkompatibel wird", nennt dafür aber keine Rate (Big Data & Society, November 2025). Das ist die ehrliche Position, und ich übernehme sie.

Das Argument gegen den Eigenbau lautet deshalb nicht, dass die Wartung mehr kostet als ein Abonnement. Es lautet, dass die Wartung keine Obergrenze und keine Prognose hat und dass sie dauerhaft ist statt eine Phase. Jeder stille Ausfall birgt das Risiko, Ihnen einen veralteten Preis zu liefern, was schlimmer ist als gar keiner, weil Sie danach handeln werden. Die nötige Aufmerksamkeit wächst mit der Zahl der beobachteten Websites und damit, wie oft Sie Wettbewerberpreise prüfen, und jede Stunde davon ist eine Stunde, die nicht in die Preisstrategie fließt, für die die Daten erhoben wurden.

Das rechtliche Risiko, das Sie einpreisen sollten

Öffentliche Preise zu scrapen ist eine rechtlich ungeklärte Frage, und sie gehört in die Rechnung zwischen Eigenbau und Kauf. Was folgt, ist an eine Rechtsordnung gebundene Orientierung, keine Rechtsberatung.

Der Fall, der üblicherweise als Erlaubnis zitiert wird, ist hiQ Labs v. LinkedIn, und er endete nicht so, wie die Schlagzeilen nahelegen. Er wurde im Dezember 2022 mit einem Vergleichsurteil über USD 500.000 gegen hiQ abgeschlossen, dazu kamen eine dauerhafte Unterlassungsverfügung und ein Haftungsanerkenntnis unter anderem wegen Vertragsbruchs. Ein Vergleichsurteil schafft keinen Präzedenzfall, es taugt also in keine Richtung als Autorität (Morgan Lewis, Dezember 2022).

Geändert hat sich seither, worauf Klagen gestützt werden. Das Risiko unter dem Computer Fraud and Abuse Act ist enger geworden, und Kläger sind stattdessen auf Vertragsbruch, Urheberrecht und das Umgehungsverbot nach DMCA Section 1201 ausgewichen, unter anderem in X Corp. v. Bright Data, Reddit v. Anthropic und Reddit v. SerpApi (ZwillGen, Februar 2026). Das Umgehungsverbot sollte ein Eigenbau-Team nachdenklich machen, denn eine Bot-Challenge zu überwinden liegt nahe an dem Verhalten, das es beschreibt.

Kaufen lässt die Frage nicht verschwinden, verlagert aber die operative Hälfte zu einem Anbieter, dessen Geschäft davon abhängt, sie richtig zu beantworten. Wenn Sie Preise erheben, um eine Richtlinie zum Mindestwerbepreis durchzusetzen, lassen Sie sich zu Erhebung und Durchsetzung gemeinsam beraten.

Was ein verwaltetes Tool abfängt, und wo eine API hineinpasst

Ein Preisüberwachungstool existiert, um die Liste von oben abzufangen. Extraktion, Eskalation, Zeitplanung, Speicherung und Benachrichtigung werden zum operativen Problem eines anderen, und ein schlechter Monat schlägt auf dessen Marge durch statt auf Ihre Roadmap.

Manche Teams wollen die Daten in ihre eigenen Systeme fließen lassen, um einen Repricer, ein Dashboard oder einen automatisierten Workflow zu speisen. Das ist die Aufgabe einer Überwachungs-API im allgemeinen Sinn: Sie ziehen Preise, die jemand anderes extrahiert hat, in Ihren eigenen Stack, ohne die Extraktionsebene zu besitzen. Eine Anbieter-API und ein selbst geschriebener Scraper übergeben Ihrem Code am Ende beide einen Preis. Nur bei einem von beiden wird jemand anderes geweckt, wenn ein Händler an einem Freitagabend ein Redesign ausrollt.

Die programmatische Auslieferung ist zugleich die Funktion, die am ehesten versprochen und am seltensten ausgeliefert wird. Bevor Sie einen Workflow darum herum entwerfen, prüfen Sie, was ein bestimmtes Tool heute tatsächlich bereitstellt: einen REST-Endpunkt, einen Webhook, einen geplanten Export oder nichts außer E-Mail und einem Dashboard. Ein Eintrag auf einer Roadmap ist kein Liefertermin, und eine Integrationsseite, die geplante Konnektoren neben ausgelieferten auflistet, liest man leicht falsch.

Wann sich der Eigenbau wirklich lohnt

Selbst zu bauen ist manchmal die richtige Entscheidung.

Ungewöhnliche Anforderungen, die kein kommerzielles Tool abdeckt: ein abgelegener regionaler Marktplatz, ein B2B-Katalog hinter einem Login, ein Datenmodell, das niemand verkauft.
Ein dediziertes Team mit der Kapazität, die Extraktion als dauerhafte Verantwortung zu übernehmen, nicht als Nebenprojekt, dem die Luft ausgeht, sobald die Roadmap das erste Mal rutscht.
Aktualität unterhalb der Untergrenze jedes Anbieters. Verwaltete Tools haben alle ein minimales Prüfintervall, und kein Abonnementtarif repariert eine Repricing-Schleife, die tatsächlich schneller läuft.
Skalierung oder Datenhoheit in einem Ausmaß, in dem die Wartungskosten strategisch und nicht beiläufig zu lesen sind.

Der dritte Punkt enthält einen Test, der in beide Richtungen schneidet. Aktualität ist nur bis zur Geschwindigkeit Ihrer eigenen Reaktion bezahlenswert: Wenn eine Preisänderung in Ihrem Team eine Stunde braucht, bis sie freigegeben und ausgerollt ist, bringt es nichts, sie in zehn Sekunden zu erkennen.

Wenn Sie das Budget und nicht die Funktionalität Richtung Eigenbau drängt, sehen Sie sich zuerst die kostenlosen Preisüberwachungstools an. Kostenlose Tarife sind eng, aber breiter als ein Scraper, den Sie noch nicht geschrieben haben.

Wo Respot die Grenze zieht

Respot ist eine Antwort auf der Kaufseite, und es lohnt sich, genau zu sagen, wo sie aufhört. Sie fügen eine Produkt-URL ein, und Respot erkennt Preis und Varianten. Die Extraktion ist browserfrei, liest zuerst strukturierte Produktdaten, ermittelt je Website die günstigste Abrufmethode, eskaliert nur dann zum Proxy-Rendering, wenn es nötig ist, und verfolgt Preis und Bestand je Variante statt nur auf Ebene des übergeordneten Produkts. Der kostenlose Tarif umfasst 5 Tracker mit 7 Tagen Preishistorie und ohne Kreditkarte; die kostenpflichtigen Tarife reichen bis 100, 400 oder 2.000 Tracker mit 30, 90 oder unbegrenzt vielen Tagen Historie.

Wenden Sie den Auslieferungstest von oben darauf an, und die Antwort fällt schmal aus. Änderungen gehen als E-Mail-Benachrichtigungen raus, und das ist alles, was heute ausgeliefert ist: Slack-Benachrichtigungen, Webhooks, eine öffentliche API und Zapier stehen auf der Integrationsseite als Roadmap-Einträge, nicht als Funktionen, gegen die Sie heute entwickeln können. Ein Team, das Preise programmatisch in seinen eigenen Systemen braucht, sollte das als Lücke behandeln und nicht als Formsache.

Wo Respot das falsche Werkzeug ist

Die browserfreie Extraktion ist das Unterscheidungsmerkmal und zugleich die Decke. Der Fehlerfall, den die arXiv-Autoren nach eigenem Eingeständnis nicht sehen können, ein sauberes HTTP 200 mit einer Challenge-Hülle oder eine Seite ohne Produktdaten, ist genau der Fall, bei dem eine browserfreie Engine am wenigsten Spielraum hat. Respot begegnet ihm mit der Eskalation der Abrufmethode und mit Proxy-Rendering, derselben Leiter, die ein Eigenbau-Team hinaufklettern würde, gekauft statt selbst betrieben.

Die Untergrenzen der Prüfungen sind das zweite Limit. Die adaptive Prüfung läuft höchstens alle 2 Stunden bei Starter, jede Stunde bei Pro und alle 30 Minuten bei Agency: richtig für die Wettbewerbsbeobachtung, falsch für untertägiges Repricing auf Marktplätzen, wo ein Rivale innerhalb von Minuten nachzieht. Der kostenlose Tarif ist eher ein Test als ein Arbeitsaufbau, denn 7 Tage Historie sind in den meisten Kategorien zu kurz, um einen Trend zu belegen.

Die Entscheidung treffen

Niemand wählt in Wirklichkeit zwischen einem kostenlosen Skript und einem bezahlten Abonnement. Die eigentliche Frage lautet, wie viele Entwicklungsstunden Sie auf unbestimmte Zeit und ohne Prognose dafür aufwenden, die Extraktion am Laufen zu halten, gemessen an einer Gebühr, die Sie ins Budget schreiben und dann vergessen können.

Preisdaten sind unverzichtbar; Parser zu pflegen ist nicht Ihr Geschäft, und die eine Kostenposition, die Sie nicht begrenzen können, ist genau die, für die Sie sich freiwillig melden würden. Bauen Sie selbst, wenn Aktualität, Skalierung oder eine wirklich ungewöhnliche Anforderung den Besitz strategisch macht. Andernfalls beginnen Sie mit einem Überwachungstool und stecken Sie die gesparten Stunden in die Preisentscheidungen, für die die Daten erhoben wurden.

Häufig gestellte Fragen

Ist es günstiger, einen eigenen Preis-Scraper zu bauen?

Das Skript ist günstig, der Unterhalt ist es nicht, und niemand kann Ihnen den genauen Umschlagpunkt nennen, weil es keinen glaubwürdigen öffentlichen Benchmark für die Wartung von Scrapern gibt. Beziffern lässt sich die Infrastruktur: Zu den im August 2026 veröffentlichten Listenpreisen kostet ein gerenderter Abruf das Fünffache eines einfachen und ein Stealth-Abruf das Fünfundsiebzigfache. Entschieden wird es von der Entwicklungszeit, und das ist die eine Zahl, die niemand veröffentlicht.

Ist es legal, Wettbewerberpreise von öffentlichen Produktseiten zu scrapen?

Das hängt von Ihrer Rechtsordnung ab und davon, wie Sie erheben, betrachten Sie dies also als Orientierung und nicht als Rechtsberatung. Der Fall, der üblicherweise als Erlaubnis zitiert wird, hiQ Labs v. LinkedIn, endete mit einem Vergleichsurteil gegen hiQ ohne Präzedenzwirkung, und aktuelle Scraping-Klagen werden auf Vertragsbruch, Urheberrecht und das Umgehungsverbot des DMCA gestützt statt auf den CFAA.

Wie oft gehen Preis-Scraper kaputt?

Soweit ich es finden kann, hat niemand eine glaubwürdige Zahl veröffentlicht. Anbieter legen eine Wartungsgröße nahe, und keiner von ihnen nennt eine Messung dazu. Die begutachtete Arbeit, die ich finden konnte, beschreibt das Brechen von Pipelines als bekannte Gefahr für die Reproduzierbarkeit, ohne eine Rate dafür anzugeben (Big Data & Society, November 2025). Planen Sie mit dauerhafter Aufmerksamkeit statt mit einem vorhersehbaren Intervall.

Was kosten Proxys und Headless-Rendering tatsächlich?

Zum Listenpreis vervielfacht das Rendering die Kosten jeder einzelnen Anfrage. Stand August 2026 berechnet ScrapingBee 1 Credit für einen einfachen Abruf, 5 mit JavaScript-Rendering, 25 für einen Premium-Proxy mit Rendering und 75 für den Stealth-Modus, und Bright Data führt Traffic über Residential-Proxys ab USD 4,00 pro GB bei Abrechnung nach Verbrauch. Beides sind Listenpreise, die sich bewegen, prüfen Sie sie also vor der Budgetierung erneut, und denken Sie daran, dass sie zusätzlich zu dem anfallen, was Ihre Entwickler kosten.