Web Scraping Lieferservice

    Moin zusammen,


    im Zuge der C-Kriese sind ja Lieferservice immer beliebter. Da wollte ich mal fragen, ob hier jemand Projekte kennt, womit man Website von Rewe Lieferservice, Flaschenpost etc. auslesen kann um eine Preisüberwachung zu haben? Ich habe es mir mal auf die schnelle angeschaut, wäre alles recht einfach, wäre da nicht immer diese Standort-Abfragen...


    Wäre aber eine sehr Interessante Sache.


    Mfg Isaac

    Die Standortabfrage sollte nicht das Problem sein. Beim Rewe-Shop wären da z.B. die Cookies "myReweCookie" bzw. "marketsCookie" relevant. Da der Shop allerdings hinter Cloudflare liegt, war es mir auf die Schnelle nicht möglich, einen HTTP-Call über wget zu machen, meine Requests wurden immer von CF gefiltert. Müsste man mal mit einem validen User-Agent oder akzeptierten Cookies probieren.