Beiträge von togerdes

Zitat von H6G

Chromium. Es gibt arm Builds für Chromium - welche Distribution verwendest du

ich habe einen neuen VPS Server VPS 1000 ARM64 https://www.netcup.de/vserver/arm-server/
Das Betriebssystem ist UBUNTU

Ich bin der alleinige Nutzer des VPS und habe deswegen bisher alle Arbeiten als ROOT durchgefuehrt. Ist das OK so?

Ziel: Python Script mit Selenium laufen lassen mit Chrome als Browser und Chromedriver

"Chrome" gibt es nicht stattdessen "Chromium" => ich bekomme die Fehlermeldung:

Running as root without --no-sandbox is not supported. See https://crbug.com/638180.

Ich logge mich jetzt als normaler User ein, tippe "chromium" und bekomme:

"""

chromium

[148200:148200:0807/164733.624385:ERROR:ozone_platform_x11.cc(244)] Missing X server or $DISPLAY

[148200:148200:0807/164733.624486:ERROR:env.cc(258)] The platform failed to initialize. Exiting.

"""

was waere jetzt der Koenigsweg?

Herzlichen Gruss

Hallo m_ueberall, vielen Dank fuer die schnelle Antwort!

Also, ich mache genau das, was HIER beschrieben ist:

# Run in terminal, this should start a chromedriver instance
chromedriver

Ergebnis:

root@v2202408177986280530:/home/tg/stocks/get_rawdata/tradegate_de# chromedriver

Starting ChromeDriver 126.0.6478.182 (5b5d8292ddf182f8b2096fa665b473b6317906d5-refs/branch-heads/6478@{#1776}) on port 9515

Only local connections are allowed.

Please see https://chromedriver.chromium.org/security-considerations for suggestions on keeping ChromeDriver safe.

[1723035140,100][SEVERE]: bind() failed: Die Adresse wird bereits verwendet (98)

IPv6 port not available. Exiting...

root@v2202408177986280530:/home/tg/stocks/get_rawdata/tradegate_de#

Dann starte ich das Script:

from selenium import webdriver

driver = webdriver.Chrome()
driver.get("http://www.python.org")

Und erhalte:

root@v2202408177986280530:/home/tg/stocks/get_rawdata/tradegate_de# python3 test.py

Traceback (most recent call last):

File "/home/tg/stocks/get_rawdata/tradegate_de/test.py", line 8, in <module>

driver = webdriver.Chrome()

^^^^^^^^^^^^^^^^^^

File "/usr/lib/python3/dist-packages/selenium/webdriver/chrome/webdriver.py", line 80, in __init__

super().__init__(

File "/usr/lib/python3/dist-packages/selenium/webdriver/chromium/webdriver.py", line 104, in __init__

super().__init__(

File "/usr/lib/python3/dist-packages/selenium/webdriver/remote/webdriver.py", line 286, in __init__

self.start_session(capabilities, browser_profile)

File "/usr/lib/python3/dist-packages/selenium/webdriver/remote/webdriver.py", line 378, in start_session

response = self.execute(Command.NEW_SESSION, parameters)

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

File "/usr/lib/python3/dist-packages/selenium/webdriver/remote/webdriver.py", line 440, in execute

self.error_handler.check_response(response)

File "/usr/lib/python3/dist-packages/selenium/webdriver/remote/errorhandler.py", line 245, in check_response

raise exception_class(message, screen, stacktrace)

selenium.common.exceptions.SessionNotCreatedException: Message: session not created: Chrome failed to start: exited normally.

(session not created: DevToolsActivePort file doesn't exist)

(The process started from chrome location /usr/bin/chromium is no longer running, so ChromeDriver is assuming that Chrome has crashed.)

Stacktrace:

#0 0xaaaae746aeb0 <unknown>

AHA: Der Browser Chrome ist nicht installiert.

Jetzt muss ich mir etwas ueberlegen, da es fuer meinen AMR-Server keine Google Chrome-Version gibt

Hallo, ich habe einen neuen AMR64 Server mit Ubuntu installiert.

Das zu Testzwecken installierte Script zum Erstellen einer Selenium-Instanz bringt mir eine Fehlermeldung:

Hier das Script:

import os
import time
from selenium import webdriver
from selenium.webdriver.chrome.service import Service

THIS_FOLDER = os.path.dirname(os.path.abspath(__file__))+"/chromedriver"
print("TTh", THIS_FOLDER)
#service = Service('/path/to/chromedriver')
service = Service(THIS_FOLDER)
service.start()
driver = webdriver.Remote(service.service_url)
driver.get('http://www.google.com/')
time.sleep(5) # Let the user actually see something!
driver.quit()

Aufruf des Scripts:

root@v2202408177986280530:/home/tg/stocks/get_rawdata/tradegate_de# python3 test.py

Hier die Fehlermeldung:

TTh /home/tg/stocks/get_rawdata/tradegate_de/chromedriver

Traceback (most recent call last):

File "/home/tg/stocks/get_rawdata/tradegate_de/test.py", line 10, in <module>

service.start()

File "/usr/lib/python3/dist-packages/selenium/webdriver/common/service.py", line 106, in start

self.assert_process_still_running()

File "/usr/lib/python3/dist-packages/selenium/webdriver/common/service.py", line 117, in assert_process_still_running

return_code = self.process.poll()

^^^^^^^^^^^^

AttributeError: 'Service' object has no attribute 'process'

root@v2202408177986280530:/home/tg/stocks/get_rawdata/tradegate_de#

Was ist die Ursache?
Herzlichen Dank für Eure Hilfe im Voraus!

Zitat von CmdrXay

Hay,

wenn ich google wäre, wäre ich schlau genug zu erkennen, dass alle diese IPs zu einem Providernetzwerk gehören und würde Gegenmaßnahmen für das ganze Netzwerk treffen. Ich würde mich, sobald die Prügel verteilt werden, dann auch mit anstellen ... Heugabeln, Fackeln, Schmiedehämmer usw.

Lach Dir ein Proxynetzwerk an, bitte.

CU, Peter.

Vielen Dank !!!

Hallo uind guten Abend allerseits,

ich habe eine Frage in die Runde: Ich möchte auf dem VPS Python Scripts zum Scrapen von GoogleMaps laufen lassen. Dieses funktioniert auch, wird jedoch nach ein paar Stunden langsam. Sicherlich von Google ausgebremst ... die wollen ihre API verkaufen.

Meine Idee ist jetzt, mehrere VPS 200 G10s (kleinstes Paket) parallel laufen zu lassen. Jeder VPS hat eine eigene IP und es können also alle gleichzeitig "schaffen" und sich die Arbeit teilen.

ODER: gibt es eine Virtualisierungs-SW, die, auf dem VPS installieren, mir viele virtuelle Server simuliert? Hätte jeder Server eine eigene IP?

Herzlichen Dank an alle und Euch einen schönen Feierabend!

Gruß

Torsten