MySQL local_infile OFF

Es geht ums Webhosting?

Workaround: Zum Beispiel mit PHP Zeile für Zeile einlesen und in die DB schreiben. Das sollte mit wenigen Zeilen Code lösbar sein.

Quote from Bud

ich wollte eine txt in phpMyAdmin importieren:

Wie sieht die TXT aus? Ist es evtl. bereits eine .sql Datei, nur mit falscher Endung?

(Datei besteht aus SQL Statements)

Falls ja, umbenennen und nochmal hochladen.

Falls nein, kannst du die Datei nochmal aus der Quelle als .sql exportieren?

Was ist die Quelle eigentlich?

die globale setting "local_infile" ist bei webhostings üblicherweise "off".

aber ein normaler import sollte doch trotzdem möglich sein.

edit: heijeijei, lahme ente.

Ich philosophier mal ein bisschen: Evtl. mit sed (Linux Kommando) aus jedem Keyword ein Insert Into Statement machen.

Was sagen die anderen dazu?

Ansonsten mit PHPMyAdmin in eine lokale Datenbank importieren (Xampp? Wamp) und wieder als SQL exportieren.

Mit PHP Zeile für Zeile einlesen. Kann natürlich sein dass das Script nach einiger Zeit gekickt wird, aber wenn du jede Zeile nach dem einlesen aus der Datei löscht musst du das Script einfach nochmal neu starten und es geht weiter.

Quote from H6G

Was sagen die anderen dazu?

genau so.

den indianer auch restartet?

Quote from Bud

Das sind aber rund 2.000.000 Zeilen, denke nicht das die PHP-Ressourcen eines Webhostings dafür ausreichen, zumindest nicht in einem rutsch.

Drei Ideen dazu:

• PHP-CLI (SSH) verwenden, da gelten andere Limits.
• DB-Server extern (vom PC aus) ansprechen.
• Einfach in einer Schleife <n> Zeilen überspringen, um fortzusetzen.

Quote from H6G

Ich philosophier mal ein bisschen: Evtl. mit sed (Linux Kommando) aus jedem Keyword ein Insert Into Statement machen.

Klingt gut, ebenfalls eine nette Idee!

Das könnte man dann über SSH direkt an den "mysql" Befehl verfüttern. Nur das Escapen könnte je nach Dateiinhalt nervend werden.

sed -n -e "{s|^|INSERT INTO netcup ('forum') VALUES ( |};" -e "{s|$| );|};p" keywords.txt

Bildschirmfoto zu 2023-02-27 17-25-25.png

Ist sed auf dem Webhosting verfügbar?

(Ggf. die Datei vorher durch dos2unix jagen)

Sed gibt es auch für Windows (cygwin etc.)

Ansonsten schicke mir gerne die Datei, dann bekommst du SQL zurück.

Quote from H6G

Ist sed auf dem Webhosting verfügbar?

die üblich nützlichen text-tools grep/sed/cut/tail/tac/tr u.a., sowie mysql und mysqldump sind vorhanden.

nur awk müsste man bei bedarf nachrüsten.

Quote from H6G

Ggf. die Datei vorher durch dos2unix jagen

tr -d '\r'

Quote from Bud

Übersteigen alle mein Know-How, aber dann musst ich das wohl oder übel für diese Kleinigkeit erweitern...

Vielleicht hilft Dir als Inspiration dieses Script: gist.github.com/205655d572261aca6e25b18433c6b38c

Das importiert eigentlich auch nur jeweils eine Zeile (max. 64 Byte) aus einer Textdatei in eine MySQL-Tabelle. Zusätzlich prüft es (prinzipiell sogar ohne Index!), ob der Eintrag schon vorhanden ist und kann mit dem ersten Argument beliebig viele Zeilen überspringen. Könnte man wahrscheinlich relativ einfach für Deinen konkreten Fall umbauen…

Quote from Bud

Ich habe mir cygwin runtergeladen und deinen Befehl ausprobiert, allerdings werde ich nicht ganz schlau daraus. Als Ausgabe bekomme ich folgendes (letzten 3 Zeilen):

Das kann an den Zeilenenden liegen. Unter Windows wird \r\n als Ende verwendet, unter Linux \n

Passiert das weiterhin, wenn du die Keyworddatei vorher mit dos2unix bearbeitest?

Alternativ kannst du bei sed mit -i die Originaldatei überschreiben lassen oder die Ausgabe mit > new_file.sql am Ende in eine andere Datei schreiben lassen und es handelt sich nur um einen Darstellungsfehler.

Edit:

Evtl. erinnerst du dich noch an die Schreibmaschine. ASCII ist nichts anderes, als eine Schreibmaschine fernzusteuern (Tele TypeWriter - TTY)

Das Steuerzeichen \r sorgt dafür, dass der Schlitten zurückfährt auf die Anfangsposition (Carriage Return)
Das Steuerzeichen \n sorgt dafür, dass das Papier weiter geschoben wird.

Windows setzt da historisch noch auch \r\n

Mal ne andere doofe Frage - was wäre denn mit irgendeinem Clienttool zum Datenimport? Mysql Workbench zum Beispiel?

Ich nutze Datagrip und bilde mir ein dass hat da durchaus einiges an Funktionen um sich über einen SSH Tunnel auf die Datenbank zu verbinden (wobei man bei netcup die externe Erreichbarkeit der DB ja auch anschalten könnte) und dann Daten zu importieren.

<?php
     $mysqli = new mysqli("ip","dbuser","pw","db");
    if ($mysqli->connect_errno) {
        die("Verbindung fehlgeschlagen: " . $mysqli->connect_error);
    }
$stmt = $mysqli->prepare("INSERT INTO test (testn,inZeile) VALUES (?,?)");


$file = new SplFileObject("keywords.txt");
if(isset($_GET["line"])){
    $file->seek($_GET["line"]);
}

while (!$file->eof()) {

    $line = $file->fgets();//fgets($file);
    $linenumber = $file->key();
    $stmt->bind_param('si', $line,$linenumber);
    $stmt->execute();
}

echo "fertig";

?>

Müsste glaub auch mit großen Dateien zurecht kommen.

Falls es abricht kann man das Script mit ?line=123 number von der letzten gelesenen Zeile aufrufen.

(Übung für Codejam :-D)