Der Befehl Wget ist eines der am häufigsten verwendeten und nützlichsten Tools zum Herunterladen von Dateien, Paketen und Verzeichnissen vom Webserver unter Linux und Unix-ähnlichen Betriebssystemen. Normalerweise können Sie jede große oder kleine Datei über das Wget-Tool herunterladen. wget begrenzt die Dateigröße nicht. Ursprünglich wurde der Befehl Wget als Kombination der Begriffe World Wide Web und Get abgekürzt. Dieses nützliche Tool wurde im Rahmen des GNU-Projekts erstellt.
Sie können auf FTP, HTTP, HTTPS und andere lokale Server zugreifen, um Dateien unter Linux herunterzuladen. Auch bei richtiger Konfiguration kann der Befehl wget auf Server zugreifen, die durch Firewalls geschützt sind. Da es sich um „wget“ handelt, verwenden wir zur Schaffung von Vielfalt häufig den Begriff „wget“.
Wget-Befehle unter Linux
Mit dem Standard-TCP-Protokoll kann der Befehl wget auf Dateien im Linux-Dateisystem zugreifen, diese herunterladen und speichern. Dieses handliche, leichte und dennoch leistungsstarke Tool ist in der Programmiersprache C geschrieben und kann zur Datenverfolgung problemlos zwischen Server und Host-Computer kommunizieren. Unterstützt Download-Geschwindigkeitsbegrenzung, Pause, Fortsetzen, Caching, SSL und viele mehr, die Sie wahrscheinlich in einem Downloader suchen.
In diesem Beitrag schauen wir uns an, wie Sie den wget-Befehl auf Linux-Distributionen installieren und Beispiele für die am häufigsten verwendeten wget-Befehle, die Sie kennen müssen, um Ihr Linux-Erlebnis zu verbessern.
Installieren Sie den Befehl wget unter Linux
Der Befehl „World Wide Web and Get“ ist normalerweise bei allen großen Linux-Distributionen vorinstalliert. Wenn beim Ausführen des wget-Befehls jedoch Probleme auftreten, führen Sie die folgenden Paketinstallationsbefehle in Ihrer Shell aus, um das wget-Tool unter Linux zu installieren. Führen Sie im Terminal den richtigen Befehl entsprechend Ihrer Distribution aus.
Installieren Sie wget unter Ubuntu/Debian Linux
$ sudo apt install wget
Holen Sie sich „World Wide Web and Get“ auf Fedora/Red Hat Linux
$ sudo dnf install wget $ sudo yum install wget
Installieren Sie das Wget Tool unter SuSE Linux
$ zypper install wget
Holen Sie sich das „World Wide Web and Get“-Tool für Arch Linux
$ sudo pacman -S wget
Sobald Sie das wget-Tool auf Ihrem System installiert haben, können Sie sich nun die unten bereitgestellte wget-Syntax ansehen, um eine Vorstellung davon zu bekommen, wie der wget-Befehl unter Linux funktioniert.
wget url wget [options] URL
1. Laden Sie eine einzelne Datei mit wget herunter
Da wir die Installation und Syntax des Wget-Befehls bereits durchgegangen sind, können wir nun direkt zu einem wget-Befehl springen, um zu erfahren, wie er tatsächlich funktioniert. Mit dem folgenden Befehl können Sie eine einzelne Datei herunterladen und in Ihrem Dateisystem speichern.
$ wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.15.5.tar.xz
2. Laden Sie die Datei mit einem anderen Namen und Verzeichnis herunter
Um eine Datei oder ein Paket im Linux-System unter einem anderen Namen als dem Original zu speichern, führen Sie den folgenden wget-Befehl in der Shell aus. Hier ist der Teil mit file=file.tzx der Abschnitt, in dem sich der Dateiname während des Downloads ändert.
$ wget --output-document=file=file.tzx 'https://domain/foo-bar-xyz-long-file.tzx?key=xyz' $ wget -O /tmp/file.tzx \ 'https://domain/foo-bar-xyz-long-file.tzx?key=xyz'
3. Verzeichnispräfix festlegen
Da wir zum mühelosen Herunterladen den Befehl „World Wide Web and Get“ verwenden, können wir auch unsere Arbeit nach dem Download reduzieren, indem wir den Präfixspeicherort für Dateien und Pakete auf dem Linux-System festlegen. Sehen Sie sich die unten genannten Befehle an, um zu erfahren, wie Sie das Präfixverzeichnis mit dem Befehl wget festlegen.
wget -P /tmp/ url wget -P /ubuntupit/ https://ur1/freebsd.iso wget -P /ubuntupit/ https://ur2/opnbsd.iso
4. Fügen Sie der Datei Notizen hinzu
Wenn Sie eine Nachricht in die Datei einfügen müssen, die Sie herunterladen, führen Sie den folgenden Befehl „World Wide Web and Get“ aus.
$ wget --output-file=log.txt https://url1/.. $ wget -o download.log.txt https://url2/..
Jetzt können Sie die Nachricht mit dem unten erwähnten cat-Befehl sehen.
cat download.log more download.log
Mit dem Befehl „wget“ können Benutzer Nachrichten anhängen, während sie die Datei zum späteren Nachschlagen vom Server herunterladen. Obwohl wir bereits eine Möglichkeit zum Versenden von Nachrichten gesehen haben, hilft Ihnen auch der unten erwähnte wget-Befehl, wenn das oben Genannte bei Ihnen nicht funktioniert.
wget -o /root/wget-log.txt https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt # cat /root/wget-log.txt
5. Laden Sie mehrere Dateien herunter
Wenn Sie nach dem Befehl zum gleichzeitigen Herunterladen mehrerer Dateien über den Befehl „World Wide Web and Get“ suchen, befolgen Sie das unten angegebene Befehlsmuster.
$ wget https://www.ubuntupit.com/download/lsst.tar.gz ftp://ftp.freebsd.org/pub/sys.tar.gz ftp://ftp.redhat.com/pub/xyz-1rc-i386.rpm
6. URL aus einer Datei lesen
Beim Lesen von Dateien aus einem Archiv geht es darum, herauszufinden, was tatsächlich in der Datei enthalten ist. Fügen Sie die URL in eine Textdatei ein und befolgen Sie dann den Vim-Befehl und den Befehl „World Wide Web and Get“, um die Dateien zu lesen.
$ vi /tmp/download.txt $ wget -i /tmp/download.txt
7. Setzen Sie die Downloads fort
Versehentliche Unterbrechung des Downloads oder Netzwerkfehler; Alles ist erforderlich, um den Download fortzusetzen. Sie können die folgenden wget-Befehle verwenden, um Downloads fortzusetzen.
$ wget -c https://www.ubuntupit.com/download/lsst.tar.gz $ wget -c -i /tmp/download.txt
8. Erzwingen Sie den Download von wget
Wenn Sie Probleme beim Herstellen einer Verbindung zu einem Server oder einer Web-URL haben, führen Sie einen Force-Befehl aus, um über den Befehl „wget“ eine Verbindung zur Site herzustellen. Mit den Befehlen wget und nohup können Sie die Verbindung der Web-URL erzwingen.
$ wget -cb -o /tmp/download.log -i /tmp/download.txt $ nohup wget -c -o /tmp/download.log -i /tmp/download.txt &
9. Begrenzen Sie die Download-Geschwindigkeit
Um mehrere Dateien oder Pakete über den Befehl „World Wide Web and Get“ mit einer eingeschränkten Internetverbindung herunterzuladen, müssen Sie möglicherweise die Download-Geschwindigkeit begrenzen. Führen Sie den folgenden Befehl aus, um die Download-Geschwindigkeit zu begrenzen.
$ wget -c -o /tmp/susedvd.log --limit-rate=50k ftp://ftp.novell.com/pub/suse/dvd1.iso
10. Holen Sie sich Dateien von passwortgeschützten Websites
Wir haben bereits gesehen, wie man Benutzeranmeldeinformationen in einem wget-Befehl verwendet. Dieser Befehl beschreibt auch, wie man direkt eine passwortgeschützte Datei im Web abrufen kann. Die beiden unten genannten Methoden sind nützlich und praktisch, um Dateien schnell von einer passwortgeschützten Website herunterzuladen.
$ wget --http-user=vivek --http-password=Secrete https://ubuntupit.com/jahid/csits.tar.gz
Eine andere Möglichkeit, eine Datei mit einer passwortgeschützten Site herunterzuladen, besteht darin, die Anmeldeinformationen in den Befehl aufzunehmen.
$ wget 'https://username:[email protected]_server/file.tar.gz $ ps aux
11. Laden Sie MP3 und PDF herunter
Wenn Sie beabsichtigen, einen bestimmten Dateityp wie MP3- oder PDF-Dokumente herunterzuladen, können Sie den folgenden Befehl ausführen. Der Befehl wird hier für FTP angezeigt, funktioniert aber auch für alle anderen öffentlichen Domänen.
$ wget ftp://somedom-url/pub/downloads/*.pdf $ wget ftp://somedom-url/pub/downloads/*.pdf
12. Übertragen Sie die Datei mit dem Wget-Befehl auf stdout
Mit dem folgenden Befehl „World Wide Web and Get“ können Sie das Standardausgabeformat wie Dateipfad, Dateityp, erforderliche Zeit, Bandbreitenverbrauch usw. anzeigen. im Terminal.
$ wget -q -O - 'https://url1/file.tar.xz' | tar -Jxzf - -C /tmp/data/
13. Erstellen Sie mit dem Befehl Wget einen Spiegel einer Site
Um einen Duplikatspiegel einer Website zu erstellen, können Sie die folgenden „World Wide Web“- und „Get“-Befehle verwenden. Beide -my –mirror-Syntaxen erledigen die gleiche Aufgabe. Sie können einen der folgenden Befehle auswählen, um eine Site zu spiegeln.
$ wget -m https://url/ $ wget --mirror https://url/
14. Finden Sie HTTPS (TLS)-Fehler
Wenn Sie ein professioneller Webentwickler sind, der mit SSL-Zertifizierungen arbeitet, wird Ihnen dieser Befehl „World Wide Web and Get“ sehr nützlich sein, um einen Bericht für Ihren TLS-Bericht mit Fehlern und Berichten zu erstellen.
$ wget --no-check-certificate \ https://www.ubuntupit.com/robots.txt
15. Aktivieren Sie Zeitstempel im Wget-Befehl
Um die Zeitstempel in Ihrer Download-Ausgabe auszudrucken, können Sie den folgenden Befehl „World Wide Web and Get“ in Ihrem Terminal ausführen. Mit diesem Befehl erfahren Sie die Uhrzeit des Servers, wenn er die Datei hochlädt.
wget --no-use-server-timestamps https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso
16. Fortschrittsbalken ändern
Wenn Sie mit der herkömmlichen Download-Statusleiste, die Linux beim Herunterladen einer Datei oder eines Pakets in der Shell anzeigt, nicht zufrieden sind, können Sie den Fortschrittsbalken mit dem folgenden wget-Befehl ändern.
wget --progress=dot https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso
17. Aktivieren Sie den teilweisen Download im Wget-Befehl
Um einen teilweisen Download von einem Webserver durchzuführen, können Sie den folgenden wget-Befehl ausführen. Sobald der teilweise Download abgeschlossen ist, können Sie das Ziel ändern und den Download fortsetzen.
# wget -c https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso
18. Wiederholen Sie den fehlgeschlagenen Download mit dem Befehl Wget
Die folgenden Befehle zeigen, wie Sie mit dem Befehl wget erzwingen können, dass ein fehlgeschlagener Download in einer Linux-Shell erneut versucht wird. Normalerweise kann dieser Befehl Netzwerkausfälle, Server-Timeouts und andere netzwerkbasierte Fehler beheben.
# wget -t 10 https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso
19. Von der URL-Dateiliste herunterladen
Wenn Sie mit einem einzigen Befehl eine Reihe von Dateien über den Befehl wget herunterladen müssen, können Sie die Webadressen in eine Textdatei schreiben. Verwenden Sie dann diese Textdatei mit dem Befehl wget, um sie aus einer Liste herunterzuladen. Auf diese Weise sparen Sie wertvolle Zeit und den Aufwand beim Herunterladen mehrerer Dateien.
# cat to-download.txt # wget -i to-download.txt
20. Machen Sie nach einem fehlgeschlagenen Download eine Zeitverzögerung
Da wir bereits besprochen haben, wie man mit dem Befehl „wget“ einen erzwungenen Download und einen erneuten Download konfiguriert, können wir ein Zeitintervall festlegen, bevor der Befehl den nächsten Treffer auf dem Server ausführt. Die folgenden Befehle zeigen, wie Sie ein Zeitintervall von 10 Sekunden festlegen können, nachdem der Download fehlgeschlagen ist.
# time wget -w 10 -i to-download.txt
21. Nicht interaktiver Download
In einer Linux-Shell können Sie den Befehl wget im Daemon-Stil konfigurieren, um den Befehl im Systemhintergrund auszuführen. Führen Sie den folgenden Befehl aus, um zu verstehen, wie der Befehl „wget“ nicht interaktiv ausgeführt wird.
wget -b https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso
22. Ausgabe im Wget-Befehl ausblenden
Um eine Datei oder ein Paket über den Befehl „World Wide Web and Get“ herunterzuladen, ohne das Ergebnis im Terminal anzuzeigen, können Sie den folgenden Befehl verwenden. Mit diesem Befehl können Sie den Download-Befehl eingeben. Anschließend wird der Download stillschweigend abgeschlossen und Sie werden benachrichtigt, wenn der Download abgeschlossen ist.
wget -q https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt
23. Debugging-Informationen im Wget-Befehl
Dieser praktische Befehl „World Wide Web and Get“ wird für Entwickler nützlich sein. Mit diesem Befehl können Sie Debugging-Informationen einer Datei finden. Mit dem folgenden Befehl erhalten Sie auch alle wichtigen Artikel, die Sie benötigen.
# wget -d https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt # wget -nv https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt
24. Siehe Serverantwort
Wenn Sie ein Serveradministrator sind, wird Ihnen dieser Befehl eine große Hilfe sein. Sie können jetzt einen einfachen „World Wide Web and Get“-Befehl verwenden, um die Antwortzeit einer Site oder eines Servers zu überprüfen. Dies ist eigentlich nicht dasselbe wie der Ping-Befehl; Hier erhalten wir die tatsächliche Antwortzeit des Servers, nicht die Zeit, die der Client benötigt, um den Server über das Internet zu erreichen.
wget -S https://www.ubuntupit.com/
25. Legen Sie das Timeout im Wget-Befehl fest
Ein Zeitüberschreitungsproblem beim Zugriff auf eine Website oder beim Herunterladen einer Datei ist kein seltenes Problem. Unter Linux versucht der Befehl wget normalerweise weiterhin, eine Verbindung zur URL herzustellen, wenn ein Zeitüberschreitungsproblem auftritt. Um Konflikte beim Zugriff auf die URL zu vermeiden, können Sie den folgenden wget-Befehl ausführen, um den Download nach einem bestimmten Versuch automatisch abzubrechen.
# wget -T 30 https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt
26. Verwenden Sie Anmeldeinformationen
Wenn Ihre Download-URL durch einen Benutzernamen und ein Passwort geschützt ist, führen Sie den folgenden Befehl aus, um die Benutzeranmeldeinformationen für den Download über den Befehl wget bereitzustellen.
# wget --user=username --ask-password https://localhost/file.txt
27. Laden Sie die nicht zwischengespeicherte Datei herunter
Wir alle wissen, wie nützlich es ist, zwischengespeicherte Dateien auf einem lokalen Computer abzurufen. Der folgende wget-Befehl hilft Ihnen jedoch beim Herunterladen einer nicht zwischengespeicherten Datei aus dem Internet.
# wget -d https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt # wget -d --no-cache https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt
28. Laden Sie eine ganze Website herunter
Da der Befehl wget ein leistungsstarker Befehl ist, können Sie damit auch die gesamte Website herunterladen und in Ihrem lokalen Verzeichnis speichern. Führen Sie den folgenden Befehl aus, um die gesamte Site herunterzuladen.
$ wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
29. Löschen Sie bestimmte Dateitypen mit dem Befehl Wget
Beim Herunterladen von Dateien über den Befehl wget müssen Sie aus Sicherheitsgründen möglicherweise einen bestimmten Dateityp überspringen oder vermeiden. Der folgende Befehl zeigt, wie Sie GIF-Dateien beim Herunterladen mit dem Befehl wget ablehnen können.
$ wget --reject=gif WEBSITE-TO-BE-DOWNLOADED $ wget -o download.log DOWNLOAD-URL
30. Unterbrechen Sie den Download nach einer bestimmten Größe
Manchmal müssen wir Dateien mit einer bestimmten Dateigrößenbeschränkung herunterladen. Um eine Dateigrößenbeschränkung festzulegen, verfügt wget über eine spezielle Syntax, die Sie unten sehen können. Beispielsweise stoppt der unten angegebene Befehl „wget“ den Download, sobald die Dateigröße 5 MB erreicht.
$ wget -Q5m -i FILE-WHICH-HAS-URLS
31. Allein Entladung Spezifische Dateitypen
Um einen bestimmten Dateityp aus einer Reihe von Dateien auf einem Server oder einer Website herunterzuladen, können Sie den folgenden wget-Befehl ausführen. Der folgende Befehl lädt beispielsweise nur die PDF-Dateien herunter, die wir über den Befehl zugeordnet haben.
$ wget -r -A.pdf https://url-to-webpage-with-pdfs/
32. FTP-Download mit Wget-Befehl
Mit dem Befehl „World Wide Web and Get“ können Sie nicht nur über HTTPS, HTTP oder öffentliche Server Dateien von einem lokalen FTP-Server abrufen, der in Ihrem lokalen Netzwerk gehostet wird.
$ wget ftp-url
Wenn für die Anmeldung beim FTP-Server ein Benutzername und ein Passwort konfiguriert sind, befolgen Sie den unten angegebenen Befehl.
$ wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL
33. Erhöhen Sie die Anzahl der Wiederholungsversuche im Wget-Befehl
Wenn Ihr Download aufgrund eines Netzwerkproblems oder Serverausfalls oder einer zu großen Verzögerung bei der Kommunikation mit dem Server fehlschlägt, können Sie die Verzögerungszeit und die Anzahl der Wiederholungsversuche mit dem unten bereitgestellten wget-Befehl erhöhen.
$ wget --tries=75 https://download.opensuse.org/distribution/leap/15.3/iso/openSUSE-Leap-15.3-DVD-x86_64-Current.iso
34. Laden Sie die TAR-Datei herunter und extrahieren Sie sie mit dem Befehl Wget
Manchmal müssen wir möglicherweise eine komprimierte Datei herunterladen und die Datei in das Verzeichnis extrahieren. Um diese Aufgabe mühelos zu erledigen, können Sie den folgenden Befehl auf Ihrem Linux-System verwenden.
# wget -q -O - https://wordpress.org/latest.tar.gz | tar -xzf - --strip-components=1 -C /var/www/html
35. Hilfe und Handbuch
Alle oben erwähnten „World Wide Web“- und „Get“-Befehle sind nicht die einzigen Befehle, die Sie für immer benötigen werden. Sie können diesen Befehl weiter entdecken. Wenn Sie sich für den wget-Befehl interessieren, schauen Sie sich das wget-Handbuch und die Hilfeseiten an.
$ man wget $ wget --help
Letzte Worte
Das Herunterladen über den Befehl „World Wide Web and Get“ unter Linux macht viel Spaß. Es handelt sich jedoch nicht um einen herkömmlichen Downloader für Linux. Meistens wird dieser Befehl verwendet, um komprimierte Paketdateien, Tools und andere softwarebezogene Dateien über die Terminal-Shell in Linux herunterzuladen. Der gesamte Beitrag bestand aus einer Reihe von wget-Befehlen, die Ihnen dabei helfen können, ein Linux-Power-User zu werden.
Bitte teilen Sie ihn mit Ihren Freunden und der Linux-Community, wenn Sie diesen Beitrag nützlich und informativ finden. Sie können Ihre Meinung zu diesem Beitrag auch im Kommentarbereich schreiben.
