Wget käsud: näited. Consoleprogramm failide allalaadimiseks Wget-võrgu kaudu

Tundub, et maailmas, kus pool maailma elanikkonnast kasutab aktiivselt arvuteid ja on harjunud stiilsete graafiliste liideste ja rikaste omadustega, pole tekstirakendusi. Umbes 20 aastat tagasi oli arvutiliides hirmuline musta paneel, mis ei näinud midagi peale valgete sümbolite komplekti ja kõik juhised viidi läbi tekstikäskluste abil. Üllatav, kui palju neid programme on inetu, nii et need on funktsionaalsed ja usaldusväärsed.

Mis on Wget?

Wget (nn GNU Wget Linux) on ka konsooli, mitte-interaktiivne rakendus faile ja veebisaitidele töötamiseks. Tegelikult on see programm failide allalaadimiseks Internetist, mida iseloomustab graafilise liidese puudumine ja mitmed juhtimisfunktsioonid, mis ei ole tüüpilised kaasaegsetele lahendustele.

Programmi on välja töötanud Horvaatia insener Hrvoji Niksic, nüüd arendab seda ka Giuseppe Skrivano ja Linuxi kogukond. Esimene ehituserakendaja (edaspidi ikkagi GetURL) võeti kasutusele jaanuaris 1996. Programm on kirjutatud C-programmeerimiskeeles ja ilmus GNU-litsentsi all. Esialgu vabastati tööriist Linuxi platvormist. Aja jooksul on utiliit tõlgitud paljudesse keeltesse ja teisaldatud kõigile populaarsetele platvormidele, sealhulgas Wget jaoks Windows 7 (ja uuemad), Wget for MacOS ja nii edasi.

See programm ei ole interaktiivne, mis tähendab, et mis tahes protsessi, mis käivitatakse selle võimaluste piires, ei saa kontrollida, seda saab hallata, viidates operatsioonisüsteemi enda kontrollidele.

Vaatamata asjaolule, et tänapäevastel brauseritel on tavaliselt sisseehitatud allalaadimishaldur, on need ikkagi mõeldud interaktiivseks suhtlemiseks, mistõttu töö käsitsi režiimis muutub raskeks. Vastupidi, Wget võimaldab mitmete protsesside automatiseerimist. Näiteks on võimalik eelnevalt ette valmistada tekstidokumendi veebilehtede loendiga, mille abil saate korraga alla laadida mitu faili ja lehte.

Programmi põhifunktsioonid

Siiski on see esmajärjekorras failide allalaadimise programm, mis näitab selle põhifunktsiooni ilmset olemust.

Wget saab alla laadida kõik materjalid Internetist, olgu see siis dokumendid, kommenteeritud failid või terved veebilehed HTML-vormingus (mitmesuguste protokollide abil). Faile saab alla laadida kataloogidest FTP kaudu.

Kliendil on rekursiivne allalaadimine võimalikult konkreetse veebisaidi (või mitme veebisaidi) kaudu linkide kaudu automaatselt liikuda, samal ajal taastades veebisaidi algse struktuuri. Allalaaditud veebisaite on võimalik vaadata ilma võrgule juurde pääsemata (vaikimisi laaditakse see võrgu vaatamise aadressidena alla).

Esialgu on Wget kohandatud aeglase ja ebastabiilse ühenduse tüübiga, seega on selle tähtsaks funktsiooniks failide allalaadimise taastamine (see on võimalik, kui server toetab RANGE-päiseid). Ka Wget saab jälgida serverite olekut (nende olemasolu) allalaadimiseks ja värskendamiseks (Wget kontrollib failide päiseid ja toetab uusimat versiooni) failidest ja veebilehest.

Programmil on ka nn spider-tööriistadele iseloomulikud funktsioonid, mis uurivad erinevaid veebisaite ja servereid teatud failide olemasolu kohta.

Toetatavad platvormid

Selle toote baasiks sai Wget Linux. Nagu eespool mainitud, töötas esialgu utiliit ainult Linuxis, kuid sai kiiresti populaarseks ja muudele süsteemidele kohandatud. Näiteks võite leida Windows 7 versiooni Wget jaoks ja nüüdisaegsetele operatsioonisüsteemidele ning graafilise kasutajaliidesega mooduleid. Linuxi puhul jagatakse programm tihti programmiga. Mõnes Linuxis asuvad terminalid toetavad algselt Wget-i käske. Ubuntu, Fedora, openSUSE ja muud tarbijatarnijad töötavad programmiga, nagu nad ütlevad, kastist välja. Järgmisena kaaluge programmi üksikasjalikumalt.

Wget-käsklused: põhiparameetrite loend

Käskude põhinimekiri sisaldab järgmist:

• -V - saate teada, milline programmi versioon on praegu kasutusel;
• -h - näitab kõige täielikumat käskude loendit rakendusega töötamiseks;
• -b - saate panna programmi taustale;

Sõnumivalikute loend

Wget-käskud võimaldavad teil täielikult kuvatavat infot juhtida. Siin on nende nimekiri:

• -o logifail - loob logifaili, mis salvestab kogu rakenduse protsessi;
• -logifail - võimaldab teil lisada uue olemasoleva logifaili;
• -d - kuvab arendajatele ja silurile vajalikku teavet (aitab lahendada probleeme ja parandada vead kliendi töös);
• -q - keelab sõnumite kuvamise;
• -v - see suvand on vaikimisi sisse lülitatud, annab üksikasjaliku aruande kõikide protsessis esinevate protsesside kohta (reaalajas);
• -nv - vähendab märgatavalt sõnumeid kasutava teabe oluliselt. Jäävad alles kõige vajalikumad andmed ja veateated;
• -i-fail (failiga tee) - käsk lubab faili skannida, sellelt linki väljavõtteid ja allalaadimise teostamist; Võite kasutada mitmesuguseid vormingus faile, sealhulgas HTML-i, kuid kui seda käsku kasutate, ei määra käsureal faili asukohta;
• -f - paneb programmi lugema failina HTML-vormingus; Kui seda käsku kasutatakse kohaliku HTML-dokumendiga töötamiseks, võib selle vältimiseks tekkida viga, täpsustage dokumendis

Boot Valikud nimekiri

Põhilised käsud failide allalaadimisega töötamiseks Wget-i abiga. Siin on nende põhikomplekt:

• --bind-aadress = ADDRESS - see käsk võimaldab siduda andmeid kohaliku masina ADDRESS'ile. TCP / IP-ühenduse kasutamisel peab IP-aadress täpselt määrama (kui on rohkem kui üks) käsk.
• -t number (täpsustage number) - võimaldab kasutajal valida, mitu korda alla laaditakse. Dubleerimise vältimiseks peate määrama nulliga võrdväärse arvu väärtuse.
• -nc - see käsk võimaldab taastada eelmise allalaaditud faili juhul, kui võrk ebaõnnestub ja allalaadimine on katkenud. Kui te ei kasuta üht boot-käsklustest (-N, -nc, -r), loob Wget selle koopia ja alustab uuesti allalaadimist. Valik -r võimaldab teil olemasolevaid faile asendada.
• -c - hõlbustab ka faili üleslaadimist ühenduse kaotamise korral (ja kui Wget on lõpetanud ühenduse ise taastamise eesmärgil). Piisab määrata antud käsu enne faili linki. Kui kasutatavas kataloogis on sarnane fail, tuvastab see Wget ja otsustab automaatselt selle taaskäivitamise. Käsku saab kasutada ainult neil serveritel, kus on toetatud RANGE-päiseid.

• --progress - saate valida allalaadimise edenemise kuva tüübi. Saate määrata -progress = bar või progress = dot.
• --spider - asendab failide allalaadimise käsku, et kontrollida selle olemasolu serveris;
• -w (sekundites) - tähistab allalaadimiste ajalist ajavahemikku.
• -q (täpsustatud kilobaitide või megabaidi arvuga) - saate täpselt reguleerida allalaaditud andmete suurust ja piirata ülemääraseid koguseid. Sellele vaatamata tuleb märkida, et ükskõik milline fail on laaditud sõltumata kvootidest (st ühe failiga ei tööta see valik, olenemata sellest, kui raske see on).

HTTP-parameetrite loend

• --http-user = ja --http-passwd = - võimaldavad määrata autoriseerimise sisselogimise ja salasõna veebiserveris, kust failid laaditakse alla.
• -C = sisse ja välja lülitada - võimaldab sul serveri küljes andmeid salvestada.
• --cookies = sisse / välja - sama kui vahemällu, ainult küpsiste puhul. Võimaldab kas peatada või jätkata küpsiseandmete vahetamist, mida server vajab, et säilitada külastaja statistika. Vaikimisi on see võimalus lubatud, kuid küpsiseid ei salvestata kõvakettale.
• --save-küpsised - võimaldab salvestada küpsiseid (ainult värsked andmed).
• --proxy-user ja -proxy-passwd - saate määrata volikirja sisselogimise ja parooli proksiserveris (kui see on seotud).

FTP-seadete loend

Täpsemad Wget-ga töötamise võimalused. FTP käsud:

• -nr - blokeerib ajutiste failide kustutamise .listingute kataloogist, mis tekivad spontaanselt FTP-ga töötamisel;
• -g sisse / välja - võimaldab rakendusel kasutada erimärke FTP kataloogides;
• --passive-ftp - seda käsku saab kasutada passiivse FTP režiimi aktiveerimiseks koos tulemüüriga (kui kasutaja ise vastutab serveriga ühenduse loomise eest).

Wget-käskud: näited kasutusest

Kõige lihtsam ja kõige tavalisem näide programmiga töötamiseks on loomulikult failide allalaadimine. Wget-i käskude testimiseks võite alustada lihtsa failiga, leida võrgu faili lingi ja sisestada faili täpse ja täieliku tee abil terminali.

Faili allalaadimise jätkamiseks kasutage: Wget -c * linki, mis täpsustab faili täpse ja täieliku tee *.

Kui failide ja dokumentidega seotud lingid on nimekirjas, võite kasutada käsku Wget-i filelist.txt.

Veebilehtede laadimisel on kõik siin mõnevõrra keerulisem, kuid samal ajal suureneb võimaluste arv märkimisväärselt. Selleks, et mitte uuesti sisestada parameetreid iga kord, kui peate veebisaidi alla laadima, saate luua skripte või määrata kõik seaded .wgetrc-failile.

Veebilehe salvestamiseks lingidena (neid on kohalikus masinas raske avada), võite kasutada faili * täpse ja täieliku tee määramiseks käsku Wget -m *.

Selleks, et muuta sama lehe vaatamiseks ilma Internetiga ühendamata, saate kasutada Wget -r-10-k * linki faili täpse ja täieliku teega *.

Wget-vormingus viga käsk, mida ei leita, võib tähendada mis tahes kirjavigu ja valesti määratud parameetrit.