CURL om een map te downloaden

Werkt altijd voor mij, inclusief geen ouder en recursief om alleen de gewenste directory te krijgen.

wget --no-parent -r http://WEBSITE.com/DIRECTORY

HTTP heeft niet echt een notie van directories. De slashes behalve de eerste drie (http://example.com/) hebben geen speciale betekenis behalve met betrekking tot .. in relatieve URLs. Dus tenzij de server een bepaald formaat volgt, is er geen manier om “alle bestanden in de gespecificeerde directory te downloaden”.

Als je de hele site wilt downloaden, kun je het beste alle links op de hoofdpagina recursief doorzoeken. Curl kan dit niet, maar wget wel. Dit zal werken als de website niet te dynamisch is (in het bijzonder, wget zal geen links zien die zijn opgebouwd door Javascript code). Begin met wget -r http://example.com/, en kijk onder “Recursive Retrieval Options” en “Recursive Accept/Reject Options” in de wget handleiding voor meer relevante opties (recursie diepte, uitsluitingslijsten, etc).

Als de website geautomatiseerde downloads probeert te blokkeren, kan het nodig zijn om de user agent string (-U Mozilla) te veranderen, en om robots.txt te negeren (maak een leeg bestand example.com/robots.txt en gebruik de -nc optie zodat wget niet probeert om het van de server te downloaden).

In dit geval is curl NIET het beste gereedschap. Je kunt wget gebruiken met het -r argument, zoals dit:

wget -r http://example.com/

Dit is de meest eenvoudige vorm, en en je kunt ook extra argumenten gebruiken. Voor meer informatie, zie de manpage (man wget).

Dit is niet mogelijk. Er is geen standaard, algemeen geïmplementeerde, manier voor een webserver om de inhoud van een map aan u terug te geven. De meeste servers genereren een HTML index van een map, indien geconfigureerd om dit te doen, maar deze uitvoer is niet standaard, noch gegarandeerd op welke manier dan ook. Je zou deze HTML kunnen parsen, maar denk er aan dat het formaat van server tot server zal veranderen, en niet altijd zal worden ingeschakeld.

U kunt de Firefox-extensie DownThemAll gebruiken! Hiermee kunt u alle bestanden in een map met één klik downloaden. Het is ook aanpasbaar en je kunt opgeven welke bestandstypes je wilt downloaden. Dit is de gemakkelijkste manier die ik heb gevonden.

Misschien kunt u hier een website ripper gebruiken, die alles download en de inhoud/interne links aanpast voor lokaal gebruik. Een goede kan hier gevonden worden: http://www.httrack.com