CURL для загрузки каталога

Всегда работает на меня, не включает в себя никаких родительских и рекурсивных, чтобы получить только нужную директорию.

wget --no-parent -r http://WEBSITE.com/DIRECTORY

HTTP не имеет понятия о каталогах. Слеши, кроме первых трех (http://example.com/), не имеют особого значения, за исключением .. в относительных URL. Поэтому, если только сервер не следует определенному формату, нет никакой возможности “загрузить все файлы в указанную директорию”.

Если вы хотите загрузить весь сайт, то лучше всего переходить по всем ссылкам на главной странице рекурсивно. Скручивание не может этого сделать, но wget может. Это сработает, если сайт не слишком динамичен (в частности, wget не увидит ссылок, которые построены с помощью Javascript-кода). Начните с wget -r http://example.com/ и посмотрите в разделах “Параметры рекурсивного восстановления” и “Параметры рекурсивного принятия/отклонения” в руководстве wget более актуальные опции (глубина рекурсии, списки исключений и т.д.).

Если сайт пытается заблокировать автоматическую загрузку, вам может понадобиться изменить строку агента пользователя (-U Mozilla), и проигнорировать robots.txt (создать пустой файл example.com/robots.txt и использовать опцию -nc, чтобы wget не пытался загрузить его с сервера).

В этом случае curl НЕ является лучшим инструментом. Вы можете использовать wget с аргументом -r, вот так:

wget -r http://example.com/

Это самая базовая форма, и вы можете использовать дополнительные аргументы. Для дополнительной информации смотрите форму manpage (man wget).

Это невозможно. Для веб-сервера нет стандартного, общепринятого способа вернуть вам содержимое директории. Большинство серверов действительно генерируют HTML-индекс каталога, если он настроен на это, но такой вывод не является ни стандартным, ни гарантированным. Вы можете разобрать этот HTML, но имейте в виду, что формат будет меняться с сервера на сервер и не всегда будет включен.

Вы можете использовать расширение Firefox DownThemAll! Оно позволит вам загрузить все файлы из каталога в один клик. Оно также настраивается, и вы можете указать, какие типы файлов загружать. Это самый простой способ, который я нашел.

Вы можете найти использование для риппер сайта здесь, это скачать все и изменить содержание / внутренних ссылок для местного использования. Хорошее можно найти здесь: http://www.httrack.com