Допустим, я хочу скачать что-нибудь с wget, но сайт, на котором есть нужные мне файлы, перенаправляет меня на сайт, который автоматически выбирает для меня зеркало (а статический file URL не предусмотрен).
Скачивание с таких сайтов работает с Firefox, но как мне получить real url (а не только ссылку на страницу редиректа), чтобы я мог скачать эти файлы с wget?
Когда вы запустили передачу в Firefox, отмените ее, нажмите правой кнопкой мыши на ссылку “Скачать” и нажмите “Скопировать ссылку”. Если вы используете более старую версию, кликните на нее правой кнопкой мыши и нажмите на “Свойства”, и ссылка появится в открывшемся окне.
In Chrome - запустите загрузку как обычно - затем перейдите в Меню - Загрузки - и вы увидите прямую ссылку, которая была использована. Или нажмите Ctrl + J, чтобы открыть окно.
Вы можете использовать расширение LiveHTTPHeaders для определения фактического URL загружаемого файла. (В частности, следите за GET).
Хотя я тоже люблю wget, я использую другой аналогичный инструмент: cURL . cURL специально имеет функцию отслеживания перенаправления (-L / --location), и она также бесплатна, как и wget. Я предлагаю оставить оба в вашем ремне; они имеют некоторые дополнительные возможности.
Вот интересная статья Я наткнулся на то, как использовать wget или cURL для загрузки с сайта, который использует cookies для аутентификации. Там упоминается функция cURL –location для отслеживания перенаправлений. (На самом деле, на основании отсутствия специального флага, упомянутого для wget, мне кажется, что wget может следовать за перенаправлением неявно…?).
Это ответ, который вы искали! 0x2 и 0x2 и Есть только одно надежное решение в один клик: cliget 0x2 и 0x2 и дает вам команду скручивания с заголовками, куки и все, с кнопкой копирования в буфер обмена, прямо в диалоговом окне загрузки.
Для Firefox : https://addons.mozilla.org/en-US/firefox/addon/cliget
Здесь я не связываю curlwget для Chrome, потому что он уродлив. Пожалуйста, обновите этот ответ, если Chrome получит такой же элегантный эквивалент.
Обычно я использую Firefox DownThemAll addon, когда есть много ссылок для скачивания, и мне нужно выбрать конкретные URL. 0x2 & 0x2 & Он показывает полный URL и позволяет добавлять в режиме паузы, так что вы можете начать загрузку, когда вам нравится.
В качестве дополнительной функции, вы можете захватить URL и пропустить загрузку вообще. 0x2 & Однако, если вам нужно загрузить файл, DownThemAll довольно хорош в качестве ускорителя.
Вы можете использовать Curl для загрузки перенаправленного URL :
curl --location http://domainName/fileName 2> /dev/null > fileName
Ваш вопрос немного неясен. Здесь есть 2 урлы: одна, которую вы используете, и та, которая вернулась после переадресации. Первая из них должна быть известна вам, так как она пришла с вашей машины, а вторая - это та, которая отображается в вашем браузере. Если вопрос касается того, где находится файл на перенаправленном сервере, то узнать невозможно.
Если вы пытаетесь отладить звонки, исходящие на сервер, вы можете воспользоваться надстройкой firefox от firebug, более старые версии этой надстройки существуют здесь : https://addons.mozilla.org/en-US/firefox/addons/versions/1843 .
Вы пытались передать URL переадресации в wget? Иногда они работают на меня.
Вот пример из SourceForge:
$ wget http://sourceforge.net/projects/emule/files/eMule/0.49c/eMule0.49c-Installer.exe/download?use_mirror=ufpr,Centro%20de%20Computacao%20Cientifica%20e%20Software%20Livre
--14:23:20-- http://sourceforge.net/projects/emule/files/eMule/0.49c/eMule0.49c-Installer.exe/download?use_mirror=ufpr,Centro%20de%20Computacao%20Cientifica%20e%20Software%20Livre
Resolvendo sourceforge.net... 216.34.181.60
Connecting to sourceforge.net|216.34.181.60|:80... conectado!
HTTP requisição enviada, aguardando resposta... 302 Found
Localização: http://downloads.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe?use_mirror=ufpr [seguinte]
--14:23:21-- http://downloads.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe?use_mirror=ufpr
Resolvendo downloads.sourceforge.net... 216.34.181.59
Connecting to downloads.sourceforge.net|216.34.181.59|:80... conectado!
HTTP requisição enviada, aguardando resposta... 302 Found
Localização: http://ufpr.dl.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe [seguinte]
--14:23:21-- http://ufpr.dl.sourceforge.net/project/emule/eMule/0.49c/eMule0.49c-Installer.exe
Resolvendo ufpr.dl.sourceforge.net... 200.236.31.1, 200.17.202.1
Connecting to ufpr.dl.sourceforge.net|200.236.31.1|:80... conectado!
HTTP requisição enviada, aguardando resposta... 200 OK
Tamanho: 3342809 (3,2M) [application/x-msdos-program]
Saving to: `eMule0.49c-Installer.exe'
100%[====================================================================================>] 3.342.809 2,35M/s in 1,4s
14:23:23 (2,35 MB/s) - `eMule0.49c-Installer.exe' saved [3342809/3342809]
Версия, которую я использую:
$ wget --version
GNU Wget 1.10.2
Firefox копия url определенно самый простой. wget (как вопрос был помечен) также является хорошим решением, потому что вы можете видеть все промежуточные отскоки, а не только окончательный url:
$ wget 'http://sourceforge.net/projects/pdfcreator/files/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe/download'
--2009-09-10 09:59:53-- http://sourceforge.net/projects/pdfcreator/files/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe/download
Resolving sourceforge.net... 216.34.181.60
Connecting to sourceforge.net|216.34.181.60|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: http://downloads.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe?use_mirror=voxel [following]
--2009-09-10 09:59:54-- http://downloads.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe?use_mirror=voxel
Resolving downloads.sourceforge.net... 216.34.181.59
Connecting to downloads.sourceforge.net|216.34.181.59|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: http://voxel.dl.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe [following]
--2009-09-10 09:59:54-- http://voxel.dl.sourceforge.net/project/pdfcreator/PDFCreator/PDFCreator%200.9.8/PDFCreator-0_9_8_setup.exe
Resolving voxel.dl.sourceforge.net... 74.63.52.167, 69.9.191.19, 69.9.191.18, ...
Connecting to voxel.dl.sourceforge.net|74.63.52.167|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 17695920 (17M) [application/octet-stream]
Saving to:PDFCreator-098_setup.exe’`
10% [=======>] 1,818,064 609K/сек.
Вы можете использовать инструмент netcat (который часто входит в состав дистрибутивов linux) на порту 80 сайта. Это показывает полный сырой HTTP-ответ, включая заголовки, которые содержат URL назначения редиректа. Это один из самых прямых способов получить адрес назначения редиректа, так как вы делаете то же самое, что и загрузчики, когда they следуют за редиректами. Вот пример для URL http://www.example.com/example.
printf 'GET /example HTTP/1.1\r\nHost: www.example.com\r\n\r\n' | netcat www.example.com 80
…или…..
Альтернативно, многие браузеры показывают фактический URL загрузки в разделе Downloads. В них вы можете сразу же начать загрузку и отменить ее, а затем скопировать URL (из истории загрузок).