Как мне использовать wget/curl для загрузки с сайта, на который я вошел?

2

Самый простой способ: войдите в систему с помощью своего браузера и передайте файлы cookie wget

Самый простой способ: в общем, вам нужно предоставить wget или локон с помощью (вошедших в систему) файлов cookie с определенного веб-сайта, чтобы они могли извлекать страницы как если бы вы вошли в систему.

Если вы используете Firefox, это легко сделать с помощью Экспорт файлов cookie дополнение. Установите дополнение и:

  1. Идти к Инструменты...Экспорт файлов cookie, и сохранить cookies.txt файл (вы можете изменить имя файла/место назначения).

  2. Откройте терминал и используйте wget с --load-cookies=FILENAME вариант, например

    wget --load-cookies=cookies.txt http://en.wikipedia.org/wiki/User:A
    • Для локон, это curl --cookie cookies.txt ...

(Я постараюсь обновить этот ответ для пользователей Chrome / Chromium)

Трудный путь: используйте локон (предпочтительно) или wget для управления всем сеансом

  • Подробное руководство выходит за рамки этого ответа, но вы используете локон с --cookie-jar или wget с --save-cookies --keep-session-cookiesопции, наряду с методом HTTP/S PUT для входа на сайт, сохраняют файлы cookie для входа, а затем используют их для имитации браузера.
  • Излишне говорить, что для этого требуется пройти через исходный код HTML для страницы входа (получить имена полей ввода и т.д.), И часто бывает трудно заставить работать сайты, использующие что-либо, кроме простой аутентификации по логину / паролю.
  • Совет: если вы идете по этому пути, часто гораздо проще иметь дело с мобильный версию веб-сайта (если таковая имеется), по крайней мере, для этапа аутентификации.