Как скачать сайт с web.archive.org — Качаем копию с Wayback Machine — Banochkin.com




Banochkin.com / Блог / Сливаем сайты с Wayback Machine бесплатно

Сливаем сайты с Wayback Machine бесплатно

Однажды потребовалось скачать сайт с web.archive.org. Archivarix.com и r-tools.org ущербны и дают очень слабый функционал, особенно на бесплатной версии.

Если вам нужно слить большой сайт, есть терминал и 5 минут на настройку — можно обойтись без сторонних сервисов.

Wayback Machine Downloader

Чтобы скачивать сайты с Вебархива бесплатно воспользуемся бесплатной консольной утилитой Wayback Machine Downloader. Я ставил под macOS, мануал будет под неё же. Если у вас сторонняя ось — ищите мануалы по установке Ruby под себя.

Установка Ruby

Я просто нагуглил этот тред, проверил команды на отсутствие rm -rf / и аналогов, и вбил их по очереди (у вас должен быть установлен Homebrew).

brew update
brew install ruby

Если стоит bash (наверняка так и есть):

echo 'export PATH=/usr/local/Cellar/ruby/2.4.1_1/bin:$PATH' >> ~/.bash_profile

Если стоит ZSH:

echo 'export PATH=/usr/local/Cellar/ruby/2.4.1_1/bin:$PATH' >> ~/.zprofile

Далее какая-то вроде ненужная хрень, но я установил, на всякий случай.

brew install rbenv ruby-build

Если стоит bash (наверняка так и есть):

echo 'export PATH="$HOME/.rbenv/bin:$PATH"' >> ~/.bash_profile
echo 'eval "$(rbenv init -)"' >> ~/.bash_profile

Если стоит ZSH:

echo 'export PATH="$HOME/.rbenv/bin:$PATH"' >> ~/.zprofile
echo 'eval "$(rbenv init -)"' >> ~/.zprofile

Установка Wayback Machine Downloader

И только теперь можно ставить Wayback Machine Downloader.

gem install wayback_machine_downloader

Ну и самое приятное!

Качаем сайт с Вебархива бесплатно

После установки вбиваете в терминал команду:

wayback_machine_downloader http://example.com

Где http://example.com — сайт, который нужно скачать.

Всё, можно пользоваться. Дополнительные инструкции и описания к командам найдёте тут (на английском).

Сделать хорошо

После каждой публикации ссылки на эту страницу в социальных сетях мир становится немного лучше.

Спасибо.

Обновлено: 13:11, 11 Дек, 2019 | Метки: инструкции, инструменты, скрипты
Комментарии


Комментарии
.

Ваш комментарий…

.

.

Присоединиться к обсуждению…


Войти с помощью

или через Disqus
?

Disqus — сеть для общения

  • Disqus никогда не модерирует. Правила этого сообщества регулируются им самим.
  • Не делайте глупостей и ничего незаконного. Так всем будет лучше .

Прочесть полное пользовательское соглашение

  • как те лайк въебать не знаю

      • Я так понимаю к страницам фото и оформление не привязывается а только html?

        • Если в процессе установки у вас возникли проблемы с недостаточным разрешением на папки, то нужно выполнить такую команду:
          sudo gem install wayback_machine_downloader
          вместо
          gem install wayback_machine_downloader

            • Хакерман 9 месяцев назад

              От души душевно в душу!

                • Это просто праздник какой-то!

                  • Ruslan Banochkin Модератор 2 года назад

                    Охуеть! Рассказываешь про инструмент, который работает, а ещё набегают недовольные ебальники, которым ещё что-то не нравится.

                    • Меня больше интересует вопрос, как сделать относительные пути после загрузки (отвязать от домена). Можно автозаменой покалупать в notepad++, но в такой тулсе это в опциях по идее должно быть?

                      • мерсишечка!!!

                          • Зачем? Ruby же сразу установлен на мак ОС. А так кто терминалом пользуется, у того хватит мозгов найти ман не установку руби. Вы бы лучше описали параметры утилиты. Есть ли полезные параметры среди них?

                            Есть вопрос, можно ли ставить на паузу этот скрипт? Или например я пол дня качал сайт, а потом компьютер вырубился, то заново качать?

                              • У меня без команд выше скрипт не встал. Я описал как слить сайт просто и быстро, кому параметры интересны — переведёт ман.)

                                Про паузу не в курсе, мак не выключаю.

                                  • Если не установился, то наверное прав на папку не было куда гемы записываются: /Library/Ruby/Gems/2.0.0

                                    Есть другой способ, просто добавить параметр —user-install к gem install и он установит гем под текущего пользователя

                                    Далее запускаем так:
                                    ~/.gem/ruby/2.0.0/bin/wayback_machine_downloader http://google.com

                                    Конечно лучше добавить ~/.gem/ruby/2.0.0/bin/ в PATH, чтобы пути не писать

                                      • О, теперь разобрался. Я руби не касался ни разу, про гемы первый раз от тебя читаю.)
                                        Но спасибо, вникну позже.

                                    Banochkin.com

                                    2016 — 2020.
                                    При копировании материалов прямая активная обратная ссылка на сайт banochkin.com обязательна.
                                    Пользовательское соглашение.

                                    Работает на мощностях AdminVPS.

                                    https://banochkin.com/blog/download-from-web-archive/

                                    Губарь Маргарита Александровна