Главная

Новости

Статьи и обзоры
  Горожанин
  Обнинск в Internet
  Web Design
  Hardware
  Software
  Безопасность
  Серфинг
  Игродром
  Relax
  Технологии
  Web-обзор
  Интернет-ликбез
  Опросник
  УП-Технологии
  ART.net

Ссылки

Архив

О нас

Контакты

Форумы

POPULAR.RU

la_serg

Качаем: сайты

Наверняка у многих из Вас возникала проблема: Вы нашли страничку с какой-либо информацией (документацией, вкусным рецептом, смешными анекдотами и т.п.) Когда анекдотов немного, то в принципе их можно запомнить (записать). Если анекдотов много или рецепт большой, то и тут у нас есть выход, мы можем сохранить страничку на жестком диске с помощью любимого браузера. Все последние версии браузеров предлагают сохранение странички в нескольких режимах (полностью, только html, текст и т.д.) Если же наша документация состоит из большого количества глав и параграфов, каждый из которых - отдельная страничка, возникает определенная сложность. Конечно, можно посетить каждую страничку сайта и сохранить ее браузером, но тогда мы получим неупорядоченный набор файлов и если сайт не линеен (т.е. имеет сложную структуру), то разобраться будет очень сложно. Здесь-то и приходят к нам на помощь специализированные программы для закачивания сайтов целиком. Как Вы поняли, именно о них и пойдет сегодня речь.

Teleport PRO

Начнем разговор с программы Teleport pro (фирмы Tennyson Maxwell) временную версию этой программы можно скачать здесь

При запуске программа открывает project wizard и предлагает Вам сконфигурировать проект. Первый шаг - выбор типа проекта. Всего доступно 6 типов. Вот они (точнее, их примерный перевод):

• Создать "навигируемую" копию сайта
• Дублировать сайт с учетом структуры директорий (папок)
• Искать на сайте файлы заданного типа
• Исследовать сайты, на которые ссылается текущая страничка
• Скачать определенный файл
• Искать ключевые слова на сайте

Обо всем по порядку. Если нам необходимо создать такую копию сайта, по которой можно будет перемещаться в оффлайне, то нам следует выбрать первый пункт. Программа сохранит все файлы указанных страниц (подобно тому, как это делает браузер), но кроме этого программа поменяет все ссылки на локальные для файлов, которые были скачаны. Естественно, что все файлы скачать нереально (весь Интернет - терабайты информации;) Поэтому оставшиеся неизмененными ссылки (те, для которых не был скачан файл) Teleport pro дополняет специальными JavaScript'ами. При щелчке по такой ссылке браузер выдает предупреждение об отсутствии данного файла и предлагает скачать его из Интернет.

Пункт 2 - Дублирование сайта с учетом структуры директорий (duplicate a website, including directory structure). Аналогичен предыдущему за видимым исключением: при создании локальной копии сайта, сохраняется структура папок;)

Поиск файлов заданного типа позволяет искать файлы по определенному расширению (расширениям). Есть возможность указывать минимальный и максимальный размер файлов.

Пункт 4 - Исследовать связанные сайты (Explore every site linked from central). Данная фича выводит отчет о том, что содержат связанные сайты. Можно задать тип содержимого, на предмет которого надо исследовать - текст, графика, текст и графика. Все, что угодно.

Скачать один файл. Эта функция - побочный эффект применять Teleport pro для загрузки файлов. Абсурд, однако он это может, и разработчики не забыли этим похвастаться.

И последний пункт wizard'а - искать ключевые слова. Очень полезная примочка, надеюсь, в пояснении не нуждается.

"А зачем все это?", - спросите Вы. Ведь то же самое можно сделать браузером. "Нет!",- отвечу я Вам. Есть одно очень большое различие между браузером и программами для скачивания сайтов. В последних можно (и даже нужно) указывать глубину скачивания. Что это значит? Если Вы укажите глубину 0, то программа сохранит сайт как обычный браузер. Если 1 то программа скачает Вашу страничку плюс все странички, на которые ссылается основная. Если 2 то основную, плюс те, на которые она ссылается, плюс те, на которые ссылаются предыдущие и так далее. Вот мы и сами не заметили, как подошли к вопросу настройки программы.

Teleport pro поддерживает работу через прокси. Поддерживаются как анонимные так и обычные прокси сервера. Настройка осуществляется через меню file (File->Rroxy Server). Есть опция авто определения.

Следующий пункт меню (connections) будет интересен dial-up пользователям. Он позволяет сконфигурировать свойства соединения. Программа может дозваниваться до провайдера при запуске, разъединяться при завершении задания или при закрытии.

Еще один пункт, относящийся к настройкам - Free Space Limit. Как следует из названия - позволяет лимитировать место. Если объем закачиваемого сайта достигает указанной величины (по умолчанию 24 мегабайта), то закачивание приостанавливается. Полезно при ограниченных ресурсах Вашей машины.

Меню project позволяет управлять проектами;). Отсюда Вы можете запускать, приостанавливать, выключать проекты. Создавать новые (без помощи мастера). Здесь же находятся основные опции.

Итак пункт Project Properties. Этот пункт вызывает окно с несколькими вкладками. Здесь находятся основные настройки по скачиванию сайта.

Для хранения незаконченных (скачанных не до конца) сайтов Teleport pro использует свой собственный формат, который представляет собой базу данных. Вкладка Summary отображает статистику базы данных: сколько страниц просмотрено, сколько файлов скачано, сколько байт передано и т.д. Здесь есть кнопка очистки базы данных. Есть опция autosave - автоматически сохраняет нашу БД через указанный интервал времени.

Вкладка File Retrieval позволяет определить какие файлы скачивать, а какие нет. Есть 2 варианта ограничения - только по размеру (все файлы меньше определенного размера будут скачаны), по типу и по размеру (позволяет вводить ограничения размера - для каждого типа в отдельности). Опции скачивания JAVA аплетов, фоновых картинок и встроенных элементов (фоновая музыка, flash ролики).

Browsing/Mirroring определяет стиль (тип) сохранения страничек на диск и замену не скачанных ссылок.

Вкладка Exploration отвечает за такие параметры как время ожидания ответа сервера, количество повторов при ошибке, количество одновременно запрашиваемых файлов. Здесь же находятся Updating, т.е. опции отвечающие за обновление скачанных ранее файлов.

Advanced - это, наверное, опции для продвинутых;). Содержит следующие опции. Запустить проект вместе с программой, ограничить время выполнения в N минут, после остановки проекта ждать N секунд и продолжить. Выйти из программы, когда проект остановится.

Netiquette - и не выговоришь;). Здесь Вы можете задать идентификацию агента. Можно идентифицировать себя как браузер, если заняться нечем - попробуйте установить идентификатор на MSIE версии 7.0 - вебмастер с ума сойдет просматривая статистику ;)))

И последняя вкладка - Exclusions. Позволяет формировать логику запроса. Здесь Вы можете указать нежелательные ключевые слова (если они есть - не качать), не желательные имена файлов (с использованием * и ?) и не желательные адреса.

Резюме: программа обладает богатыми возможностями настройки, работает быстро и качественно. Однако Вы не можете явным образом задать глубину скачивания на сервере, а тем более вне сервера. Неоправданно завышена цена регистрации.

На последок о регистрации - коротко и доходчиво: only $39.95
LightRate: 4.0

ДИСКо Качалка

Вторая программа сегодняшнего обзора - ДИСКо Качалка компании Арсенал. Здесь Вы можете найти самую последнюю информацию по этому продукту.

Запустив ДИСКо Качалку после Teleport pro - у меня возникла мысль: "..Неужели наши опять лажанулись?..". Спешу Вас обрадовать: наши не опять, и даже не лажанулись ;)) Не смотря на неказистый вид, ДИСКо Качалка превосходит своего буржуйского коллегу по функциональности, но обо всем по порядку.

Как и Teleport pro, ДИСКо Качалка имеет свой собственный формат БД. Есть подозрения, что они одинаковы (уж больно похожи расширения файлов;)).

Основное окно программы состоит из 2 частей - панель инструментов и рабочая область. В рабочей области отображается текущий проект. Рассмотрим доступные инструменты.

Первые три инструмента - старт, стоп и продолжить. Старт - начинает новую миссию. Продолжить - продолжает миссию остановленную инструментом Стоп ;)).

Следующие два - Дерево файлов и карта навигации. Одновременно может быть включен только один из них. Если Вы выберете Дерево файлов, то проект будет отображаться деревом с учетом того, как файлы лежат на сайте (в каких папках). Если же выберете Карта навигации, то - с учетом ссылок. Т.е. вверху начальный документ, дальше те, на которые ссылается начальный и т.д.

Дальше у нас идут просмотр и монитор. При выборе просмотра правая часть рабочей области превращается в окно браузера, где Вы можете просматривать любую из скачанных страниц. Монитор - занимает нижнюю часть рабочей области. Монитор отображает статус проекта (миссии) и статистику.

Инструменты Миссия и Соединение - вызывают соответствующие настройки. Миссия - опции проекта. Соединение - без комментариев ;))

Последние три инструмента служат для управления просмотром странички. Инструменты вперед, назад - сами знаете, что делают. Инструмент Браузер - открывает текущую страничку в окне браузера.

Так, с панелью разобрались, давайте быстренько пробежим по пунктам меню.

Файл. Здесь все стандартно: открыть, закрыть, сохранить, новый, выход и список последних миссий.

Миссия. Кроме уже знакомых нам старт, стоп и продолжить содержит очистить и параметры. Очистить - сбрасывает весь результат. Параметры, аналогичны инструменту миссия. Окно свойств содержит две вкладки.

Первая вкладка называется Миссия (оригинально, правда?). Здесь Вы задаете стартовые адреса (их может быть несколько). Адреса, с которых не стоит качать. Указываете куда качать (папку, к которой имеете доступ на запись). В отличие от буржуйского собрата, здесь Вы можете указать глубину закачки - явным образом! Причем глубина задается в двух вариантах- для стартовых серверов и для остальных.

Вторая вкладка - Параметры. Здесь Вы определяете какие файлы качать, а какие нет (по расширению). Также здесь указывается любимая кодировка и различные ограничения, такие как размер файла, время ожидания ответа и т.д.

Пункт меню просмотр управляет просмотром скачанной страницы. Кроме известных нам вперед, назад, содержит выбор кодировки для отображения.

Сервис содержит три пункта: Настройки, Пакет и Соединение. Настройки - позволяют настроить интерфейс программы. Выбрать язык (Русский/Английский). Также, здесь указывается proxy если вы его используете.

Пакет позволяет формировать очередь из миссий. Можно указывать время и дату старта (для всей очереди). Есть возможность настроить реакцию программы на окончание пакета (закрыть программу, разорвать соединение, выключить компьютер).

Соединение - настраивает параметры dial-up соединения. Здесь можно указать список телефонов, логин и пароль. Также Вы можете лимитировать время связи. По достижению лимита- программа "вешает трубку".

Пункт Помощь. Ну с этим-то вы хоть сами разберетесь? ;))))

Резюме: Все гениальное просто! Быстро работает, Удобно настраивается.
LightRate: 5.0

#34/31.10.2000