VBNet - Форум - Программа-паук

Вопрос: Программа-паук Добавлено: 23.03.03 10:23

Автор вопроса: dimoon | Web-сайт: dimoon.by.ru

Как сделать программу-паука? - программу, способную облазить весь сайт и целиком сохранить его на диске. Нет ли готовых примеров?
Ответить

Ответы Всего ответов: 6

Номер ответа: 1 Автор ответа: Shark ICQ: 284036855 Вопросов: 35 Ответов: 155	Web-сайт: www.ma26.ru Профиль \| Цитата \| #1	Добавлено: 23.03.03 17:22
	Зачем тебе это надо, если сайт будет большой надо будет долго, очень долго ждать, я как то искал программку для сбора адресов электронной почты и нашел только платные и то они искали очень долго. Ответить

Номер ответа: 2
Автор ответа:

dimoon

Вопросов: 32
Ответов: 19

Web-сайт: dimoon.by.ru
Профиль | Цитата | #2

Добавлено: 23.03.03 17:37

Мне это позарез нужно! Я прогу пишу! - по типу httrack или webcopier

Кто может, ПОМОГИТЕ

Ответить

Номер ответа: 3
Автор ответа:

Millenium

ICQ: 629966

Вопросов: 118
Ответов: 903

Web-сайт: www.aliyev.us
Профиль | Цитата | #3

Добавлено: 23.03.03 17:57

Знаеш прогу по имени FlashGet (Бывший ДжетКар)... ВЫот она то тебе поможет... Там Депенси Валкер и Сайт Валкер есть...

Короче руский хелп и интерфейс прилагается...

Скачай с www.flashgat.com - Или www.amazon.com/download/progid=18754 - Пока!!!

Ответить

Номер ответа: 4
Автор ответа:

dimoon

Вопросов: 32
Ответов: 19

Web-сайт: dimoon.by.ru
Профиль | Цитата | #4

Добавлено: 23.03.03 18:44

Да зачем мне готовая прога?

Мне исходник нужен причем желательно на VB (исходник на С можно взять на httrack.com - но я в С почти ламер)

Если нет сорца, то хотябы модуль или идея!!

NEED HELP!!!

Ответить

Номер ответа: 5
Автор ответа:

VesemiR

ICQ: 74433185

Вопросов: 2
Ответов: 9

Профиль | Цитата | #5

Добавлено: 14.04.03 18:38

Я в своё время писал но для поиска обновлений. Писал на perl, там были регулярные выражения (ака шаблоны). В первый раз приходилось всё равно выкачивать полностью.

Предлагаю такую идею:

сканишь главную страничку, вырезаешь все ссылки "http://" в том же домене, естественно, либо если хочешь и с других доменов какие нибудь фалы поиметь, то обязательно проверяй на расширения, иначе у тебя выкачается не один сайт, а немного больше ;-) . Далее работаешь по принципу дерева, с проверкой на уже выкачанные ссылки.

Выкачиваешь первую, режешь на ссылки, выкачиваешь дальше и т.д. . Следует поставить глубину вложения, как защиту (сначала дома потести естественно, на маленьком сайте, примерно с 20 вложениями). И т.д. как ветка заканчивается, перестраиваешься на следующую, и работаешь по принципу стека.

Я бы ещё делал это в несколько потоков. Например на первые по потоку открывать. Остальные тоже по потокам, но не один к одному а меньше, иначе будет _очень_ тяжко.

Вот такая идея. Можешь феньку внедрить для повторного скачивания, по дате.

Руление скачиванием - hhtp протокол, спецификацию можно найти абсолютно везде.

Удачи.