Сижу вот жду письма от Виртуала по поводу каталогов и подумал я что надо самому учиться растить себе тИЦ, как я писал тут.

Накачал в сети целую кучу баз к AllSubmitter”у, но ясное дело, что то что бесплатно - то используют все кому не лень.

Поэтому необходимо почистить то что накачал хотя бы от забаненых сайтов. Далее всё выкладывается по мотивам этого поста.

База у меня жирненькая насобиралась, поэтому сервисы перво-автора сопративлялись выдавать результат на запрос более 1000 адресов (меньше даже не пробовал), поэтому я написал свою программу - Free Extract Domain From URLs

Итак, всё по порядку:

0 ) сохраняем black list на всякий случай, если он есть

1 ) экспортируем всю базу в .тхт

2 ) скармливаем моей проге адреса, жмём GO!, сохраняем результат в .тхт

3 ) экспортируем в сабмиттер в отдельную категорию сняв все галочки

4 ) выделяем всё в категории и жмём “определить параметры сайта”. Параметры: рекомендую от 40 потоков, проц всёравно будет загружен на 100% так что смотрите. Оставляем только галочку “ответ сервера”.

5 ) Ждём окончания. Это долго (ну всё конечно зависит от того сколько у вас в базе сайтов :)). Очень рекомендую перед проверкой обновить антивирус. Ко мне штук 20 троянов рвалось, сколько порезал фаервол вообще не знаю.

6 ) Сортируем результаты по ответу сервера, всё что не = 200 удаляем в black list

7 ) удаляем созданною нами категорию

8 ) жмём “чистка каталогов” - основная база очищается от того что мы занесли в Black List

8.1) восстанавливаем Black List, если он был

Вот собственно и всё, осталось сделать марш-бросок по этой базе

Искренне Ваш,
Горный Оптимизатор