Можно конечно набрать в поиске «скачать базу каталогов ссылок» . Но базы эти обычно низкого качества и не актуальные, чаще в них забаненные и не доступные каталоги. Давайте соберем свою базу каталогов.
Существует 2 способа поиска белых каталогов ссылок: по части урла и по фразе добавления.
В статье “команды поиска google” я приводил оператор allinurl. Он поможет нам найти сайты, которые содержат в URL, то или иное поисковое значение.
Для начала нужно определиться с движком искомых каталогов. Скрипты каталогов ссылок имеют одинаковые url добавления.
Рассмотрим, например, движок Flashcat. Для добавления сайта в каталог мы переходим на стандартный url добавления – «?act=s_add». Именно по этому урлу будем парсить выдачу. А вы хотели вручную собирать адреса?)
Качаем бесплатный парсер поисковой выдачи . И настраиваем его следующим образом:
1. В папке с предустановленным парсером (C:\Program Files\AGGRESS\Parser) переходим в папку search
2. Создаем файл GoogleUrl.txt
И в нем прописываем следующий запрос:
Url-http://www.google.com
AbsoluteUrl-http://www.google.com/search?num=100&hl=ru&q=allinurl:{REQUEST}&lr=lang_ru
UntilTextAfter-<h2 class=r><a href=”{TEXT}” mce_href=”{TEXT}”
UntilNextLinkAfter-<td nowrap class=b><a href=”{NEXTLINK}” mce_href=”{NEXTLINK}”>
Pattern-{TEXT}
Сохраняем и закрываем файл.
Далее открываем наш парсер
1.В графе «Поисковик» выбираем наш «GoogleUrl.txt»
2.В графе «Запросы» вводим наш запрос ?act=s_add и нажимаем добавить
3.Запускаем и ждем список урлов в окне справа
4.Сохраняем, по умолчанию стоит файл xxx.txt
Переходим на вкладку «Управление базами»
1. выбираем сохраненный ранее файл с урлами каталогов - xxx.txt. можно сразу перейти на шаг 4.
2.Нажимаем «удалить одинаковые» (из 218 осталось 186)
3. В правом окне нажимаем «удалить все», а можно сохранить отдельно в черный список.
4. Сохраняем файл xxx.txt
Очищенную базу xxx.txt можно импортировать в Allsubmitter, почистить (проверить на индекс в Yandex) и начать регистрацию по собственной базе каталогов ссылок.
В следующей статье проведем аналогию этого способа в программе Allsubmitter и рассмотрим 2 способ на примере поиска каталогов статей.
БлогПост
. Попробовать с одним СЧ?)
Выражаю благодарность Максиму за плагин JawsIk External Redirect Plugin для WordPress. Лучшая реализация из ранее виданного.
Единственное дополнение.
Возможна такая ошибка
strpos() [function.strpos]: Empty delimiter. in /home/…./public_html/wp-includes/compat.php on line 146
Для этого 146 строку
return strpos(strtolower($haystack), strtolower($needle), $offset);
Заменяем в следующем виде:
return @strpos(strtolower($haystack), strtolower($needle), $offset);
Читай еще
Теги: Aggress Parser, парсер выдачи
1 Пингбек to “Собираем базу белых каталогов ссылок бесплатным парсером. Часть 1”
3 комментариев - “Собираем базу белых каталогов ссылок бесплатным парсером. Часть 1”
-
1. Petr Says:
июня 23, 2008 at 11:49хорошая статья!
возник вопрос - а почему мы изначально парсили гугл - если потом все равно будем проверять каталоги на индексацию в яндексе? не проще было сразу в нем искать? -
2. Влад Says:
июня 23, 2008 at 13:55Собственно, по таким запросам и собираю. Жалко с годик назад, подобная статья( парсю AGGRESS/тоже) , не попадалась. Но скопировал, автору спасибо. Жду вторую часть. Кстати, не написали про паузу между запросами, я выставляю 10-15. меньше гугл банит.
-
3. Руслан Ахметов Says:
июня 24, 2008 at 19:43Petr, Потому что в яндексе нет аналогичных команд
июня 24, 2008 at 20:57
[...] сервисы Собираем базу белых каталогов ссылок бесплатным парсе… Июнь [...]