Как известно, залог успеха дорвейщика - массовая генерация доров и максимальная автоматизация процесса. Любой, кто активно пользовался JakoDorgen, понимает, что данный дорген слабо приспособлен для этой самой массовой генерации, т.к. требует много ручного труда для создания проектов дорвеев. Так же в нем нет и такой полезной фишки RedButton как “выбрать … кеев и перемешать” из-за чего приходится для каждой серии доров заново перемешивать и разбивать файл ключевиков с помощью таких программ, как, например, KWK.

Для того, чтобы избавить JakoDorgen от перечисленных недостатков, была написана программа - генератор проектов для JakoDorgen. Она помогает сократить затраты времени на создание пачки доров на фрихах или дора с большим количеством подпапок.

В принципе, интерфейс программы прост и понятен, поэтому опишу его вкратце по элементам ввода:

• “Файл со списком аккаунтов” - либо простой список доменов для дорвеев (каждый домен с новой строки) либо список аккаунтов на фрихах с ftp-данными в формате: урл,логин,пасс,фтп-хост,фтп-папка (все параметры через запятую, каждый акк с новой строки).
• “Путь к Джако” - папка для записи файла проекта proj.txt.
• “Файл с ключевиками” - ключевики для генерации.
• “Ключевиков на один дор” - столько случайных кеев будет выбрано для генерации каждого дора/папки/поддомена. Выборка работает следующим образом - загружается файл ключевиков, для каждого дора выбирается из списка заданное число случайных строк и из списка эти строки удаляются. Когда ключевики заканчиваются, файл загружается по новой. Таким образом, если число ключевиков в исходном файле больше, чем вы генерите страниц в текущей пачке, то все ключевики будут уникальными. Файлы с выбранными ключевиками сохраняются в папке “Files” программы и ссылки на них записываются в проект Jako. После генерации доров эту папку можно почистить.
• “Файл с текстовкой” - текст для дорвея.
• “Файл со списком title” и “Файл со списком HeadCaption” - варианты заголовков доров, каждый с новой строки, данные для 2 этих фалов могут быть одинаковыми. Для каждого дора выбирается случайно один из вариантов.
• “Файл со списком профилей” - варианты профилей Jako, вы можете насоздавать множество профилей с разными настройками генерации и шаблонами, они будут случайно выбираться для дорвеев.
• “Способ генерации дорвеев” - здесь вы выбираете вид дорвея - только в корне, с папками или с поддоменами. Можно задать количество папок и префикс названия (по дефолту от sub1 до sub10).
• “Использовать FTP” - если установлена эта галка, то в файл проектов Джако будут записываться фтп-данные. Здесь же в полях “хост” и “папка” можно задать эти значения для всех доров в проекте. Если эти поля не заполнены, то фтп-данные будут браться из исходного файла с фрихами. Не забудьте, что для использования фтп-аплоадера Джако необходимо включить и в нем соответствующую галку “Залить доры после создания”.
• Ну и в разделе “генерация” можно слегка почистить кеи от ненужных символов и задать список стоп-слов, хотя я, конечно, рекомендую вам почистить список кеев заранее и один раз с помощью KWK или любой другой проги для обработки кеев. Свежие списки стоп-слов для чистки можно взять, например, у Kareg-a в соответствующем посте.

При обнаружении багов в проге или появлении разумных пожеланий по расширению функционала, можно отписаться здесь в комментах. Естественно, программа поставляется бесплатно как есть и ответственности за результаты ее работы я не несу.

Успешного всем засирания Яндекса

Скачать генератор проектов для JakoDorgen.

P.S. Конечно, встроенный ftp-аплоадер Джако не особо подходит для массовой заливки пачки фрих, поэтому есть мысль в ближайшее время написать генератор очереди для FileZill-ы по сгенеренным дорам. Так что следите за RSS.

P.S.S. Выразить благодарность за программу можно здесь: Z898386030352 и здесь: R799145565460

Недавно, просматривая сео-блоги, наткнулся на интересную подборку сервисов для вебмастера. В настоящее время в списке инструментов есть:

• Регистрация e-mail на google
• Регистрация на яндексе
• Регистрация на livejournal.com
• Быстрое добавление в панель вебмастера гугла
• Добавление ссылки в mister-wong

Можно, конечно, прикупить разнообразных акков в магазине аккаунтов, а можно немного поработать здесь ручками и сэкономить на мороженое :). Заодно будет полезно поразбираться в iMacros, на котором все эти сервисы реализованы, и тогда вы сможете сами писать такие вещи. К тому же автор предлагает оставлять заказы на новые сервисы в коментах своего блога и обещает их реализовать, если ему это покажется интересным.

Как я уже писал, новый JakoDorgen умеет генерить карту дорвея в формате xml. Но не умеет генерить ее правильно для дора с папками - для каждой папки делает свой файл sitemap.xml, как для отдельного сайта.

Поэтому пришлось слегка модифицировать свой самописный генератор sitemap.xml, который я уже выкладывал ранее. Подробно описывать программку не буду, желающие могут прочитать руководство в соответствующем посте. Функционал генератора sitemap.xml остался прежним, главное нововведение - это то, что приоритет и дата последней модификации каждой страницы задаются случайно, дабы было не так палевно для поисковиков.

Скачать обновленный генератор sitemap.xml можно по прежней ссылке.

А теперь рассмотрим подробнее, как правильно заюзать эту программу совместно с Jako.

Чтобы Jako не генерил ненужные нам файлы sitemap.xml в каждой подпапке дорвея, необходимо разделить настройки доргена для корня дора и для папок. Заодно можно и улучшить перелинковку корневого домена с папками, т.к. стандартная перелинковка в Джако сильно хромает.
Для этого необходимо выполнить следующие действия по пунктам:

• Создаем или модифицируем стандартный шаблон, по которому будем генерить папки дора, для примера назовем его “sub_template” - название папки с шаблоном
• Создаем в настройках Джако профиль с нужными нам параметрами генерации, называем его sub_opt, в качестве шаблона выбираем sub_template, галочку “Генерировать sitemap.xml” снимаем и сохраняем профиль
• Файлы профилей Джако лежат в папке “genoptions”. Находим в ней наш файл sub_opt и копируем в файл root_opt в ту же папку. Это будет профиль для корня сайта
• Таким же образом копируем папку sub_template с шаблоном в папку root_template - это будет шаблон для корня дорвея
• Теперь в корневом шаблоне добавим случайную ссылку на подпапки для дополнительной перелинковки. Это может быть, например, вот такой код:
  <a href=”sub[RAND-1-10]/sitemap.html”>Скачать видео №[RAND-10-100]</a>
  в результате после генерации дорвея на месте данного кода на каждой странице корневого дорвея будет случайная ссылка на файл sitemap.html одной из папок дора с именами от sub1 до sub10.
• Далее надо привязать корневой шаблон к соответствующему профилю Джако. Для этого открываем настройки доргена, выбираем там соответствующий профиль root_opt, в нем ставим шаблон root_template, ставим галку “Генерировать sitemap.xml и robots.txt” и сохраняем профиль
• Ну и, наконец, создаем проект для генерации, в котором корень домена и папки будут подвязаны к разным профилям с разными шаблонами. Это можно сделать прямо в текстовом файле proj.txt в папке JakoDorgen:
  #proj:door.ru{
  title=Халявное видео
  headcaption=Только бесплатное видео
  keywordsfile=D:\Keys\key1.txt
  textfile=D:\text.txt
  options=root_opt
  ftphost=
  ftplogin=
  ftppas=
  ftpfolder=
  status=0
  }#
  #proj:door.ru/sub1{
  title=Халявное видео
  headcaption=Только бесплатное видео
  keywordsfile=D:\Keys\key1.txt
  textfile=D:\text.txt
  options=sub_opt
  ftphost=
  ftplogin=
  ftppas=
  ftpfolder=
  status=0
  }#
  … и т.д.
• Теперь остается только запустить генерацию дорвея, по окончании которой создать новый файл sitemap.xml, который заменит карту сайта, созданную Джако только для корня сайта. Этот процесс подробнее описан в посте, посвященном sitemap-генератору.

Для работы в буржнете, будь то фарма или kinovip нужно где-то парсить англоязычные запросы. Ну не покупать же начинающему дорвейщегу базу Пастухова за 4 сотни невинно убиенных енотов .

Можно конечно и вручную wordtracker помучить, но все же в двадцать первом веке живем. Поэтому на прошлой неделе озаботился поиском соответствующей софтины либо скрипта. С дармовым софтом мне опять не повезло, ничего из найденного в паблике у меня на компе не заработало, а пятидесяти постов на нулледе не имею.

Так что вновь сам написал себе программку и решил выложить, может, кому тоже пригодится:
Скачать программу для парсинга WordTracker.
Программа написана на скорую руку, поэтому имеет минимум функций, в частности - периодически нужно вручную вводить капчу. Тем не менее, за час вполне реально напарсить несколько тысяч запросов.

Для начала парсинга нужно ввести слева от кнопки “Add” стартовый запрос, например “buy movies”, этой же кнопкой добавить запрос в очередь и нажать кнопку “Start”. Парсинг автоматически ставится на паузу в двух случаях: если wordtracker просит капчу и если по запросу ничего не найдено. В первом случае нужно просто ввести капчу и парсинг продолжится автоматически, во втором - еще раз нажать кнопку “Start”. Программа сохраняет во время работы данные в два текстовых файла “keys.txt” и “keylist.txt”. В файле “keys.txt” записываются найденные запросы и их количество, разделенные точкой с запятой, а в “keylist.txt” - текущая очередь запросов на парсинг, что позволяет при следующем запуске программы продолжить парсинг с места остановки.
ВНИМАНИЕ! - файл “keys.txt” с результатами парсинга перезаписывается при каждом запуске программы, не забывайте копировать сохраненные данные. Так же необходимо, что бы программа была развернута на весь экран, т.к. html-код в нижнем окне разбирается построчно и не должно быть лишних переносов строк, иначе запросы будут распознаны неверно.

Вот в принципе и все, но если все-таки запутаетесь в программе с тремя кнопками - пишите

Ну и напоследок еще небольшой подарок - база англоязычных кеев (где скачал не помню, давно это было ) - в распакованном виде 45 Мб, для начала хватит, дубли вычищены. В базе есть и фарма, и адалт, и много чего еще. А по второй ссылке доступна скачанная еще где-то база англоязычных адалт запросов.
Скачать базу eng-кеев (17 Mb).
Скачать базу adult eng-кеев (700 Kb).

На днях переставил на рабочем компе винду, ибо глюки уже достали.
После этого заработало нормально ftp-соединение, но, судя по всему, сработал закон сохранения количества глюков в отдельно взятой системе и перестал запускаться JakoDorgen 3-й версии - ругается на отсутствие подключения к интернет. Поэтому пришлось перейти временно на JakoDorgen 2.

А так как вторая версия не создает никаких карт сайта, решил сгенерить для доров сайтмап в формате XML. Надо же как-то подсунуть ленивым ботам список всех страниц дорвея .
Порылся в безбрежных просторах инета в поисках подходящей софтины под это дело, но либо было ограничение на 500 ссылок в бесплатной версии, либо Гугль выдавал ошибки при сканировании сгенерированного sitemap.xml.

Пришлось на скорую руку самому написать утилитку, которую сегодня и выкладываю, может, кому пригодится (скачать генератор карты сайта). Программа генерит sitemap.xml на основе локально сохраненной папки с дорвеем. Требования к исходным данным:

• папка должна называться по имени домена дорвея
• обрабатывается один уровень вложенности папок, т.е. сам домен и папки 1 уровня в нем
• в карту включаются файлы с расширениями htm, html, shtm, shtml, php

Например, вы сделали в JakoDorgen дорвей “kino.ru” с папками в нем “kino1″, “kino2″ и т.д., дорвей был сохранен в одноименной папке. Запускаете SMGenerator, указываете ему эту папку и жмете “Generate”. Будет сгенерирован файл sitemap.xml в этой же папке следующего вида:
…<url>
<loc>http://kino.ru/</loc>
<lastmod>2009-03-20</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://kino.ru/1-kino-besplatno.html</loc>
<changefreq>monthly</changefreq>
<priority>0.5</priority>]
…

<url>
<loc>http://kino.ru/kino1</loc>
<changefreq>monthly</changefreq>
<priority>0.5</priority>
</url>
…

Остается закачать полученный файл в корень дорвея, просабмитить его в поисковые системы (это можно сделать здесь), а также создать robots.txt с текстом:

User-agent: *
Sitemap: sitemap.xml

Ну и, наконец, еще можно загрузить данный сайтмап в личном аккаунте Гугля в разделе “Инструменты для вебмастеров”.