Текст для дора генерируется макросом [TEXT-sizemin-sizemax-percenrkeysmin-percentkeysmax] в правилах генерации. В одном доре (т.е. для генерации каждой из страниц) можно указать сколько угодно таких макросов, варьировать размер текста и процент ключей. Подробнее о правилах и макросах чуть ниже.
Алгоритмы генерации текста такие:
1 - перемешивание предложений. Исходный текст разбивается на предложения, они выбираются случайным образом до достижения необходимого объема статьи.
2 - нарезаем исходный текст. Статьи дора формируются из исходного текста подряд одна за другой. Разделителей в исходнике не требуется, объем статьи задается макросом [TEXT]
3 - Однословная марковка. Моя реализация цепей Маркова. Имеет несколько особенностей. Если вкратце, то результат работы алгоритма таков, что, хотя текст в доре логически бредовый, но каждая пара соседних слов будет грамматически верной (если исходная текстовка - не мешанина слов, а правильный русский текст). Подробнее об алгоритме и его работе в этом конкретном доргене - здесь. Прочитайте также о технологии работы с доргеном на примерах.
4 - синонимизация исходного. Собственно, синонимизация исходного текста. База синонимов должна быть формата "слово|синоним1|синоним2|синоним3". Отдельно от дистрибутива можете скачать вот эту базу. Валяется в паблике много где, здесь ее формат адаптирован под мою программу. Качество базы паршивенькое, на качественных своих или коммерческих результат будет лучше. Архив распаковать и положить текстовый файл в папку с программой (с именем synbase.txt). Алгоритм синонимизации обрабатывает не только отдельные слова, но и двух- и трехсловные фразы (с приоритетом по фразам). Без морфологии.
5 - синонимизация с перемешиванием. То же, что предыдущий случай, но текст берется не подряд из исходника, а случайными предложениями.
6 - микс. Это 10% исходного текста (перемешивание предложений), оставшиеся 90% - 50/50 марковка/синонимизация (также с перемешиванием предложений)
В каждом алгоритме текст очищается от мусора - убираются лишние пробелы, диалоги и т.д. Текст чистится от разных непечатаемых символов, удаляются лишние дефисы в конце строки (чем часто страдают тексты с lib.ru)
