Прога для очистки текста от мусора.

[Zmeyman]

Есть куча вот такого текста

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[vestal]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[ximx]

Чищу секатором (Sekator - введи в поиске этого форума). Ввожу в строку все английские буквы + левые символы. Правда файлы больше 3мб обрабатываются ну очень долго...

 

[miker30]

Лучше свои кеи пасить чем воровать чужие) тем более хрен ты программе объяснишь чем в данном случае кей отличается от остального текста, попробуй исходный код смотреть и выбирать все что в тегах <b> <strong> и тд

 

[General Fizz]

Для просмотра ссылки Войди или Зарегистрируйся юзай, программа для обработки текстов самая лучшая.

 

[Unfair]

вот линк на сборник текст-парсеров и лингвоанализатров:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[zarazakaza]

Есть такая прога TextPIpe называется...наверно самая лучшая в своем роде...ностоит правда около 400 бакинских....но можно поискать крякнутую.так что текстпайп и забудешь о проблеме мусора в тексте.

 

[aura23]

Есть инфа, как реализовать аналогичный парсер на php?

Добавлено через 1 минуту
Или примеры фильтров для TextPipe?

 

[SolutionFix]

Есть инфа, как реализовать аналогичный парсер на php?

Добавлено через 1 минуту
Или примеры фильтров для TextPipe?

Что там его реализовывать?

<?php
    $SourceFile = 'source.txt';
    $DestinFile = 'destin.txt';
    
    function IsGoodWord($Word)
    {
        for($i=0; $i<strlen($Word); $i++) 
            if(($Word[$i] < 'а') or ($Word[$i] > 'я')) return false;
        return true;
    }
    
    if(!$SourceText = file_get_contents($SourceFile)) exit("Ошибка: нет файла $SourceFile с исходным текстом");
    $DestinText = '';
    foreach(($Words = explode(" ", $SourceText)) as $Word)
        if(IsGoodWord($Word)) $DestinText .= "$Word ";
    if(!file_put_contents($DestinFile, $DestinText)) exit("Ошибка: нет удалось записать файл $DestinFile с полученным текстом");
    
    echo "Успешно очищено, результаты смотрите в файле $DestinFile";
?>

PS Да, кстати для гигабайтных текстов (английских) можно использовать Для просмотра ссылки Войди или Зарегистрируйся

 

[ERule]

на perl 5мин делов

$SourceFile = 'source.txt';
$DestinFile = 'dest.txt';
open(F1,$SourceFile);
open(F2,">$DestinFile");
while(<F1>){
  ~s/[^абвгдежзийклмнопрстуфхцчшщъыьэюяАБВГДЕЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ ]//g;
  print F2 $_;
}
close(F1);
close(F1);
print "View: $DestinFile\n";