Как удалить дубликаты строк регуляркой?

[gradar]

 

[Seegr]

я в экселе миллион строк сортировал и удалял дубли - очень удобно и достаточно быстро.
Для более миллиона строк использую App.Merge.exe - брать с hasller

 

[byNickSan]

я в экселе миллион строк сортировал и удалял дубли - очень удобно и достаточно быстро.
Для более миллиона строк использую App.Merge.exe - брать с hasller

KeyWordKeeper юзаю, так проще для больших файлов

 

[yr4ik_07]

Если знаете php то:
1) Берем строки через file
2) далее массив строк пропускаем через array_count_values
3) на выходе имеем массив вида:
значение1 => 2,
значeние2 => 3,
значeние3 => 1

где ключами будут уникальные строки, а значениями их количество

 

[soll2307]

string result = Regex.Replace(input, @"(?m)^(.+)(?=\s+^\1)", ""); //(на сишарпе)

 

[Insendio]

Вариант без regex:
AkelPad -> Преобразовать -> Удалить дублирующиеся строки, есть еще и другие варианты:

 

[twocher]

я в экселе миллион строк сортировал и удалял дубли - очень удобно и достаточно быстро.
Для более миллиона строк использую App.Merge.exe - брать с hasller

Да вы батенька или маньяк или трепач. Excel просто технически начинает тупить при заполнении большого количества ячеек.

 

[l0cky]

Да вы батенька или маньяк или трепач.

Excel может импортировать чуть более миллиона строк и удалить дубликаты , на нормальном железе займёт минут 5-7.