Ищу прогу или скрипт для удоления дублей

[barbakan]

Ищу прогу или скрипт для удаления дублей из двух файлов. У меня есть txt на пару лямов отчеканых кеев , теперь у меня еще появился файл с кеями в этой же нише из другого источника на 1кк . Вот мне нужно что бы можно было сравнить эти два файла и удалить повторяющиеся кеи во втором txt. Можно конечно было их обо соединить а потом удалить дубли но чет мне не охото после этого чекать еще раз 2.5кк кеев. Где то встречал такую прогу не могу вспомнить где .

 

[Anton]

После объединения, квк без проблем удалит дубли.
Главное чтоб кеев было меньше 14кк

Ну и TextPipePro

Одни и те же вопросы... 100 раз уже все обсуждалось

 

[_sergey_]

Textpipe Pro, на форуме выложена. С такими маленькими файлами быстро справится. Просто укажите 1 файл, потом фильтр удалить строки и 2-й файл, запускаете. И будет результат. Единственно кодировка желательно 1251. Если UTF, то лучше перевести в 1251.

Удаляйте из маленького большой, частоты убрать предварительно в нём. Те что останутся на выходе - это не прочеканные.

После объединения, квк без проблем удалит дубли.

Я так понял, что у него в одном файле ключ+частота, а в другом просто ключ. А квк удаляет построчно. Если частоты оставить, строки разные будут. А если частоты убрать, то после проверки на дубли, придётся на частоты чекать снова.

 

[barbakan]

Всем спасибо уже нашел решение проще , просто в текстпайпе я туплю с его возможностями и меню )