Иногда возникает необходимость удалить одинаковые строки из большого списка.
Например, однажды злобный бот повадился гадить на сайте одного моего знакомого. Что характерно, бот использует разные IP адреса. Но поскольку бот тупенький, то в своем поведении всегда использует один и тот же шаблон. Вот я и отловил за несколько дней почти все его адреса.
Проблема в том, что в списке некоторые повторяются по несколько раз. Можно конечно удалять повторяющиеся строки вручную, но… зачем? Пусть этим занимается компьютер.
Так появился вот этот ДУБЛЕУДАЛЯТОР.
Дублеудалятор
Вставляете список в поле. Нажимаете кнопочку, и Дублеудалятор сам чистит список от повторяющихся строк. Остается только скопировать результат.
В моей истории, Дублеудалятор убрал почти 2000 дублей, оставив 200 IP-адресов. Неслабая оптимизация, между-прочим. В 10 раз почти.
Надеюсь мое приложение для удаление дублей пригодится и вам.
На этом пока всё. Подписывайтесь на мой RSS, чтобы не пропустить что-нибудь интересное.
А с вами был Доктор Лексиум.
До новых постов.
Добрый день! При чистке одинаковых срок, было бы удобно в результате видеть какие именно строки были удалены, чтобы внести правки в исходном документе
Интересная мысль. Это будет не удаление, а маркировка дублей. Туда нужно ещё и нумерацию строк добавить для удобства.