https://www.lexium.ru/2018/03/udalenie-dublejj-povtoryayushhikhsya-strok-iz-spiska/

Удаление дублей (повторяющихся строк) из списка

Иногда возникает необходимость удалить одинаковые строки из большого списка.

Например, однажды злобный бот повадился гадить на сайте одного моего знакомого. Что характерно, бот использует разные IP адреса. Но поскольку бот тупенький, то в своем поведении всегда использует один и тот же шаблон. Вот я и отловил за несколько дней почти все его адреса.

Проблема в том, что в списке некоторые повторяются по несколько раз. Можно конечно удалять повторяющиеся строки вручную, но… зачем? Пусть этим занимается компьютер.

Постоянные читатели этого блога знают как я люблю автоматизацию. На самом деле я использую ее не так часто как хотелось бы. Но все-таки стараюсь! Ведь зачем делать повторяющуюся рутину, которая ни уму ни сердцу?

Так появился вот этот ДУБЛЕУДАЛЯТОР.

Дублеудалятор

Вставляете список в поле. Нажимаете кнопочку, и Дублеудалятор сам чистит список от повторяющихся строк. Остается только скопировать результат.

В моей истории, Дублеудалятор убрал почти 2000 дублей, оставив 200 IP-адресов. Неслабая оптимизация, между-прочим. В 10 раз почти.

Надеюсь мое приложение для удаление дублей пригодится и вам.

На этом пока всё. Подписывайтесь на мой RSS, чтобы не пропустить что-нибудь интересное.

А с вами был Доктор Лексиум.
До новых постов.

Наталья
Ответ написан 27 сентября 2021 в 10:54. · Изменить грАватар

Добрый день! При чистке одинаковых срок, было бы удобно в результате видеть какие именно строки были удалены, чтобы внести правки в исходном документе

Doctor Lexium
Ответ написан 27 сентября 2021 в 15:15. · Изменить грАватар

Интересная мысль. Это будет не удаление, а маркировка дублей. Туда нужно ещё и нумерацию строк добавить для удобства.

Наталья
Ответ написан 19 октября 2021 в 10:51. · Изменить грАватар

Согласна. Таким образом можно было бы решить проблему визуализации дублей, после их удаления

Doctor Lexium
Ответ написан 6 ноября 2021 в 14:43. · Изменить грАватар

Готово. Теперь, в дополнение к полю с результирующим списком, выводится таблица строк, где красным помечены удалённые дубли, а жёлтым — удалённые строки.

Наталья
Ответ написан 19 ноября 2021 в 22:11. · Изменить грАватар

Отлично! Спасибо большое :) Теперь стало очень удобно анализировать результаты

Следить за темой по RSS

Напишите комментарий