Skip to content

Pasikartojančių eilučių šalinimas

Įklijuok tekstą, kad akimirksniu pašalintum pasikartojančias eilutes. Valdyk raidžių dydį, tarpus, tuščias eilutes ir tvarką — matyk, kas buvo pašalinta, ir atsisiųsk išvalytą sąrašą.

Pasikartojančių eilučių šalintuvas

Atnaujinama, kol rašote
Režimas
Ką nori daryti? ?
Parinktys
Rūšiuoti
Transformuoti
Filtras: palikti tik eilutes, kuriose yra ?
Veiksmai
⌘/Ctrl+K išvalyti · ⌘/Ctrl+Enter kopijuoti išvestį
Įvestis 0 eilučių · 0 simb. Vienas įrašas per eilutę · įmesk .txt failą
Išvestis

        
      

Pavyzdžiai

Kaip tai veikia

Kiekviena tavo įvesties eilutė lyginama su kiekviena aukščiau esančia eilute. Įrankis palieka pirmą eilutės pasirodymą ir praleidžia likusius. Eilutė laikoma pasikartojimu, kai jos normalizuota forma sutampa su jau matyta eilute — normalizavimą valdo tavo nustatytos parinktys.

„Ignoruoti raidžių dydį“ sumažina eilutes iki mažųjų raidžių prieš lyginant, taigi `Apple` ir `apple` sutraukiami į vieną. „Apkirpti tarpus“ pašalina pradžios ir pabaigos tarpus prieš lyginant, taigi ` apple ` ir `apple` sutraukiami į vieną. „Šalinti tuščias eilutes“ visiškai išmeta tuščias eilutes, o ne traktuoja jas kaip dedublikuojamą reikšmę. Filtras gali dar labiau susiaurinti rezultatą iki eilučių, turinčių tam tikrą fragmentą.

„Išlaikyti tvarką“ išlaiko eilučių pirmojo pasirodymo tvarką. Išjunk ją, kad rezultatas būtų surūšiuotas abėcėliškai (A→Z) arba atvirkščiai (Z→A). Režime „Palikti tik pasikartojimus“ įrankis apverčia rezultatą ir rodo tik eilutes, pasirodžiusias daugiau nei kartą. Režime „Skaičiuoti pasikartojimus“ kiekviena unikali eilutė pažymima tuo, kiek kartų ji pasirodė, taigi gauni dažnio sąrašą, o ne dedublikavimo sąrašą.

Patarimai ir geroji praktika

Valant el. pašto sąrašus: įjunk „Ignoruoti raidžių dydį“ ir „Apkirpti tarpus“ — dauguma pasikartojančių el. paštų skiriasi tik raidžių dydžiu arba atsitiktiniais tarpais iš CSV eksportų.
Dedublikuojant kodo identifikatorius: palik „Ignoruoti raidžių dydį“ IŠJUNGTĄ. `MyVar` ir `myvar` yra skirtingi simboliai, o jų sutraukimas gali sugadinti pertvarkymą.
Labai dideliems sąrašams (50k+ eilučių) klijuok dalimis. Naršyklės gali užstrigti su kelių megabaitų teksto laukais — padalink, dedublikuok, tada sujunk.
Naudok režimą „Palikti tik pasikartojimus“ CSV stulpeliui patikrinti prieš importuojant — daug greičiau nei vizualiai nuskaityti.
Jei rezultatas atrodo neteisingas, patikrink „Šalinti tuščias eilutes“. Nematomos tuščios eilutės dažnai skaičiuojamos kaip atskira „unikali“ reikšmė ir padidina išvestį.

Dažniausiai užduodami klausimai

Ar įrankis keičia eilučių tvarką?

Pagal numatymą „Išlaikyti tvarką“ yra įjungta — rezultato eilutės atsiranda ta tvarka, kuria pirmą kartą pasirodė tavo įvestyje. Išjunk, kad gautum A→Z arba Z→A surūšiuotą rezultatą.

Ne. Pasikartojimų aptikimas visiškai vyksta tavo naršyklėje. Niekas nėra įkeliama, registruojama ar saugoma mūsų pusėje.

Eilutės lyginamos po mažųjų raidžių konvertavimo, taigi `Apple`, `apple` ir `APPLE` laikomi ta pačia reikšme. Rezultate išlaikomas pirmasis pasirodęs raidžių dydis.

Prieš lyginant pašalina pradžios ir pabaigos tarpus bei tabuliacijas. ` hello ` ir `hello` sutraukiami į vieną. Vidiniai tarpai eilutės viduje išlaikomi.

Jis apverčia įrankį — vietoj pasikartojimų šalinimo rodo tik tas eilutes, kurios pasirodė bent du kartus. Naudinga sąrašo pasikartojimams auditi.

Jis išveda kiekvieną unikalią eilutę su skaičiavimu, kiek kartų ji pasirodė įvestyje — kaip dažnio lentelė. Patogu greitai apibendrinti žurnalo failus ar apklausų atsakymus.

Taip — įjunk „Šalinti tuščias eilutes“. Priešingu atveju pirma tuščia eilutė paliekama, o vėlesnės laikomos jos pasikartojimais.

Griežto limito nėra, bet naršyklės gali užstrigti su itin dideliais teksto laukais. Sąrašams virš ~100k eilučių ar kelių megabaitų apsvarstyk kompiuterinio įrankio naudojimą arba įvesties padalijimą.

Taip — įmesk `.txt`, `.csv` ar `.log` failą į įvesties sritį ir jo turinys bus įkeltas. Failas skaitomas vietoje; nieko neįkeliama į serverį.

Įklijuok tik tą stulpelį, kuris tau rūpi (po vieną reikšmę per eilutę). Jei reikšmėse yra papildomų tarpų, įjunk „Apkirpti tarpus“. Derinti be raidžių dydžio (el. paštams, domenams) — įjunk „Ignoruoti raidžių dydį“.