Hi, We use: radosgw-admin bucket rm --purge-objects --bypass-gc --max-concurrent-ios=2048 --bucket=bucket You can try with greater max-concurrent-ios. YMMV. On 05.08.2021 at 17∶25 +0300, user mhnx wrote: > Hello again. > > I couldn't find any answer on the issue. Is there any way to speed up > bucket deletion? > > Thanks. > > mhnx < > morphinwithyou@xxxxxxxxx > >, 29 Tem 2021 Per, 16:46 tarihinde şunu > yazdı: > > > Hello. > > > > I'm trying to delete buckets but the object deletion is extremely slow if > > I compare with put operations. > > I use the command for delete operation: "radosgw-admin bucket rm > > --bucket=<bucket name> --bypass-gc --purge-objects" > > > > My cluster has 190 HDD for EC pool and 30 SSD for index. > > Ceph version = 14.2.16 > > Kernel version = 5.4.85-1-lts > > > > I've 3 buckets and these objects took 3 days to PUT them in. > > > > - bucket 1 = 316.852.681 > > - bucket 2 = 63.506.363 > > - bucket 3 = 26.296.788 > > > > Total = 406.655.832 objects > > > > I started a delete operation job 2 weeks ago and deleted object count is = > > 85.540.128 > > So I need 8-10 weeks to delete these objects! WHAT? I put them in 3 days! > > > > When I check object deletion speed on a bucket I see 200-500 objects per > > minute. I use the following command to check speed: > > "radosgw-admin bucket stats --bucket=<bucket name> | grep num_objects; > > sleep 60; radosgw-admin bucket stats --bucket=<bucket name> | grep > > num_objects" > > > > Object deletion is faster on small buckets. I've seen 2000-4000 > > Objects/minute sometimes. Is this because of the listing issue? If so, I > > can list faster than 1000 objects / second. It doesn't make sense. What is > > the difference between small and big buckets for delete operation? > > > > In the end object deletion is very slow. > > > > 1- Is there anything I can do ? > > 2- Can I start parallel the delete command on different rgw-gateways? > > What will happen if I do? > > 3- Is there any improvement with the newer versions of ceph? > > > > > > *One last thing! *I need space and I don't have 8 weeks for this > > operation! > > I don't want to break things between RADOS and RGW but I wonder If I > > delete these objects in RADOS without RGW and then delete bucket index from > > RGW to prevent "Missing Object Errors" and run the bucket delete command, > > what will happen? > > > > Have a great day folks. > > > > > > > > > > > > _______________________________________________ > ceph-users mailing list -- > ceph-users@xxxxxxx > > To unsubscribe send an email to > ceph-users-leave@xxxxxxx > Spółki Grupy Wirtualna Polska: Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st. Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 454 218,50 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 521-31-11-513 Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st. Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 005 950,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): 527-26-45-593 Administratorem udostępnionych danych osobowych jest Wirtualna Polska Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie dotychczasowej współpracy, w związku z zawarciem umowy lub zostały zebrane ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres email, numer telefonu. Przetwarzamy te dane w celach opisanych w polityce prywatności<https://onas.wp.pl/poufnosc.html>, między innymi w celu realizacji współpracy, realizacji obowiązków przewidzianych prawem, w celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych osobowych w celach marketingowych jest prawnie uzasadniony interes jakim jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania, usunięcia lub ograniczenia ich przetwarzania, jak również prawo do zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz sposób ich realizacji opisaliśmy w polityce prywatności<https://onas.wp.pl/poufnosc.html>. Tam też znajdziesz informacje jak zakomunikować nam Twoją wolę skorzystania z tych praw. _______________________________________________ ceph-users mailing list -- ceph-users@xxxxxxx To unsubscribe send an email to ceph-users-leave@xxxxxxx
 |