Thanks for the answer. I already tried --max-concurrent-ios=2048 and 4096 but didn't changed much. Have you tried to run rm command on different gateways with the same time? I wonder is it a bad idea? 6 Ağu 2021 Cum 10:55 tarihinde Płaza Tomasz <Tomasz.Plaza@xxxxxxxxxx> şunu yazdı: > Hi, > > We use: radosgw-admin bucket rm --purge-objects --bypass-gc > --max-concurrent-ios=2048 --bucket=bucket > You can try with greater max-concurrent-ios. YMMV. > > On 05.08.2021 at 17∶25 +0300, user mhnx wrote: > > Hello again. > > > > I couldn't find any answer on the issue. Is there any way to speed up > > bucket deletion? > > > > Thanks. > > > > mhnx < > > morphinwithyou@xxxxxxxxx > > >, 29 Tem 2021 Per, 16:46 tarihinde şunu > > yazdı: > > > > > Hello. > > > > > > I'm trying to delete buckets but the object deletion is extremely slow > if > > > I compare with put operations. > > > I use the command for delete operation: "radosgw-admin bucket rm > > > --bucket=<bucket name> --bypass-gc --purge-objects" > > > > > > My cluster has 190 HDD for EC pool and 30 SSD for index. > > > Ceph version = 14.2.16 > > > Kernel version = 5.4.85-1-lts > > > > > > I've 3 buckets and these objects took 3 days to PUT them in. > > > > > > - bucket 1 = 316.852.681 > > > - bucket 2 = 63.506.363 > > > - bucket 3 = 26.296.788 > > > > > > Total = 406.655.832 objects > > > > > > I started a delete operation job 2 weeks ago and deleted object count > is = > > > 85.540.128 > > > So I need 8-10 weeks to delete these objects! WHAT? I put them in 3 > days! > > > > > > When I check object deletion speed on a bucket I see 200-500 objects > per > > > minute. I use the following command to check speed: > > > "radosgw-admin bucket stats --bucket=<bucket name> | grep num_objects; > > > sleep 60; radosgw-admin bucket stats --bucket=<bucket name> | grep > > > num_objects" > > > > > > Object deletion is faster on small buckets. I've seen 2000-4000 > > > Objects/minute sometimes. Is this because of the listing issue? If so, > I > > > can list faster than 1000 objects / second. It doesn't make sense. > What is > > > the difference between small and big buckets for delete operation? > > > > > > In the end object deletion is very slow. > > > > > > 1- Is there anything I can do ? > > > 2- Can I start parallel the delete command on different rgw-gateways? > > > What will happen if I do? > > > 3- Is there any improvement with the newer versions of ceph? > > > > > > > > > *One last thing! *I need space and I don't have 8 weeks for this > > > operation! > > > I don't want to break things between RADOS and RGW but I wonder If I > > > delete these objects in RADOS without RGW and then delete bucket index > from > > > RGW to prevent "Missing Object Errors" and run the bucket delete > command, > > > what will happen? > > > > > > Have a great day folks. > > > > > > > > > > > > > > > > > > > _______________________________________________ > > ceph-users mailing list -- > > ceph-users@xxxxxxx > > > > To unsubscribe send an email to > > ceph-users-leave@xxxxxxx > > > > > Spółki Grupy Wirtualna Polska: > > Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki > i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - > Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st. > Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 454 > 218,50 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): > 521-31-11-513 > > Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki i > Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego - > Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st. > Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 005 > 950,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP): > 527-26-45-593 > > Administratorem udostępnionych danych osobowych jest Wirtualna Polska > Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane > osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie > dotychczasowej współpracy, w związku z zawarciem umowy lub zostały zebrane > ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres > email, numer telefonu. Przetwarzamy te dane w celach opisanych w polityce > prywatności<https://onas.wp.pl/poufnosc.html>, między innymi w celu > realizacji współpracy, realizacji obowiązków przewidzianych prawem, w > celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych > osobowych w celach marketingowych jest prawnie uzasadniony interes jakim > jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym > zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane > możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz > podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego > prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania, > usunięcia lub ograniczenia ich przetwarzania, jak również prawo do > zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz > sposób ich realizacji opisaliśmy w polityce prywatności< > https://onas.wp.pl/poufnosc.html>. Tam też znajdziesz informacje jak > zakomunikować nam Twoją wolę skorzystania z tych praw. > _______________________________________________ ceph-users mailing list -- ceph-users@xxxxxxx To unsubscribe send an email to ceph-users-leave@xxxxxxx
 |