Hello again.
I came with a different question. If a bucket has "fill_status": "OVER
100.000000%" do I need to use --inconsistent-index parameter?
--inconsistent-index
When specified with bucket deletion and bypass-gc set to
true, ignores bucket index consistency.
mhnx <morphinwithyou@xxxxxxxxx>, 11 Ağu 2021 Çar, 10:16 tarihinde şunu
yazdı:
> Thanks for the answer. I already tried --max-concurrent-ios=2048 and 4096
> but didn't changed much.
>
> Have you tried to run rm command on different gateways with the same time?
> I wonder is it a bad idea?
>
> 6 Ağu 2021 Cum 10:55 tarihinde Płaza Tomasz <Tomasz.Plaza@xxxxxxxxxx>
> şunu yazdı:
>
>> Hi,
>>
>> We use: radosgw-admin bucket rm --purge-objects --bypass-gc
>> --max-concurrent-ios=2048 --bucket=bucket
>> You can try with greater max-concurrent-ios. YMMV.
>>
>> On 05.08.2021 at 17∶25 +0300, user mhnx wrote:
>> > Hello again.
>> >
>> > I couldn't find any answer on the issue. Is there any way to speed up
>> > bucket deletion?
>> >
>> > Thanks.
>> >
>> > mhnx <
>> > morphinwithyou@xxxxxxxxx
>> > >, 29 Tem 2021 Per, 16:46 tarihinde şunu
>> > yazdı:
>> >
>> > > Hello.
>> > >
>> > > I'm trying to delete buckets but the object deletion is extremely
>> slow if
>> > > I compare with put operations.
>> > > I use the command for delete operation: "radosgw-admin bucket rm
>> > > --bucket=<bucket name> --bypass-gc --purge-objects"
>> > >
>> > > My cluster has 190 HDD for EC pool and 30 SSD for index.
>> > > Ceph version = 14.2.16
>> > > Kernel version = 5.4.85-1-lts
>> > >
>> > > I've 3 buckets and these objects took 3 days to PUT them in.
>> > >
>> > > - bucket 1 = 316.852.681
>> > > - bucket 2 = 63.506.363
>> > > - bucket 3 = 26.296.788
>> > >
>> > > Total = 406.655.832 objects
>> > >
>> > > I started a delete operation job 2 weeks ago and deleted object count
>> is =
>> > > 85.540.128
>> > > So I need 8-10 weeks to delete these objects! WHAT? I put them in 3
>> days!
>> > >
>> > > When I check object deletion speed on a bucket I see 200-500 objects
>> per
>> > > minute. I use the following command to check speed:
>> > > "radosgw-admin bucket stats --bucket=<bucket name> | grep
>> num_objects;
>> > > sleep 60; radosgw-admin bucket stats --bucket=<bucket name> | grep
>> > > num_objects"
>> > >
>> > > Object deletion is faster on small buckets. I've seen 2000-4000
>> > > Objects/minute sometimes. Is this because of the listing issue? If
>> so, I
>> > > can list faster than 1000 objects / second. It doesn't make sense.
>> What is
>> > > the difference between small and big buckets for delete operation?
>> > >
>> > > In the end object deletion is very slow.
>> > >
>> > > 1- Is there anything I can do ?
>> > > 2- Can I start parallel the delete command on different rgw-gateways?
>> > > What will happen if I do?
>> > > 3- Is there any improvement with the newer versions of ceph?
>> > >
>> > >
>> > > *One last thing! *I need space and I don't have 8 weeks for this
>> > > operation!
>> > > I don't want to break things between RADOS and RGW but I wonder If I
>> > > delete these objects in RADOS without RGW and then delete bucket
>> index from
>> > > RGW to prevent "Missing Object Errors" and run the bucket delete
>> command,
>> > > what will happen?
>> > >
>> > > Have a great day folks.
>> > >
>> > >
>> > >
>> > >
>> > >
>> >
>> > _______________________________________________
>> > ceph-users mailing list --
>> > ceph-users@xxxxxxx
>> >
>> > To unsubscribe send an email to
>> > ceph-users-leave@xxxxxxx
>> >
>>
>>
>> Spółki Grupy Wirtualna Polska:
>>
>> Wirtualna Polska Holding Spółka Akcyjna z siedzibą w Warszawie, ul.
>> Żwirki i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego
>> - Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st.
>> Warszawy w Warszawie pod nr KRS: 0000407130, kapitał zakładowy: 1 454
>> 218,50 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP):
>> 521-31-11-513
>>
>> Wirtualna Polska Media Spółka Akcyjna z siedzibą w Warszawie, ul. Żwirki
>> i Wigury 16, 02-092 Warszawa, wpisana do Krajowego Rejestru Sądowego -
>> Rejestru Przedsiębiorców prowadzonego przez Sąd Rejonowy dla m.st.
>> Warszawy w Warszawie pod nr KRS: 0000580004, kapitał zakładowy: 320 005
>> 950,00 zł (w całości wpłacony), Numer Identyfikacji Podatkowej (NIP):
>> 527-26-45-593
>>
>> Administratorem udostępnionych danych osobowych jest Wirtualna Polska
>> Media S.A. z siedzibą w Warszawie (dalej „WPM”). WPM przetwarza Twoje dane
>> osobowe, które zostały podane przez Ciebie dobrowolnie w trakcie
>> dotychczasowej współpracy, w związku z zawarciem umowy lub zostały zebrane
>> ze źródeł powszechnie dostępnych, w szczególności: imię i nazwisko, adres
>> email, numer telefonu. Przetwarzamy te dane w celach opisanych w polityce
>> prywatności<https://onas.wp.pl/poufnosc.html>, między innymi w celu
>> realizacji współpracy, realizacji obowiązków przewidzianych prawem, w
>> celach marketingowych WP. Podstawą prawną przetwarzania Twoich danych
>> osobowych w celach marketingowych jest prawnie uzasadniony interes jakim
>> jest m.in. przesyłanie informacji marketingowych o usługach WP, w tym
>> zaproszeń na konferencje branżowe, informacje o publikacjach. Twoje dane
>> możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie oraz
>> podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego
>> prawa. Masz prawo m.in. do żądania dostępu do danych, sprostowania,
>> usunięcia lub ograniczenia ich przetwarzania, jak również prawo do
>> zgłoszenia sprzeciwu w przewidzianych w prawie sytuacjach. Prawa te oraz
>> sposób ich realizacji opisaliśmy w polityce prywatności<
>> https://onas.wp.pl/poufnosc.html>. Tam też znajdziesz informacje jak
>> zakomunikować nam Twoją wolę skorzystania z tych praw.
>>
>
_______________________________________________
ceph-users mailing list -- ceph-users@xxxxxxx
To unsubscribe send an email to ceph-users-leave@xxxxxxx
