Re: Can't remove /var/lib/ceph/osd/ceph-53 dir

[William Josefsson <william.josefson@xxxxxxxxx>]

Yes, I can # umount /dev/sdf4 without error, however still # rm -rf /var/lib/ceph/osd/ceph-53 fails with, Device or resource busy.

After trying many commands what I finally did was to:

[root@cnode-1 ~]# systemctl stop systemd-udevd.service

Warning: Stopping systemd-udevd.service, but it can still be activated by:

  systemd-udevd-kernel.socket

  systemd-udevd-control.socket

[root@cnode-1 ~]# rm -rf /var/lib/ceph/osd/ceph-53/

[root@cnode-1 ~]# echo $?

0

Is it dangerous for the system or data to Temporarily stop udev, Delete the folder, and then Start udev? Thanks! Will

On Tue, Jul 12, 2016 at 7:20 PM, Pisal, Ranjit Dnyaneshwar <ranjit.dny.pisal@xxxxxxx> wrote:

Try umount /dev/<sdx>  - This should unmount the directory.

Post this host restart may be needed to reflect the changes.

 

Best Regards,

Ranjit

 

From: ceph-users [mailto:ceph-users-bounces@xxxxxxxxxxxxxx] On Behalf Of William Josefsson
Sent: Tuesday, July 12, 2016 4:15 PM
To: ceph-users@xxxxxxxxxxxxxx
Subject: [ceph-users] Can't remove /var/lib/ceph/osd/ceph-53 dir

 

Hi Cephers,

I got problem removing /var/lib/ceph/osd/ceph-53 dir which was used by OSD.53 that I have removed.

The way that I remove the OSD:

1. ceph osd out 53

2. sudo service ceph stop osd.53

3. ceph osd crush remove osd.53

4. ceph auth del osd.53

5. ceph osd rm 53

6. sudo umount /var/lib/ceph/osd/ceph-53

and then I try to 'sudo rm -rf /var/lib/ceph/osd/ceph-53' but got a following response:
sudo rm -rf /var/lib/ceph/osd/ceph-53
rm: cannot remove '/var/lib/ceph/osd/ceph-53': Device or resource busy

I use 'fuser -m' to check and saw following results:
sudo fuser -m /var/lib/ceph/osd/ceph-53
/var/lib/ceph/osd/ceph-53:     1rce     2rc     3rc     5rc     8rc     9rc    10rc    11rc    12rc    13rc    14rc    15rc    16rc    17rc    18rc    19rc    20rc    21rc    22rc    23rc    24rc    25rc    26rc    27rc    28rc    29rc    30rc    31rc    32rc    33rc    34rc    35rc    36rc    37rc    38rc    39rc    40rc    41rc    42rc    43rc    44rc    45rc    46rc    47rc    48rc    49rc    50rc    51rc    52rc    53rc    54rc    55rc    56rc    57rc    58rc    59rc    60rc    61rc    62rc    63rc    64rc    65rc    66rc    67rc    68rc    69rc    70rc    71rc    72rc    73rc    74rc    75rc    76rc    77rc    78rc    79rc    80rc    81rc    82rc    83rc    84rc    85rc    86rc    87rc    88rc    89rc    90rc    91rc    92rc    93rc    94rc    95rc    96rc    97rc    98rc    99rc   100rc   101rc   102rc   103rc   104rc   105rc   106rc   107rc   108rc   109rc   110rc   111rc   112rc   113rc   114rc   115rc   116rc   117rc   118rc   119rc   120rc   121rc   122rc   123rc   124rc   125rc   126rc   127rc   128rc   129rc   130rc   131rc   132rc   133rc   134rc   135rc   136rc   137rc   138rc   139rc   140rc   141rc   142rc   143rc   144rc   145rc   146rc   147rc   148rc   149rc   150rc   151rc   152rc   153rc   154rc   155rc   156rc   157rc   158rc   159rc   160rc   161rc   162rc   163rc   164rc   165rc   166rc   167rc   168rc   169rc   170rc   171rc   172rc   173rc   174rc   175rc   176rc   177rc   178rc   179rc   180rc   181rc   182rc   183rc   184rc   185rc   186rc   187rc   188rc   189rc   190rc   191rc   192rc   193rc   194rc   195rc   196rc   197rc   198rc   199rc   200rc   201rc   202rc   203rc   204rc   205rc   206rc   207rc   208rc   209rc   210rc   211rc   212rc   213rc   214rc   215rc   216rc   217rc   218rc   219rc   220rc   221rc   222rc   223rc   224rc   225rc   226rc   227rc   228rc   229rc   230rc   231rc   232rc   233rc   234rc   235rc   236rc   237rc   238rc   239rc   240rc   241rc   242rc   243rc   244rc   245rc   246rc   247rc   248rc   249rc   250rc   251rc   252rc   253rc   254rc   255rc   256rc   257rc   258rc   259rc   260rc   261rc   262rc   263rc   264rc   265rc   266rc   267rc   268rc   269rc   270rc   271rc   272rc   273rc   274rc   275rc   276rc   277rc   278rc   279rc   280rc   281rc   282rc   283rc   284rc   285rc   286rc   287rc   288rc   289rc   290rc   291rc   292rc   293rc   294rc   295rc   296rc   297rc   298rc   299rc   300rc   301rc   302rc   303rc   304rc   305rc   306rc   307rc   308rc   309rc   310rc   311rc   312rc   313rc   314rc   315rc   316rc   317rc   318rc   319rc   320rc   321rc   322rc   323rc   324rc   325rc   326rc   327rc   328rc   329rc   330rc   331rc   332rc   333rc   334rc   335rc   336rc   337rc   338rc   339rc   340rc   341rc   342rc   343rc   344rc   345rc   346rc   347rc   348rc   349rc   350rc   351rc   352rc   353rc   354rc   355rc   356rc   357rc   358rc   359rc   360rc   361rc   362rc   363rc   364rc   365rc   366rc   367rc   368rc   369rc   370rc   371rc   372rc   373rc   374rc   375rc   376rc   377rc   378rc   379rc   380rc   381rc   382rc   383rc   384rc   385rc   386rc   387rc   388rc   389rc   390rc   391rc   392rc   393rc   394rc   395rc   396rc   397rc   398rc   402rc   403rc   404rc   406rc   407rc   408rc   409rc   412rc   413rc   414rc   415rc   417rc   418rc   419rc   422rc   423rc   424rc   426rc   427rc   428rc   429rc   431rc   432rc   433rc   434rc   437rc   438rc   439rc   441rc   442rc   443rc   444rc   446rc   447rc   448rc   449rc   451rc   452rc   453rc   454rc   456rc   457rc   458rc   459rc   460rc   461rc   462rc   463rc   464rc   466rc   467rc   468rc   469rc   472rc   473rc   474rc   476rc   477rc   478rc   479rc   481rc   482rc   483rc   484rc   486rc   487rc   488rc   489rc   491rc   492rc   493rc   494rc   496rc   497rc   498rc   499rc   500rc   501rc   502rc   503rc   504rc   506rc   507rc   508rc   509rc   511rc   512rc   513rc   514rc   516rc   517rc   518rc   519rc   521rc   522rc   523rc   524rc   526rc   527rc   528rc   529rc   530rc   531rc   532rc   533rc   534rc   536rc   537rc   538rc   539rc   541rc   542rc   543rc   544rc   546rc   547rc   548rc   549rc   551rc   552rc   553rc   554rc   555rc   556rc   557rc   558rc   559rc   561rc   562rc   566rc   567rc   568rc   569rc   570rc   571rc   572rc   580rc   582rc   583rc   584rc   585rc   586rc   588rc   608rc   609rc   610rc   643rc   664rc   726rc   791rc   792rc   793rc   794rc   796rc   799rc   800rc   801rc   803rc   804rc   805rc   806rc   807rc   808rc   831rc   949rc   950rc   952rc   955rc   956rc   957rc   961rc   994rc   995rc   996rc   997rc   998rc   999rc  1000rc  1071rce  1088rc  1093rce  1106rce  1109rc  1188rc  1219rc  1244rc  1250rc  1255rc  1257rc  1258rc  1260rc  1261rc  1262rc  1263rc  1327rc  1335rc  1343rc  1344rc  1345rc  1346rc  1347rc  1348rc  1349rc  1350rc  1351rc  1352rc  1354rc  1355rc  1364rc  1371rc  1373rc  1547rc  1554rce  1555rc  1557rc  1558rc  1559rc  1560rc  1765rce  1767rce  1778rce  1779rce  1782rce  1788rce  1789rce  1817rce  1942rc  2104rc  2263rc  2466rce  2467rc  2469rce  2470rc  2471rc  2476rce  2481rce  2490rce  2494rce  2605rce  2694rce  3153rc  3154rc  3155rc  3156rc  3162rc  3295rce  3335rce  4041rc  4042rc  4043rc  4044rc  4045rc  4202rce  4207rce  4269rc  4270rc  4271rc  4272rc  4273rc  4493rc  4494rc  4495rc  4496rc  4497rc  4672rce  4750rc  4751rc  4752rc  4753rc  4754rc  4986rc  4987rc  4988rc  4989rc  4990rc  5207rc  5208rc  5209rc  5210rc  5211rc  5431rc  5432rc  5433rc  5434rc  5435rc  5658rc  5659rc  5660rc  5661rc  5662rc  5888rc  5889rc  5890rc  5891rc  5892rc  6110rc  6122rc  6123rc  6124rc  6125rc  6126rc  6359rc  6360rc  6361rc  6362rc  6363rc  6598rc  6599rc  6600rc  6601rc  6602rc  6840rc  6841rc  6842rc  6843rc  6844rc  7085rc  7086rc  7087rc  7088rc  7089rc  7333rc  7334rc  7335rc  7336rc  7337rc  7585rc  7586rc  7587rc  7588rc  7589rc  8025rce  8029rce  8088rc  8156rc  8159rc  8251rce  8255rce  8467rce  8471rce  8695rce  8699rce  8854rc  9174rce  9178rce  9208rc  9408rce  9412rce  9648rce  9652rce  9936rce  9940rce 10358rce 10362rce 11142rce 11155rce 11192rc 11231rc 11650rce 11654rce 11701rc 11719rc 12572rc 12666rce 12670rce 12966rc 13338rce 13342rce 13822rce 13826rce 14180rce 14183rce 14625rc 15207rce 15219rce 16085rce 16091rce 17154rc 18733rc 20343rc 21526rc 21541rc 21578rc 21605rc 21648rc 21804rc 23939rc 23946rc 23952rc 23962rc 23964rc 25864rc 27245rc 27583rce 28116rce 28118rce 28119rce 28143rce 28145rce 28146rce 28234rc 28243rc 28246rc 28355rc 28764rc 28824rc 28936rc 28960rc 29043rc 29056rc 29059rc 29061rc 29105rc 29111rc 29780rc 29797rc 32003rc 32112rc 32113rc 32256rc 33324rc 33358rc 33361rc 33366rc 33371rc 33372rc 33373rc 33374rc 33388rc 33427rc 33458rc 33464rc 33470rc 33655rc 33768rc 33962rc 33985rc 33986rc 34033rc 34188rc 34223rc 34255rce 34256rce

Does anyone know if I am missing something?

Thank you

_______________________________________________
ceph-users mailing list
ceph-users@xxxxxxxxxxxxxx
http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com