Re: radosgw-agent AccessDenied 403

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

 




After generating the user and operating the configure  again , there's no 403 error . But we find no object in the destination zone.
 
Wed, 20 Nov 2013 08:36:25 GMT
/admin/opstate
2013-11-20 16:36:25.484806 7fb2067dc700 15 calculated digest=gq6fTqKHHqhN9ktKYEgHPh3HJ84=
2013-11-20 16:36:25.484814 7fb2067dc700 15 auth_sign=gq6fTqKHHqhN9ktKYEgHPh3HJ84=
2013-11-20 16:36:25.484818 7fb2067dc700 15 compare=0
2013-11-20 16:36:25.484824 7fb2067dc700 20 system request
2013-11-20 16:36:25.484833 7fb2067dc700  2 req 930:0.000829::GET /admin/opstate:opstate_list:reading permissions
2013-11-20 16:36:25.484843 7fb2067dc700  2 req 930:0.000840::GET /admin/opstate:opstate_list:init op
2013-11-20 16:36:25.484852 7fb2067dc700  2 req 930:0.000849::GET /admin/opstate:opstate_list:verifying op mask
2013-11-20 16:36:25.484860 7fb2067dc700 20 required_mask= 0 user.op_mask=7
2013-11-20 16:36:25.484865 7fb2067dc700  2 req 930:0.000861::GET /admin/opstate:opstate_list:verifying op permissions
2013-11-20 16:36:25.484873 7fb2067dc700  2 overriding permissions due to system operation
2013-11-20 16:36:25.484878 7fb2067dc700  2 req 930:0.000874::GET /admin/opstate:opstate_list:verifying op params
2013-11-20 16:36:25.484885 7fb2067dc700  2 req 930:0.000882::GET /admin/opstate:opstate_list:executing
2013-11-20 16:36:25.491323 7fb2067dc700  2 req 930:0.007317::GET /admin/opstate:opstate_list:http status=200
2013-11-20 16:36:25.491559 7fb2067dc700  1 ====== req done req=0x2669060 http_status=200 ======
2013-11-20 16:36:25.509398 7fb251aa8780 20 enqueued request req=0x2665d70
2013-11-20 16:36:25.509439 7fb251aa8780 20 RGWWQ:
2013-11-20 16:36:25.509446 7fb251aa8780 20 req: 0x2665d70
2013-11-20 16:36:25.509460 7fb251aa8780 10 allocated request req=0x2623a50
2013-11-20 16:36:25.509498 7fb205fdb700 20 dequeued request req=0x2665d70
2013-11-20 16:36:25.509568 7fb205fdb700 20 RGWWQ: empty
2013-11-20 16:36:25.509612 7fb205fdb700  1 ====== starting new request req=0x2665d70 =====
2013-11-20 16:36:25.510112 7fb205fdb700  2 req 931:0.000502::PUT /new-bucket/testdata::initializing
2013-11-20 16:36:25.510160 7fb205fdb700 10 host=ceph-rgw41.com rgw_dns_name=ceph-rgw42
2013-11-20 16:36:25.510277 7fb205fdb700 10 meta>> HTTP_X_AMZ_COPY_SOURCE
2013-11-20 16:36:25.510357 7fb205fdb700 10 x>> x-amz-copy-source:new-bucket%2Ftestdata
2013-11-20 16:36:25.510559 7fb205fdb700 10 s->object=testdata s->bucket=new-bucket
2013-11-20 16:36:25.510627 7fb205fdb700 20 FCGI_ROLE=RESPONDER
2013-11-20 16:36:25.510648 7fb205fdb700 20 SCRIPT_URL=/new-bucket/testdata
2013-11-20 16:36:25.510662 7fb205fdb700 20 SCRIPT_URI=http://ceph-rgw41.com/new-bucket/testdata
2013-11-20 16:36:25.510679 7fb205fdb700 20 HTTP_AUTHORIZATION=AWS CQHH7O4XULLINBNQQSPB:DtIy2pSUy2fDHqYR49RZiib7zE0=
2013-11-20 16:36:25.510695 7fb205fdb700 20 HTTP_HOST=ceph-rgw41.com
2013-11-20 16:36:25.510710 7fb205fdb700 20 CONTENT_LENGTH=0
2013-11-20 16:36:25.510726 7fb205fdb700 20 HTTP_ACCEPT_ENCODING=gzip, deflate, compress
2013-11-20 16:36:25.510740 7fb205fdb700 20 HTTP_ACCEPT=*/*
2013-11-20 16:36:25.510756 7fb205fdb700 20 HTTP_USER_AGENT=Boto/2.16.0 Python/2.7.3 Linux/3.5.0-23-generic
2013-11-20 16:36:25.510773 7fb205fdb700 20 HTTP_X_AMZ_COPY_SOURCE=new-bucket%2Ftestdata
2013-11-20 16:36:25.510787 7fb205fdb700 20 HTTP_DATE=Wed, 20 Nov 2013 08:36:25 GMT
2013-11-20 16:36:25.510801 7fb205fdb700 20 CONTENT_TYPE=application/json; charset=UTF-8
2013-11-20 16:36:25.510815 7fb205fdb700 20 PATH=/usr/local/bin:/usr/bin:/bin
2013-11-20 16:36:25.510829 7fb205fdb700 20 SERVER_SIGNATURE=
2013-11-20 16:36:25.510844 7fb205fdb700 20 SERVER_SOFTWARE=Apache/2.2.22 (Ubuntu)
2013-11-20 16:36:25.510861 7fb205fdb700 20 SERVER_NAME=ceph-rgw41.com
2013-11-20 16:36:25.510875 7fb205fdb700 20 SERVER_ADDR=192.168.50.91
2013-11-20 16:36:25.510890 7fb205fdb700 20 SERVER_PORT=80
2013-11-20 16:36:25.510905 7fb205fdb700 20 REMOTE_ADDR=192.168.50.91
2013-11-20 16:36:25.510919 7fb205fdb700 20 DOCUMENT_ROOT=/var/www/
2013-11-20 16:36:25.510937 7fb205fdb700 20 SERVER_ADMIN=[no address given]
2013-11-20 16:36:25.510952 7fb205fdb700 20 SCRIPT_FILENAME=/var/www/s3gw.fcgi
2013-11-20 16:36:25.510966 7fb205fdb700 20 REMOTE_PORT=57682
2013-11-20 16:36:25.510980 7fb205fdb700 20 GATEWAY_INTERFACE=CGI/1.1
2013-11-20 16:36:25.510993 7fb205fdb700 20 SERVER_PROTOCOL=HTTP/1.1
2013-11-20 16:36:25.511007 7fb205fdb700 20 REQUEST_METHOD=PUT
2013-11-20 16:36:25.511022 7fb205fdb700 20 QUERY_STRING=page=new-bucket&params=/testdata&rgwx-op-id=ceph-rgw41%3A8977%3A3&rgwx-source-zone=us-east&rgwx-client-id=radosgw-agent
2013-11-20 16:36:25.511047 7fb205fdb700 20 REQUEST_URI=/new-bucket/testdata?rgwx-op-id=ceph-rgw41%3A8977%3A3&rgwx-source-zone=us-east&rgwx-client-id=radosgw-agent
2013-11-20 16:36:25.511070 7fb205fdb700 20 SCRIPT_NAME=/new-bucket/testdata
2013-11-20 16:36:25.511090 7fb205fdb700  2 req 931:0.001480:s3:PUT /new-bucket/testdata::getting op
2013-11-20 16:36:25.511137 7fb205fdb700  2 req 931:0.001528:s3:PUT /new-bucket/testdata:copy_obj:authorizing
2013-11-20 16:36:25.511260 7fb205fdb700 20 get_obj_state: rctx=0x7fb230005f00 obj=.us-west.users:CQHH7O4XULLINBNQQSPB state=0x7fb23000e6d8 s->prefetch_data=0
2013-11-20 16:36:25.511333 7fb205fdb700 10 moving .us-west.users+CQHH7O4XULLINBNQQSPB to cache LRU end
2013-11-20 16:36:25.511362 7fb205fdb700 10 cache get: name=.us-west.users+CQHH7O4XULLINBNQQSPB : hit
2013-11-20 16:36:25.511422 7fb205fdb700 20 get_obj_state: s->obj_tag was set empty
2013-11-20 16:36:25.511483 7fb205fdb700 10 moving .us-west.users+CQHH7O4XULLINBNQQSPB to cache LRU end
2013-11-20 16:36:25.511510 7fb205fdb700 10 cache get: name=.us-west.users+CQHH7O4XULLINBNQQSPB : hit
2013-11-20 16:36:25.511631 7fb205fdb700 20 get_obj_state: rctx=0x7fb230006020 obj=.us-west.users.uid:us-west state=0x7fb2300086a8 s->prefetch_data=0
2013-11-20 16:36:25.511694 7fb205fdb700 10 moving .us-west.users.uid+us-west to cache LRU end
2013-11-20 16:36:25.511719 7fb205fdb700 10 cache get: name=.us-west.users.uid+us-west : hit
2013-11-20 16:36:25.511769 7fb205fdb700 20 get_obj_state: s->obj_tag was set empty
2013-11-20 16:36:25.511826 7fb205fdb700 10 moving .us-west.users.uid+us-west to cache LRU end
2013-11-20 16:36:25.511850 7fb205fdb700 10 cache get: name=.us-west.users.uid+us-west : hit
2013-11-20 16:36:25.512195 7fb205fdb700 10 get_canon_resource(): dest=/new-bucket/
2013-11-20 16:36:25.512222 7fb205fdb700 10 auth_hdr:
PUT
 
application/json; charset=UTF-8
Wed, 20 Nov 2013 08:36:25 GMT
x-amz-copy-source:new-bucket%2Ftestdata
/new-bucket/testdata
2013-11-20 16:36:25.512692 7fb205fdb700 15 calculated digest=DtIy2pSUy2fDHqYR49RZiib7zE0=
2013-11-20 16:36:25.512718 7fb205fdb700 15 auth_sign=DtIy2pSUy2fDHqYR49RZiib7zE0=
2013-11-20 16:36:25.512735 7fb205fdb700 15 compare=0
2013-11-20 16:36:25.512758 7fb205fdb700 20 system request
2013-11-20 16:36:25.512810 7fb205fdb700  2 req 931:0.003200:s3:PUT /new-bucket/testdata:copy_obj:reading permissions
2013-11-20 16:36:25.512935 7fb205fdb700 20 get_obj_state: rctx=0x7fb230008d30 obj=.us-west.rgw.root:new-bucket%2Ftestdata state=0x7fb23000c2b8 s->prefetch_data=0
2013-11-20 16:36:25.513006 7fb205fdb700 10 moving .us-west.rgw.root+new-bucket%2Ftestdata to cache LRU end
2013-11-20 16:36:25.513034 7fb205fdb700 10 cache get: name=.us-west.rgw.root+new-bucket%2Ftestdata : type miss (requested=22, cached=0)
2013-11-20 16:36:25.518525 7fb205fdb700 10 cache put: name=.us-west.rgw.root+new-bucket%2Ftestdata
2013-11-20 16:36:25.518566 7fb205fdb700 10 moving .us-west.rgw.root+new-bucket%2Ftestdata to cache LRU end
2013-11-20 16:36:25.518630 7fb205fdb700 20 get_obj_state: rctx=0x7fb230008d30 obj=.us-west.rgw.root:new-bucket state=0x7fb230009998 s->prefetch_data=0
2013-11-20 16:36:25.518665 7fb205fdb700 10 moving .us-west.rgw.root+new-bucket to cache LRU end
2013-11-20 16:36:25.518676 7fb205fdb700 10 cache get: name=.us-west.rgw.root+new-bucket : hit
2013-11-20 16:36:25.518700 7fb205fdb700 20 get_obj_state: s->obj_tag was set empty
2013-11-20 16:36:25.518711 7fb205fdb700 20 Read xattr: user.rgw.idtag
2013-11-20 16:36:25.518719 7fb205fdb700 20 Read xattr: user.rgw.manifest
2013-11-20 16:36:25.518736 7fb205fdb700 10 moving .us-west.rgw.root+new-bucket to cache LRU end
2013-11-20 16:36:25.518745 7fb205fdb700 10 cache get: name=.us-west.rgw.root+new-bucket : hit
2013-11-20 16:36:25.518784 7fb205fdb700 20 rgw_get_bucket_info: bucket instance: new-bucket(@.rgw.buckets[us-east.6555.1])
2013-11-20 16:36:25.518805 7fb205fdb700 20 reading from .us-west.rgw.root:.bucket.meta.new-bucket:us-east.6555.1
2013-11-20 16:36:25.518834 7fb205fdb700 20 get_obj_state: rctx=0x7fb230008d30 obj=.us-west.rgw.root:.bucket.meta.new-bucket:us-east.6555.1 state=0x7fb23000a078 s->prefetch_data=0
2013-11-20 16:36:25.518862 7fb205fdb700 10 moving .us-west.rgw.root+.bucket.meta.new-bucket:us-east.6555.1 to cache LRU end
2013-11-20 16:36:25.518873 7fb205fdb700 10 cache get: name=.us-west.rgw.root+.bucket.meta.new-bucket:us-east.6555.1 : hit
2013-11-20 16:36:25.518897 7fb205fdb700 20 get_obj_state: s->obj_tag was set empty
2013-11-20 16:36:25.518909 7fb205fdb700 20 Read xattr: user.rgw.acl
2013-11-20 16:36:25.518917 7fb205fdb700 20 Read xattr: user.rgw.idtag
2013-11-20 16:36:25.518924 7fb205fdb700 20 Read xattr: user.rgw.manifest
2013-11-20 16:36:25.518941 7fb205fdb700 10 moving .us-west.rgw.root+.bucket.meta.new-bucket:us-east.6555.1 to cache LRU end
2013-11-20 16:36:25.518950 7fb205fdb700 10 cache get: name=.us-west.rgw.root+.bucket.meta.new-bucket:us-east.6555.1 : hit
2013-11-20 16:36:25.519029 7fb205fdb700 15 Read AccessControlPolicy<AccessControlPolicy xmlns="http://s3.amazonaws.com/doc/2006-03-01/"><Owner><ID>us-east</ID><DisplayName>Region-US
 Zone-East</DisplayName></Owner><AccessControlList><Grant><Grantee xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:type="Group"><URI>http://acs.amazonaws.com/groups/global
/AllUsers</URI></Grantee><Permission>READ</Permission></Grant><Grant><Grantee xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:type="CanonicalUser"><ID>us-east</ID><DisplayName>
Region-US Zone-East</DisplayName></Grantee><Permission>FULL_CONTROL</Permission></Grant></AccessControlList></AccessControlPolicy>
2013-11-20 16:36:25.519070 7fb205fdb700  2 req 931:0.009461:s3:PUT /new-bucket/testdata:copy_obj:init op
2013-11-20 16:36:25.519091 7fb205fdb700  2 req 931:0.009482:s3:PUT /new-bucket/testdata:copy_obj:verifying op mask
2013-11-20 16:36:25.519105 7fb205fdb700 20 required_mask= 2 user.op_mask=7
2013-11-20 16:36:25.519116 7fb205fdb700  2 req 931:0.009507:s3:PUT /new-bucket/testdata:copy_obj:verifying op permissions
2013-11-20 16:36:25.519163 7fb205fdb700 20 get_obj_state: rctx=0x7fb230008d30 obj=.us-west.rgw.root:new-bucket state=0x7fb230009998 s->prefetch_data=0
2013-11-20 16:36:25.519180 7fb205fdb700 20 Read xattr: user.rgw.idtag
2013-11-20 16:36:25.519187 7fb205fdb700 20 Read xattr: user.rgw.manifest
2013-11-20 16:36:25.519205 7fb205fdb700 10 moving .us-west.rgw.root+new-bucket to cache LRU end
2013-11-20 16:36:25.519215 7fb205fdb700 10 cache get: name=.us-west.rgw.root+new-bucket : hit
2013-11-20 16:36:25.519248 7fb205fdb700 20 rgw_get_bucket_info: bucket instance: new-bucket(@.rgw.buckets[us-east.6555.1])
2013-11-20 16:36:25.519265 7fb205fdb700 20 reading from .us-west.rgw.root:.bucket.meta.new-bucket:us-east.6555.1
2013-11-20 16:36:25.519286 7fb205fdb700 20 get_obj_state: rctx=0x7fb230008d30 obj=.us-west.rgw.root:.bucket.meta.new-bucket:us-east.6555.1 state=0x7fb23000a078 s->prefetch_data=0
2013-11-20 16:36:25.519303 7fb205fdb700 20 Read xattr: user.rgw.acl
2013-11-20 16:36:25.519311 7fb205fdb700 20 Read xattr: user.rgw.idtag
2013-11-20 16:36:25.519316 7fb205fdb700 20 Read xattr: user.rgw.manifest
2013-11-20 16:36:25.519335 7fb205fdb700 10 moving .us-west.rgw.root+.bucket.meta.new-bucket:us-east.6555.1 to cache LRU end
2013-11-20 16:36:25.519344 7fb205fdb700 10 cache get: name=.us-west.rgw.root+.bucket.meta.new-bucket:us-east.6555.1 : hit
2013-11-20 16:36:25.519402 7fb205fdb700  0 WARNING: couldn't find acl header for bucket, generating default
2013-11-20 16:36:25.519430 7fb205fdb700 20 get_obj_state: rctx=0x7fb230002f90 obj=.us-west.users.uid:us-east state=0x7fb230003058 s->prefetch_data=0
2013-11-20 16:36:25.519456 7fb205fdb700 10 moving .us-west.users.uid+us-east to cache LRU end
2013-11-20 16:36:25.519466 7fb205fdb700 10 cache get: name=.us-west.users.uid+us-east : hit
2013-11-20 16:36:25.519486 7fb205fdb700 20 get_obj_state: s->obj_tag was set empty
2013-11-20 16:36:25.519507 7fb205fdb700 10 moving .us-west.users.uid+us-east to cache LRU end
2013-11-20 16:36:25.519518 7fb205fdb700 10 cache get: name=.us-west.users.uid+us-east : hit
2013-11-20 16:36:25.519591 7fb205fdb700  2 req 931:0.009982:s3:PUT /new-bucket/testdata:copy_obj:verifying op params
2013-11-20 16:36:25.519609 7fb205fdb700  2 req 931:0.010000:s3:PUT /new-bucket/testdata:copy_obj:executing
2013-11-20 16:36:25.519647 7fb205fdb700 10 x>> x-amz-copy-source:new-bucket%2Ftestdata
2013-11-20 16:36:25.519771 7fb205fdb700  5 Copy object new-bucket(@.rgw.buckets[us-east.6555.1]):testdata => new-bucket(@.rgw.buckets[us-east.6555.1]):testdata
2013-11-20 16:36:25.535144 7fb205fdb700 10 meta>> HTTP_X_AMZ_COPY_SOURCE
2013-11-20 16:36:25.535217 7fb205fdb700 10 x>> x-amz-copy-source:new-bucket%2Ftestdata
2013-11-20 16:36:25.535240 7fb205fdb700  0 > HTTP_DATE -> Wed Nov 20 08:36:25 2013
2013-11-20 16:36:25.535256 7fb205fdb700  0 > HTTP_X_AMZ_COPY_SOURCE -> new-bucket%2Ftestdata
2013-11-20 16:36:25.535345 7fb205fdb700 10 get_canon_resource(): dest=/new-bucket/testdata
2013-11-20 16:36:25.535372 7fb205fdb700 10 generated canonical header: GET
 
 
Wed Nov 20 08:36:25 2013
x-amz-copy-source:new-bucket%2Ftestdata
/new-bucket/testdata
2013-11-20 16:36:25.535835 7fb205fdb700 15 generated auth header: AWS CQHH7O4XULLINBNQQSPB:6LonvwAB9WyBYrIwqKfLfK17dXM=
2013-11-20 16:36:25.536081 7fb205fdb700 20 sending request to http://ceph-osd26.com:80/new-bucket/testdata?rgwx-uid=us-
west&rgwx-region=us&rgwx-prepend-metadata=us
2013-11-20 16:36:25.540323 7fb205fdb700 10 receive_http_header
2013-11-20 16:36:25.540398 7fb205fdb700 10 received header:HTTP/1.1 411 Length Required
2013-11-20 16:36:25.540492 7fb205fdb700 10 receive_http_header
2013-11-20 16:36:25.540510 7fb205fdb700 10 received header:Date: Wed, 20 Nov 2013 08:36:25 GMT
2013-11-20 16:36:25.540563 7fb205fdb700 10 receive_http_header
2013-11-20 16:36:25.540580 7fb205fdb700 10 received header:Server: Apache/2.2.22 (Ubuntu)
2013-11-20 16:36:25.540622 7fb205fdb700 10 receive_http_header
2013-11-20 16:36:25.540641 7fb205fdb700 10 received header:Vary: Accept-Encoding
2013-11-20 16:36:25.540690 7fb205fdb700 10 receive_http_header
2013-11-20 16:36:25.540709 7fb205fdb700 10 received header:Content-Length: 238
2013-11-20 16:36:25.540758 7fb205fdb700 10 receive_http_header
2013-11-20 16:36:25.540777 7fb205fdb700 10 received header:Connection: close
2013-11-20 16:36:25.540829 7fb205fdb700 10 receive_http_header
2013-11-20 16:36:25.540849 7fb205fdb700 10 received header:Content-Type: text/html; charset=iso-8859-1
2013-11-20 16:36:25.540894 7fb205fdb700 10 receive_http_header
2013-11-20 16:36:25.540911 7fb205fdb700 10 received header:
2013-11-20 16:36:25.556606 7fb205fdb700  0 WARNING: set_req_state_err err_no=5 resorting to 500
2013-11-20 16:36:25.556890 7fb205fdb700  2 req 931:0.047279:s3:PUT /new-bucket/testdata:copy_obj:http status=500
2013-11-20 16:36:25.557895 7fb205fdb700  1 ====== req done req=0x2665d70 http_status=500 ======
2013-11-20 16:36:25.568904 7fb251aa8780 20 enqueued request req=0x2623a50
2013-11-20 16:36:25.568945 7fb251aa8780 20 RGWWQ:
2013-11-20 16:36:25.568951 7fb251aa8780 20 req: 0x2623a50
2013-11-20 16:36:25.568965 7fb251aa8780 10 allocated request req=0x2616f80
2013-11-20 16:36:25.568989 7fb2057da700 20 dequeued request req=0x2623a50
2013-11-20 16:36:25.569045 7fb2057da700 20 RGWWQ: empty
2013-11-20 16:36:25.569146 7fb2057da700  1 ====== starting new request req=0x2623a50 =====
2013-11-20 16:36:25.569598 7fb2057da700  2 req 932:0.000450::GET /admin/opstate::initializing
2013-11-20 16:36:25.569646 7fb2057da700 10 host=ceph-rgw41.com rgw_dns_name=ceph-rgw42
2013-11-20 16:36:25.569958 7fb2057da700 20 FCGI_ROLE=RESPONDER
2013-11-20 16:36:25.569981 7fb2057da700 20 SCRIPT_URL=/admin/opstate
2013-11-20 16:36:25.569999 7fb2057da700 20 SCRIPT_URI=http://ceph-rgw41.com/admin/opstate
2013-11-20 16:36:25.570017 7fb2057da700 20 HTTP_AUTHORIZATION=AWS CQHH7O4XULLINBNQQSPB:gq6fTqKHHqhN9ktKYEgHPh3HJ84=
2013-11-20 16:36:25.570031 7fb2057da700 20 HTTP_HOST=ceph-rgw41.com
2013-11-20 16:36:25.570045 7fb2057da700 20 CONTENT_LENGTH=0
2013-11-20 16:36:25.570058 7fb2057da700 20 HTTP_ACCEPT_ENCODING=gzip, deflate, compress
2013-11-20 16:36:25.570074 7fb2057da700 20 HTTP_ACCEPT=*/*
2013-11-20 16:36:25.570091 7fb2057da700 20 HTTP_USER_AGENT=Boto/2.16.0 Python/2.7.3 Linux/3.5.0-23-generic
2013-11-20 16:36:25.570106 7fb2057da700 20 HTTP_DATE=Wed, 20 Nov 2013 08:36:25 GMT
2013-11-20 16:36:25.570122 7fb2057da700 20 PATH=/usr/local/bin:/usr/bin:/bin
2013-11-20 16:36:25.570137 7fb2057da700 20 SERVER_SIGNATURE=
2013-11-20 16:36:25.570152 7fb2057da700 20 SERVER_SOFTWARE=Apache/2.2.22 (Ubuntu)
2013-11-20 16:36:25.570167 7fb2057da700 20 SERVER_NAME=ceph-rgw41.com
2013-11-20 16:36:25.570182 7fb2057da700 20 SERVER_ADDR=192.168.50.91
2013-11-20 16:36:25.570196 7fb2057da700 20 SERVER_PORT=80
2013-11-20 16:36:25.570209 7fb2057da700 20 REMOTE_ADDR=192.168.50.91
2013-11-20 16:36:25.570221 7fb2057da700 20 DOCUMENT_ROOT=/var/www/
2013-11-20 16:36:25.570234 7fb2057da700 20 SERVER_ADMIN=[no address given]
2013-11-20 16:36:25.570249 7fb2057da700 20 SCRIPT_FILENAME=/var/www/s3gw.fcgi
2013-11-20 16:36:25.570263 7fb2057da700 20 REMOTE_PORT=57684
2013-11-20 16:36:25.570277 7fb2057da700 20 GATEWAY_INTERFACE=CGI/1.1
2013-11-20 16:36:25.570294 7fb2057da700 20 SERVER_PROTOCOL=HTTP/1.1
2013-11-20 16:36:25.570308 7fb2057da700 20 REQUEST_METHOD=GET
2013-11-20 16:36:25.570323 7fb2057da700 20 QUERY_STRING=page=admin&params=/opstate&client-id=radosgw-agent&object=new-bucket%2Ftestdata&op-id=ceph-rgw41%3A8977%3A3
2013-11-20 16:36:25.570347 7fb2057da700 20 REQUEST_URI=/admin/opstate?client-id=radosgw-agent&object=new-bucket%2Ftestdata&op-id=ceph-rgw41%3A8977%3A3
2013-11-20 16:36:25.570368 7fb2057da700 20 SCRIPT_NAME=/admin/opstate
2013-11-20 16:36:25.570384 7fb2057da700  2 req 932:0.001238::GET /admin/opstate::getting op
2013-11-20 16:36:25.570421 7fb2057da700  2 req 932:0.001274::GET /admin/opstate:opstate_list:authorizing
2013-11-20 16:36:25.570543 7fb2057da700 20 get_obj_state: rctx=0x7fb23401fa20 obj=.us-west.users:CQHH7O4XULLINBNQQSPB state=0x7fb234010fd8 s->prefetch_data=0
2013-11-20 16:36:25.570609 7fb2057da700 10 moving .us-west.users+CQHH7O4XULLINBNQQSPB to cache LRU end
2013-11-20 16:36:25.570640 7fb2057da700 10 cache get: name=.us-west.users+CQHH7O4XULLINBNQQSPB : hit
2013-11-20 16:36:25.570700 7fb2057da700 20 get_obj_state: s->obj_tag was set empty
2013-11-20 16:36:25.570756 7fb2057da700 10 moving .us-west.users+CQHH7O4XULLINBNQQSPB to cache LRU end
2013-11-20 16:36:25.570783 7fb2057da700 10 cache get: name=.us-west.users+CQHH7O4XULLINBNQQSPB : hit
2013-11-20 16:36:25.570903 7fb2057da700 20 get_obj_state: rctx=0x7fb234009210 obj=.us-west.users.uid:us-west state=0x7fb23400a1f8 s->prefetch_data=0
2013-11-20 16:36:25.570963 7fb2057da700 10 moving .us-west.users.uid+us-west to cache LRU end
2013-11-20 16:36:25.570990 7fb2057da700 10 cache get: name=.us-west.users.uid+us-west : hit
2013-11-20 16:36:25.571040 7fb2057da700 20 get_obj_state: s->obj_tag was set empty
2013-11-20 16:36:25.571095 7fb2057da700 10 moving .us-west.users.uid+us-west to cache LRU end
2013-11-20 16:36:25.571120 7fb2057da700 10 cache get: name=.us-west.users.uid+us-west : hit
2013-11-20 16:36:25.571451 7fb2057da700 10 get_canon_resource(): dest=/admin/opstate
2013-11-20 16:36:25.571482 7fb2057da700 10 auth_hdr:
GET
There's no abvious error from the debug info now.I'd like to know the reason why the objects were not copied successfully.Maybe you can give me a favor!Thanks !
 

lixuehui
 
From: lixuehui
Date: 2013-11-20 10:21
Subject: Re: Re: radosgw-agent AccessDenied 403
Thanks for your help very much ! From the debug info , the source zone can't authorize the destination zone user. The debug info like this
 
2013-11-20 09:48:31.994176 7f9439109780 20 enqueued request req=0x1c28ec0
2013-11-20 09:48:31.994427 7f9439109780 20 RGWWQ:
2013-11-20 09:48:31.994453 7f9439109780 20 req: 0x1c28ec0
2013-11-20 09:48:31.994513 7f9439109780 10 allocated request req=0x1c21d50
2013-11-20 09:48:31.994536 7f93eafd5700 20 dequeued request req=0x1c28ec0
2013-11-20 09:48:31.994604 7f93eafd5700 20 RGWWQ: empty
2013-11-20 09:48:31.994659 7f93eafd5700  1 ====== starting new request req=0x1c28ec0 =====
2013-11-20 09:48:31.995022 7f93eafd5700  2 req 197:0.000366::GET /sss/rgwconf::initializing
2013-11-20 09:48:31.995060 7f93eafd5700 10 host=ceph-rgw40.com rgw_dns_name=ceph-rgw42
2013-11-20 09:48:31.995129 7f93eafd5700 10 meta>> HTTP_X_AMZ_COPY_SOURCE
2013-11-20 09:48:31.995187 7f93eafd5700 10 x>> x-amz-copy-source:sss%2Frgwconf
2013-11-20 09:48:31.995315 7f93eafd5700 10 s->object=rgwconf s->bucket=sss
2013-11-20 09:48:31.995361 7f93eafd5700 20 FCGI_ROLE=RESPONDER
2013-11-20 09:48:31.995373 7f93eafd5700 20 SCRIPT_URL=/sss/rgwconf
2013-11-20 09:48:31.995383 7f93eafd5700 20 SCRIPT_URI=http://ceph-rgw40.com/sss/rgwconf
2013-11-20 09:48:31.995392 7f93eafd5700 20 HTTP_AUTHORIZATION=AWS CQHH7O4XULLINBNQQSPB:baZsEWhQkoW+U6Xs2D/j0TEeCSM=
2013-11-20 09:48:31.995401 7f93eafd5700 20 HTTP_HOST=ceph-rgw40.com
2013-11-20 09:48:31.995410 7f93eafd5700 20 HTTP_ACCEPT=*/*
2013-11-20 09:48:31.995419 7f93eafd5700 20 HTTP_TRANSFER_ENCODING=chunked
2013-11-20 09:48:31.995428 7f93eafd5700 20 HTTP_DATE=Wed Nov 20 01:48:32 2013
2013-11-20 09:48:31.995437 7f93eafd5700 20 HTTP_X_AMZ_COPY_SOURCE=sss%2Frgwconf
2013-11-20 09:48:31.995447 7f93eafd5700 20 HTTP_EXPECT=100-continue
2013-11-20 09:48:31.995456 7f93eafd5700 20 PATH=/usr/local/bin:/usr/bin:/bin
2013-11-20 09:48:31.995465 7f93eafd5700 20 SERVER_SIGNATURE=
2013-11-20 09:48:31.995474 7f93eafd5700 20 SERVER_SOFTWARE=Apache/2.2.22 (Ubuntu)
2013-11-20 09:48:31.995482 7f93eafd5700 20 SERVER_NAME=ceph-rgw40.com
2013-11-20 09:48:31.995491 7f93eafd5700 20 SERVER_ADDR=192.168.50.92
2013-11-20 09:48:31.995499 7f93eafd5700 20 SERVER_PORT=80
2013-11-20 09:48:31.995510 7f93eafd5700 20 REMOTE_ADDR=192.168.50.91
2013-11-20 09:48:31.995519 7f93eafd5700 20 DOCUMENT_ROOT=/var/www/
2013-11-20 09:48:31.995527 7f93eafd5700 20 SERVER_ADMIN=[no address given]
2013-11-20 09:48:31.995536 7f93eafd5700 20 SCRIPT_FILENAME=/var/www/s3gw.fcgi
2013-11-20 09:48:31.995545 7f93eafd5700 20 REMOTE_PORT=49068
2013-11-20 09:48:31.995554 7f93eafd5700 20 GATEWAY_INTERFACE=CGI/1.1
2013-11-20 09:48:31.995562 7f93eafd5700 20 SERVER_PROTOCOL=HTTP/1.1
2013-11-20 09:48:31.995571 7f93eafd5700 20 REQUEST_METHOD=GET
2013-11-20 09:48:31.995579 7f93eafd5700 20 QUERY_STRING=page=sss&params=/rgwconf&rgwx-uid=us-west&rgwx-region=us&rgwx-prepend-metadata=us
2013-11-20 09:48:31.995594 7f93eafd5700 20 REQUEST_URI=/sss/rgwconf?rgwx-uid=us-west&rgwx-region=us&rgwx-prepend-metadata=us
2013-11-20 09:48:31.995607 7f93eafd5700 20 SCRIPT_NAME=/sss/rgwconf
2013-11-20 09:48:31.995619 7f93eafd5700  2 req 197:0.000962:s3:GET /sss/rgwconf::getting op
2013-11-20 09:48:31.995652 7f93eafd5700  2 req 197:0.000996:s3:GET /sss/rgwconf:get_obj:authorizing
2013-11-20 09:48:31.995735 7f93eafd5700 20 get_obj_state: rctx=0x1c513f0 obj=.us-east.users:CQHH7O4XULLINBNQQSPB state=0x1c514b8 s->prefetch_data=0
2013-11-20 09:48:31.995787 7f93eafd5700 10 moving .us-east.users+CQHH7O4XULLINBNQQSPB to cache LRU end
2013-11-20 09:48:31.995806 7f93eafd5700 10 cache get: name=.us-east.users+CQHH7O4XULLINBNQQSPB : type miss (requested=6, cached=0)
2013-11-20 09:48:32.001193 7f93eafd5700 10 cache put: name=.us-east.users+CQHH7O4XULLINBNQQSPB
2013-11-20 09:48:32.001251 7f93eafd5700 10 moving .us-east.users+CQHH7O4XULLINBNQQSPB to cache LRU end
2013-11-20 09:48:32.001303 7f93eafd5700  5 error reading user info, uid=CQHH7O4XULLINBNQQSPB can't authenticate
2013-11-20 09:48:32.001325 7f93eafd5700 10 failed to authorize request
2013-11-20 09:48:32.001486 7f93eafd5700  2 req 197:0.006829:s3:GET /sss/rgwconf:get_obj:http status=403
2013-11-20 09:48:32.001869 7f93eafd5700  1 ====== req done req=0x1c28ec0 http_status=403 ====== 
Then we checked the pools during the cluster .
root@ceph-rgw40:~# rados -p .us-east.users  ls
471FCR73KPEY0EF8Q0AC
root@ceph-rgw40:~# rados -p .us-west.users  ls
471FCR73KPEY0EF8Q0AC
CQHH7O4XULLINBNQQSPB
root@ceph-rgw40:~# rados -p .us-west.users.uid  ls
us-east
us-east.buckets
us-west
root@ceph-rgw40:~# rados -p .us-east.users.uid  ls
us-east
us-east.buckets
 There's absolutely  no the user key and ID in the source zone.How to add it ?

 
 
lixuehui
 
Date: 2013-11-20 07:28
Subject: Re: radosgw-agent AccessDenied 403
On 11/13/2013 09:06 PM, lixuehui wrote:
> And on the slave zone gateway instence ,the info is like this :
>
>             2013-11-14 12:54:24.516840 7f51e7fef700  1 ====== starting new request req=0xb1e3b0 =====
>             2013-11-14 12:54:24.526640 7f51e7fef700  1 ====== req done req=0xb1e3b0 http_status=200 ======
>             2013-11-14 12:54:24.545440 7f51e4fe9700  1 ====== starting new request req=0xb1c690 =====
>             2013-11-14 12:54:24.551696 7f51e4fe9700  0 WARNING: couldn't find acl header for bucket, generating default
>             2013-11-14 12:54:24.566005 7f51e4fe9700  0 > HTTP_DATE -> Thu Nov 14 04:54:24 2013
>             2013-11-14 12:54:24.566046 7f51e4fe9700  0 > HTTP_X_AMZ_COPY_SOURCE -> sss%2Frgwconf
>             2013-11-14 12:54:24.607998 7f51e4fe9700  1 ====== req done req=0xb1c690 http_status=403 ======
>             2013-11-14 12:54:24.626466 7f51e27e4700  1 ====== starting new request req=0xb24260 =====
>
> Any one could help to find the problem ? Does it mean , we should set
> acl for the bucket . In fact ,the information goes the same as it before
> , after setting acl for the bucket .
> bucket-name sss
> object-name rgwconf
> Or is there something wrong with  either the "HTTP_DATE" or
> "HTTP_X_AMS_COPY_SOURCE"?
 
Those headers are fine, and it's unrelated to acls since the gateway is
using a system user for cross-zone copies, which has full access.
 
Does the system user for the destination zone exist with the same
access secret and key in the source zone?
 
Josh
 
> ------------------------------------------------------------------------
> lixuehui
> *发件人:* lixuehui <mailto:lixuehui@xxxxxxxxxxxxxxxxx>
> *发送时间:* 2013-11-13 16:16
> *收件人:* ceph-users <mailto:ceph-users@xxxxxxxxxxxxxx>
> *主题:* radosgw-agent AccessDenied 403
> Hi ,list
> We've ever reflected that ,radosgw-agent sync data failed all the
> time ,before. We paste the concert log here to seek any help now .
>
>                           application/json; charset=UTF-8
>                         Wed, 13 Nov 2013 07:24:45 GMT
>                         x-amz-copy-source:sss%2Frgwconf
>                         /sss/rgwconf
>                         2013-11-13T15:24:45.510 11171:DEBUG:boto:Signature:
>                         AWS CQHH7O4XULLINBNQQSPB:9ktSGas0/iuekklDmHRuU+OItek=
>                         2013-11-13T15:24:45.511 11171:DEBUG:boto:url = 'http://ceph-rgw41.com/sss/rgwconf'
>                         params={'rgwx-op-id': 'ceph-rgw41:11160:2', 'rgwx-source-zone': u'us-east', 'rgwx-client-id': 'radosgw-agent'}
>                         headers={'Content-Length': '0', 'User-Agent': 'Boto/2.16.0 Python/2.7.3 Linux/3.5.0-23-generic', 'x-amz-copy-source': 'sss%2Frgwconf', 'Date': 'Wed, 13 Nov 2013 07:24:45 GMT', 'Content-Type': 'application/json; charset=UTF-8', 'Authorization': 'AWS CQHH7O4XULLINBNQQSPB:9ktSGas0/iuekklDmHRuU+OItek='}
>                         data="">
>                         2013-11-13T15:24:45.519 11171:INFO:requests.packages.urllib3.connectionpool:Starting new HTTP connection (1): ceph-rgw41.com
>                         2013-11-13T15:24:45.580 11171:DEBUG:requests.packages.urllib3.connectionpool:"PUT /sss/rgwconf?rgwx-op-id=ceph-rgw41%3A11160%3A2&rgwx-source-zone=us-east&rgwx-client-id=radosgw-agent HTTP/1.1" 403 78
>                         2013-11-13T15:24:45.584 11171:DEBUG:radosgw_agent.worker:exception during sync: Http error code 403 content <?xml version="1.0" encoding="UTF-8"?><Error><Code>AccessDenied</Code></Error>
>                         2013-11-13T15:24:45.587 11171:DEBUG:boto:StringToSign:
>                         GET
>                         Wed, 13 Nov 2013 07:24:45 GMT
>                         /admin/opstate
>                         2013-11-13T15:24:45.589 11171:DEBUG:boto:Signature:
>                         AWS CQHH7O4XULLINBNQQSPB:JZwaFKhZEsQUj50jLxjNzni8n5Q=
>                         2013-11-13T15:24:45.590 11171:DEBUG:boto:url = 'http://ceph-rgw41.com/admin/opstate'
>                         params={'client-id': 'radosgw-agent', 'object': 'sss/rgwconf', 'op-id': 'ceph-rgw41:11160:2'}
>                         headers={'Date': 'Wed, 13 Nov 2013 07:24:45 GMT', 'Content-Length': '0', 'Authorization': 'AWS CQHH7O4XULLINBNQQSPB:JZwaFKhZEsQUj50jLxjNzni8n5Q=', 'User-Agent': 'Boto/2.16.0 Python/2.7.3 Linux/3.5.0-23-generic'}
>                         data="">
>                         2013-11-13T15:24:45.594 11171:INFO:requests.packages.urllib3.connectionpool:Starting new HTTP connection (1): ceph-rgw41.com
>                         2013-11-13T15:24:45.607 11171:DEBUG:requests.packages.urllib3.connectionpool:"GET /admin/opstate?client-id=radosgw-agent&object=sss%2Frgwconf&op-id=ceph-rgw41%3A11160%3A2 HTTP/1.1" 200 None
>                         2013-11-13T15:24:45.612 11171:DEBUG:radosgw_agent.worker:op state is [{u'timestamp': u'2013-11-13 07:24:45.561401Z', u'op_id': u'ceph-rgw41:11160:2', u'object': u'sss/rgwconf', u'state': u'error', u'client_id': u'radosgw-agent'}]
>                         2013-11-13T15:24:45.614 11171:ERROR:radosgw_agent.worker:failed to sync object sss/rgwconf: state is error
>                         2013-11-13T15:24:45.616 11171:DEBUG:radosgw_agent.worker:syncing object "sss/iso"
>                         2013-11-13T15:24:45.617 11171:DEBUG:radosgw_agent.worker:sync_object sss/iso
>                         2013-11-13T15:24:45.620 11171:DEBUG:boto:StringToSign:
>                         PUT
>
>       From the radosgw-agent log,we find the   radosgw_agent.worker can
>     not access the slave zone gateway instence .Finally , radosgw-agent
>     returned the info: state is error.We've changed the users with
>     "*"permission.
>
>                     [client.radosgw.us-east-1]
>                              key = AQAp5IJSmF+hNBAAdVHvbYJYVW9coWF6INm+LA==
>                              caps mon = "allow *"
>                              caps osd = "allow *"
>                     [client.radosgw.us-west-1]
>                              key = AQAq5IJSkJ2PMxAAYmAH1wQaE08z+dA0F5INZQ==
>                              caps mon = "allow *"
>                              caps osd = "allow *"
>
>     The region configured file:us.json
>
>                         { "name": "us",
>                            "api_name": "us",
>                            "is_master": "true",
>                            "endpoints": [
>                         "http:\/\/ceph-rgw40.com:80\/"],
>                            "master_zone": "us-east",
>                            "zones": [
>                                  { "name": "us-east",
>                         "endpoints": [
>                         "http:\/\/ceph-rgw40.com:80\/"],
>                         "log_meta": "true",
>                         "log_data": "true"},
>                                  { "name": "us-west",
>                         "endpoints": [
>                         "http:\/\/ceph-rgw41.com:80\/"],
>                         "log_meta": "true",
>                         "log_data": "true"}],
>                           "placement_targets": [],
>                         "default_placement": ""}
>
>     radosgw-agent's configure file is:
>
>                             src_access_key: 471FCR73KPEY0EF8Q0AC
>                             src_secret_key: BF0t5ESBIvT+GlIL+fxB6N7HmjhdbS3VXcFq5mA0
>                             destination : http://ceph-rgw41.com:80
>                             dest_access_key: CQHH7O4XULLINBNQQSPB
>                             dest_secret_key: BR/UUadpxebiyTH7So42J/87F6jWMw4ddkjKxPRT
>                             log_file: /var/log/radosgw/radosgw-sync-us-east-west.log
>
>     Addtional, we encountered another problem ,when we
>     configured radosgw-agent. The destination means to
>       protoca+zone2-name+fqdn+port ,while we can only write as
>     protocal+fqdn+port.
>     If we added the slave zone name ,the info is like that :
>
>                         /admin/config
>                         DEBUG:boto:Signature:
>                         AWS CQHH7O4XULLINBNQQSPB:4zdcvi1QVBSfTrKasHtauIdw3XY=
>                         DEBUG:boto:url = 'http://us-west.ceph-rgw41.com/admin/config'
>                         params={}
>                         headers={'Date': 'Wed, 13 Nov 2013 08:13:54 GMT', 'Content-Length': '0', 'Authorization': 'AWS CQHH7O4XULLINBNQQSPB:4zdcvi1QVBSfTrKasHtauIdw3XY=', 'User-Agent': 'Boto/2.16.0 Python/2.7.3 Linux/3.5.0-23-generic'}
>                         data="">
>                         INFO:requests.packages.urllib3.connectionpool:Starting new HTTP connection (1): us-west.ceph-rgw41.com
>                         DEBUG:requests.packages.urllib3.connectionpool:"GET /admin/config HTTP/1.1" 200 None
>                         region map is: {u'us': [u'us-west', u'us-east']}
>                         ERROR:root:http://us-west.ceph-rgw41.com:80 not found in region map
>
>     Does it matter ,or we made any mistake form the us.json?
>
>     ------------------------------------------------------------------------
>
> lixuehui
>
>
> _______________________________________________
> ceph-users mailing list
> ceph-users@xxxxxxxxxxxxxx
> http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com
>
 
 
_______________________________________________
ceph-users mailing list
ceph-users@xxxxxxxxxxxxxx
http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com

[Index of Archives]     [Information on CEPH]     [Linux Filesystem Development]     [Ceph Development]     [Ceph Large]     [Linux USB Development]     [Video for Linux]     [Linux Audio Users]     [Yosemite News]     [Linux Kernel]     [Linux SCSI]     [xfs]


  Powered by Linux