ablog

不器用で落着きのない技術者のメモ

S3 のアクセスログのオペレーションを集計する

AWS

ちょっとした量のS3 のアクセスログのオペレーションを集計する。

$ aws s3 cp --recursive s3://s3-accesslog-az/ ./
  • オペレーションで集計する。
$ find . -type f -print0|xargs -0 -I{} perl -lane 'print $F[7]' {}|sort|uniq -c
    145 REST.GET.ACCELERATE
  20105 REST.GET.ACL
 143117 REST.GET.BUCKET
    178 REST.GET.BUCKETPOLICY
      1 REST.GET.BUCKETVERSIONS
    146 REST.GET.CORS
    104 REST.GET.ENCRYPTION
    145 REST.GET.LIFECYCLE
    144 REST.GET.LOCATION
    147 REST.GET.LOGGING_STATUS
    145 REST.GET.NOTIFICATION
 138823 REST.GET.OBJECT
    145 REST.GET.REPLICATION
    145 REST.GET.REQUEST_PAYMENT
    145 REST.GET.TAGGING
    146 REST.GET.VERSIONING
    147 REST.GET.WEBSITE
  17296 REST.HEAD.BUCKET
  56617 REST.HEAD.OBJECT
      1 REST.PUT.LOGGING_STATUS
 121313 REST.PUT.OBJECT

参考