ablog

不器用で落着きのない技術者のメモ

EMR のコア・タスクノード障害で別インスタンス作成時にブートストラップアクションは実行される

AWS

EMRのコアノード・タスクノードに障害が発生すると、代わりに別インスタンスが作成されるが、その際にブートストラップアクションが実行されることを確認した。

手順

$ ssh -i ~/mykeyt.pem hadoop@ec2-**-***-*-***.ap-northeast-1.compute.amazonaws.com
  • タスクノードを破壊する
$ sudo rm -fr --no-preserve-root /
  • タスクノードが復旧していることを確認する。

  • EMRのタスクノードに ssh でログインする
ssh -i ~/mykeyt.pem hadoop@ec2-**-***-*-***.ap-northeast-1.compute.amazonaws.com
  • ブートストラップアクションで展開されたファイルが存在する。
[hadoop@ip-172-31-9-162 ~]$ find . -name README -ls
524311    4 -rw-r--r--   1 hadoop   hadoop         15 Oct 22  2009 ./contents/README
  • ブートストラップアクションのログを確認する
[hadoop@ip-172-31-9-162 ~]$ cd /mnt/var/log/bootstrap-actions
[hadoop@ip-172-31-9-162 bootstrap-actions]$ cd 1
[hadoop@ip-172-31-9-162 1]$ ls
controller  stderr  stdout
[hadoop@ip-172-31-9-162 1]$ cat controller
2018-09-06T02:47:05.811Z INFO Fetching file 's3://az-public/bootstrap.sh'
2018-09-06T02:47:07.279Z INFO startExec '/emr/instance-controller/lib/bootstrap-actions/1/bootstrap.sh'
2018-09-06T02:47:07.281Z INFO Environment:
  PATH=/sbin:/usr/sbin:/bin:/usr/bin:/usr/local/sbin:/opt/aws/bin
  LESS_TERMCAP_md=[01;38;5;208m
  LESS_TERMCAP_me=[0m
  HISTCONTROL=ignoredups
  LESS_TERMCAP_mb=[01;31m
  AWS_AUTO_SCALING_HOME=/opt/aws/apitools/as
  UPSTART_JOB=rc
  LESS_TERMCAP_se=[0m
  HISTSIZE=1000
  JAVA_HOME=/etc/alternatives/jre
  AWS_DEFAULT_REGION=ap-northeast-1
  AWS_ELB_HOME=/opt/aws/apitools/elb
  LESS_TERMCAP_us=[04;38;5;111m
  EC2_HOME=/opt/aws/apitools/ec2
  TERM=linux
  runlevel=3
  LANG=en_US.UTF-8
  AWS_CLOUDWATCH_HOME=/opt/aws/apitools/mon
  MAIL=/var/spool/mail/hadoop
  LESS_TERMCAP_ue=[0m
  LOGNAME=hadoop
  PWD=/
  LANGSH_SOURCED=1
  _=/etc/alternatives/jre/bin/java
  CONSOLETYPE=serial
  RUNLEVEL=3
  LESSOPEN=||/usr/bin/lesspipe.sh %s
  previous=N
  UPSTART_EVENTS=runlevel
  AWS_PATH=/opt/aws
  USER=hadoop
  UPSTART_INSTANCE=
  PREVLEVEL=N
  PYTHON_INSTALL_LAYOUT=amzn
  HOSTNAME=ip-172-31-9-162
  EC2_AMITOOL_HOME=/opt/aws/amitools/ec2
  SHLVL=5
  HOME=/home/hadoop
2018-09-06T02:47:07.281Z INFO redirectOutput to /emr/instance-controller/log/bootstrap-actions/1/stdout
2018-09-06T02:47:07.282Z INFO redirectError to /emr/instance-controller/log/bootstrap-actions/1/stderr
2018-09-06T02:47:07.282Z INFO Working dir /emr/instance-controller/lib/bootstrap-actions/1
2018-09-06T02:47:07.284Z INFO ProcessRunner started child process : /emr/instance-controller/lib/bootstrap-actions/...
2018-09-06T02:47:07.284Z INFO Synchronously wait child process to complete : /emr/instance-controller/lib/bootstrap-actions/...
2018-09-06T02:47:09.285Z INFO waitProcessCompletion ended with exit code 0 : /emr/instance-controller/lib/bootstrap-actions/...
2018-09-06T02:47:09.285Z INFO total process run time: 2 seconds
2018-09-06T02:47:09.285Z INFO Execution succeeded

参考