Diferenzas

Isto amosa as diferenzas entre a revisión seleccionada e a versión actual da páxina.

Enlazar a esta vista de comparación

Both sides previous revisionPrevious revision
Next revision
Previous revision
Last revisionBoth sides next revision
inv:desenvolvemento:amazon_elastic_mapreduce [2015/11/12 19:06] – [Ejecutar un trabajo] ismael.rodriguezinv:desenvolvemento:amazon_elastic_mapreduce [2018/10/03 09:19] – [Creación de un cluster con EMR] diego.cougil
Liña 1: Liña 1:
 ====== Amazon Elastic MapReduce ====== ====== Amazon Elastic MapReduce ======
-Amazon Elastic MapReduce ([[http://aws.amazon.com/elasticmapreduce/|Amazon EMR]]) es un servicio web para la configuración y depliegue de un cluster basado en instancias de máquinas en el servicio Amazon Elastic Compute Cloud ([[http://aws.amazon.com/ec2/|Amazon EC2]]) y que es gestionado mediante [[https://hadoop.apache.org/|Hadoop]]. También se puede ejecutar en Amazon EMR otros marcos de trabajo distribuídos como [[https://spark.apache.org/|Spark]], e interactuar con los datos en otros almacenes de datos como [[http://aws.amazon.com/s3/|Amazon S3]].+Amazon Elastic MapReduce ([[http://aws.amazon.com/elasticmapreduce/|Amazon EMR]]) es un servicio web para la configuración y despliegue de un cluster basado en instancias de máquinas en el servicio Amazon Elastic Compute Cloud ([[http://aws.amazon.com/ec2/|Amazon EC2]]) y que es gestionado mediante [[https://hadoop.apache.org/|Hadoop]]. También se puede ejecutar en Amazon EMR otros marcos de trabajo distribuidos como [[https://spark.apache.org/|Spark]], e interactuar con los datos en otros almacenes de datos como [[http://aws.amazon.com/s3/|Amazon S3]].
  
 ===== Creación de un cluster con EMR ===== ===== Creación de un cluster con EMR =====
 Un cluster EMR suele tener un ciclo de vida totalmente automatizado y que se establece en el momento de su creación. El proceso general sería: Un cluster EMR suele tener un ciclo de vida totalmente automatizado y que se establece en el momento de su creación. El proceso general sería:
   * Lanzamiento de las instancias EC2 de las que se compone el cluster   * Lanzamiento de las instancias EC2 de las que se compone el cluster
-  * Ejecución de los scripts de instalación, tanto automáticos de amazon (como las imagenes preconfiguradas [[http://aws.amazon.com/es/amazon-linux-ami/|AMI]]) como los añadidos por el usuario en las acciones de inicialización (Bootstrap actions).+  * Ejecución de los scripts de instalación, tanto automáticos de amazon (como las imágenes preconfiguradas [[http://aws.amazon.com/es/amazon-linux-ami/|AMI]]) como los añadidos por el usuario en las acciones de inicialización (Bootstrap actions).
   * Trabajos a realizar (Steps) normalmente consistentes en carga de datos de entrada, procesamiento de los mismos, y almacenado de los resultados.   * Trabajos a realizar (Steps) normalmente consistentes en carga de datos de entrada, procesamiento de los mismos, y almacenado de los resultados.
   * Apagado automático del cluster una vez se han terminado todos los steps.   * Apagado automático del cluster una vez se han terminado todos los steps.
  
-En las siguientes subsecciones se explican todos lo básico para poder lanzar un cluster EMR y analizar los resultados de las ejecuciones.+En las siguientes subsecciones se explica todo lo básico para poder lanzar un cluster EMR y analizar los resultados de las ejecuciones.
  
 ==== Almacenamiento con S3 ==== ==== Almacenamiento con S3 ====
Liña 82: Liña 82:
  
 ===== Java 8 en EMR ===== ===== Java 8 en EMR =====
-La última versión AMI disponible (3.7.0) contiene como versión java 7. Para aquellos que usan java 8 (algo común en este tipo de entorno, por el uso de funciones lambda), pueden instalarlo en el cluster mediante un script ejecutado como bootstrap action. Para ello, solo es necesario almacenar en el contenedor S3 el siguiente script (([[https://gist.github.com/ericeijkelenboom/9951500|Bootstrap script for installing Java 8 on an Amazon Elastic MapReduce instance (AMI 3.0.1)]])), para luego añadirlo como acción bootstrap a la hora de lanzar un nuevo cluster:+La última versión de EMR (emr-4.0.0) contiene como versión java 7. Para aquellos que usan java 8 (algo común en este tipo de entorno, por el uso de funciones lambda), pueden instalarlo en el cluster mediante un script ejecutado como bootstrap action. Para ello, solo es necesario almacenar en el contenedor S3 el siguiente script (([[https://gist.github.com/ericeijkelenboom/9951500|Bootstrap script for installing Java 8 on an Amazon Elastic MapReduce instance (AMI 3.0.1)]])), para luego añadirlo como acción bootstrap a la hora de lanzar un nuevo cluster:
 <code bash> <code bash>
 # Check java version # Check java version
Liña 89: Liña 89:
 if [ "$JAVA_VER" -lt 18 ] if [ "$JAVA_VER" -lt 18 ]
 then then
-    # Download jdk 8 +    # Figure out how many versions of Java and javac we currently have 
-    echo "Downloading and installing jdk 8" +    NR_OF_JRE_OPTIONS=$(echo 0 | alternatives --config java 2>/dev/null | grep 'There ' | awk '{print $3}' | tail -1) 
-    wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8-b132/jdk-8-linux-x64.rpm"+    NR_OF_SDK_OPTIONS=$(echo 0 | alternatives --config javac 2>/dev/null | grep 'There ' | awk '{print $3}' | tail -1)
  
-    # Silent install +    # Silent install javac (includes jre) 
-    sudo yum -y install jdk-8-linux-x64.rpm+    sudo yum -y install java-1.8.0-devel
  
-    # Figure out how many versions of Java we currently have +    echo "Found $NR_OF_JRE_OPTIONS existing versions of java. Adding new version." 
-    NR_OF_OPTIONS=$(echo 0 | alternatives --config java 2>/dev/null | grep 'There ' | awk '{print $3}' | tail -1)+    echo "Found $NR_OF_SDK_OPTIONS existing versions of javac. Adding new version."
  
-    echo "Found $NR_OF_OPTIONS existing versions of java. Adding new version."+    # Make java 8 the default 
 +    echo $(($NR_OF_JRE_OPTIONS + 1)) | sudo alternatives --config java 
 +    echo $(($NR_OF_SDK_OPTIONS + 1)) | sudo alternatives --config javac
  
-    # Make the new java version available via /etc/alternatives +    # Fix wrong links 
-    sudo alternatives --install /usr/bin/java java /usr/java/default/bin/java 1 +    sudo rm /etc/alternatives/java_sdk_openjdk;sudo ln -/usr/lib/jvm/java-1.8.0-openjdk.x86_64 /etc/alternatives/java_sdk_openjdk 
- +    sudo rm /etc/alternatives/java_sdk_openjdk_exports;sudo ln -s /usr/lib/jvm-exports/java-1.8.0-openjdk.x86_64 /etc/alternatives/java_sdk_openjdk_exports
-    # Make java 8 the default +
-    echo $(($NR_OF_OPTIONS + 1)) | sudo alternatives --config java+
  
-    # Set some variables 
-    export JAVA_HOME=/usr/java/default/bin/java 
-    export JRE_HOME=/usr/java/default/jre 
-    export PATH=$PATH:/usr/java/default/bin 
 fi fi
  
Liña 116: Liña 112:
 JAVA_VER=$(java -version 2>&1 | sed 's/java version "\(.*\)\.\(.*\)\..*"/\1\2/; 1q') JAVA_VER=$(java -version 2>&1 | sed 's/java version "\(.*\)\.\(.*\)\..*"/\1\2/; 1q')
  
 +echo ""
 echo "Java version is $JAVA_VER!" echo "Java version is $JAVA_VER!"
 echo "JAVA_HOME: $JAVA_HOME" echo "JAVA_HOME: $JAVA_HOME"