Estás aquí: start » centro » servizos » hadoop

Pequeno cluster de experimentación

Esta é unha revisión antiga do documento!


Cluster Hadoop

El cluster de Hadoop es un pequeño cluster de 5 servidores útil para la experimentación e investigación en temas relativos a Hadoop.

Está formado por 5 nodos computacionales HP Proliant DL 370 G6. Cada uno cuenta con:

  • 2 procesadores Intel Xeon E5506 @ 2.13GHz
  • 12 GB de memoria RAM ECC repartidos en 6 módulos DDR3 @ 800MHz.
  • 2 discos duros de 2 TB montados en dos RAID0
  • 4 puertos Gigabit Ethernet
  • Instalación CentOS 6.5 mínima (kernel 2.6.32-431.17.1.el6.x86_64)

Nodos

IMAGEN RACK

Los nodos tienen una instalación mínima de CentOS 6.5, con una versión de kernel 2.6.32-431.17.1.el6.x86_64.

Cada nodo del clúster posee dos discos duros de 2 TB.

Redes

Los nodos están conectados entre si a traves de una red interna, y acceden a internet a traves del master (ctserv07).

Conexión

El master tiene acceso por ssh (172.16.242.73:22). Para acceder a los otros nodos se debe acceder previamente al master. Desde este se puede hacer ssh (puerto 22) a los nodos mediante IP o mediante nombre. En ctserv07, en /usr/local/bin/ está disponible un script (activar_internet.sh) que permite activar y desactivar el acceso a internet desde los nodos a traves del master. Es recomendable que ese acceso permanezca activo sólo cuando sea necesario. IMAGEN RED

Red externa

Nome Modelo IP
ctserv07 HP Proliant DL 370 G6 172.16.242.73

Red interna

Nome Modelo IP
ctserv07 HP Proliant DL 370 G6 192.168.0.1
hadoop2 HP Proliant DL 370 G6 192.168.0.1
hadoop3 HP Proliant DL 370 G6 192.168.0.1
hadoop4 HP Proliant DL 370 G6 192.168.0.1
hadoop5 HP Proliant DL 370 G6 192.168.0.1