Estás aquí: start » centro » servizos » hadoop

Pequeno cluster de experimentación

Esta é unha revisión antiga do documento!


Cluster Hadoop

O clúster de Hadoop é un pequeno clúster de 5 servidores útil para a experimentación e investigación en temas relativos a Hadoop.

Está formado por 5 nodos computacionais HP Proliant DL 370 G6. Cada un conta con:

  • 2 procesadores Intel Xeon E5506 @ 2.13GHz
  • 12 GB de memoria RAM ECC repartidos en 6 módulos DDR3 @ 800MHz.
  • 2 discos duros de 2 TB montados en dous RAID0
  • 4 portos Gigabit Ethernet
  • Instalación CentOS 6.5 mínima (kernel 2.6.32-431.17.1.el6.x86_64)

Nodos

Os nodos teñen unha instalación mínima de CentOS 7.2, cunha versión de kernel 3.10.0-327.36.2.el7.x86_64.

Cada nodo do clúster posee dous discos duros de 2 TB.

Redes

Os nodos están conectados entre si a través dunha rede interna, e acceden a internet a través do master (ctserv07).

Conexión

Hai que solicitar o acceso mediante o formulario de incidencias.

Ao master tense acceso por ssh (172.16.242.73:22). Para acceder aos outros nodos, débese acceder previamente ao master. Dende este pódese facer ssh (puerto 22) aos nodos mediante IP ou mediante nombre. En ctserv07, en /usr/local/bin/ está dispoñible un script (activar_internet.sh) que permite activar e desactivar o acceso a internet dende os nodos a través do master. É recomendable que ese acceso permaneza activo só cando sexa preciso.

Rede externa

Nome Modelo IP
ctserv07 HP Proliant DL 370 G6 172.16.242.73

Rede interna

Nome Modelo IP
ctserv07 HP Proliant DL 370 G6 192.168.0.1
hadoop2 HP Proliant DL 370 G6 192.168.0.2
hadoop3 HP Proliant DL 370 G6 192.168.0.3
hadoop4 HP Proliant DL 370 G6 192.168.0.4
hadoop5 HP Proliant DL 370 G6 192.168.0.5