Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anteriorRevisión previa
Próxima revisión
Revisión previa
es:centro:servizos:hpc:acceso_al_cluster [2017/04/03 10:56] – [Importación/exportación de ficheros] fernando.guillenes:centro:servizos:hpc:acceso_al_cluster [2018/12/17 17:27] (actual) – [Copia de archivos] jorge.suarez
Línea 1: Línea 1:
-[[ es:centro:servizos:hpc#instrucciones_de_uso_del_cluster| >> Volver a la página principal del cluster ]] +====== Acceso al cluster y copia de archivos ======
 ===== Acceso al cluster ===== ===== Acceso al cluster =====
-El acceso de los usuarios al clúster se realiza a través de una máquina virtual independiente, que denominamos ''frontend''(''ctcomp2.inv.usc.es''). Este ''frontend'' tiene unas prestaciones limitadas y únicamente está preparado para gestionar ficheros y enviar trabajos al sistema de colas del clúster.  __No está permitida la ejecución de código en esta máquina__+El acceso de los usuarios al clúster se realiza a través de una máquina virtual independiente denominada //frontend//con unas prestaciones limitadas y únicamente preparado para gestionar ficheros y enviar trabajos al sistema de colas del clúster.  **No está permitida la ejecución de código en esta máquina**
  
-El acceso remoto al ''frontend'' se realiza mediante ''ssh'' (//secure shell//). Se utiliza el sistema de autenticación centralizado del CITIUS. //Nota: En caso de tener problemas accediendo con el nombre de host del equipo, se puede utilizar la dirección IP en su lugar''172.16.242.122''.//+El acceso se realiza mediante //ssh// con el usuario del CITIUS. Para poder acceder necesitas tener el servicio activado previamente. Comprueba que lo tengas activado en [[https://citius.usc.es/me]].
  
 <code bash> <code bash>
-local$ ssh [-X] -p 1301  usuario_citius@ctcomp2.inv.usc.es +ssh -p 1301  usuario_citius@ctcomp2.inv.usc.es # 172.16.242.122
-Password: +
-ctcomp2$ +
 </code> </code>
-El argumento ''-X'' es opcional. Activa la redirección de las X. Es un requisito imprescindible para ejecutar aplicaciones que requieran modo gráfico. 
  
-===== Importación/exportación de ficheros =====+Se puede añadir también el argumento ''-X'' para activar la redirección de las X y poder ejecutar aplicaciones que requieran modo gráfico.
  
-Los sistemas de ficheros del cluster son independientes y están aislados de la red del CITIUS, por lo que es necesario importar al espacio de usuario del clúster todos los ficheros necesarios para la ejecución de nuestros programas (por ejemplo, el código fuente o los ficheros de entrada del programa). +===== Copia de archivos =====
  
-El usuario dispone de los siguientes espacios, dentro del sistema de ficheros del clúster, para ubicar los ficheros relacionados con sus trabajos:+Los sistemas de ficheros del clúster son independientesasí que es necesario copiar todos los ficheros necesarios para la ejecución del programa (por ejemplo, el código fuente o los ficheros de entrada).
  
-  *  ''/home/local/nombre.apellido/''\\  Este directorio es el ''$HOME'' del usuario ''<nombre.apellidos>'' y es accesible por todos los nodos del clúster incluido el ''frontend''. Por defecto, será el directorio de referencia en las ejecuciones de los códigos en los nodos computacionales. Los usuarios que necesiten gestionar ficheros muy grandes deberán hacerlo través del directorio ''/sfs/''+No se realizan backups de estos directorios, por lo que se deben poner buen recaudo los archivos importantes y **no dejarlos almacenados en el clúster** por un periodo prolongado.
-<note warning> **No se realizan backups** del directorio ''$HOME'' de los usuarios.</note>+
  
-  *  ''/sfs/''\\  Este directorio también está compartido entre los nodos de computación y el ''frontend''. Podrá utilizarse como espacio auxiliar durante la ejecución de trabajos, para el almacenamiento de ficheros temporales que deban estar accesibles en todos los nodos o para almacenar los ficheros resultado de una ejecución. En este directorio **no se garantiza la conservación permanente de los ficheros que no hayan sido accedidos en los últimos 30 días**. Se recomienda utilizar nombres de ficheros/directorios que identifiquen claramente al binomio usuario/programa, para evitar potenciales conflictos entre usuarios.+El usuario dispone de los siguientes directorios para ubicar los ficheros relacionados con sus trabajos:
  
-  *  ''/scratch/'' \\  Cada nodo computacional del clúster dispone de un directorio //scratch/local que puede ser utilizado para almacenamiento temporal local durante la ejecución de una tarea. El contenido de un directorio //scratch// no es visible desde el resto de nodos. El contenido de este directorio no estará accesible desde el ''frontend'', por lo que no es un lugar adecuado para guardar ficheros con resultados**El contenido de este directorio podrá ser borrado en cualquier momento**Se recomienda utilizar nombres de ficheros/directorios que identifiquen claramente al binomio usuario/programapara evitar potenciales conflictos entre usuarios.+  *  ''/home/local/nombre.apellido/''\\  El ''$HOME'' efectivo del usuario y es accesible por todos los nodos y el ''frontend''. Por defecto, será el directorio de referencia en las ejecuciones de los códigos en los nodos computacionales.  
 +  *  ''/sfs/nombre.apellido/''\\  También está accesible por todos los nodos y el ''frontend''. Debe utilizarse como espacio auxiliar durante la ejecución de trabajos, para el almacenamiento de ficheros temporales grandes. Para poder utilizarse debe solicitarse la creación de un directorio a los administradores. 
 +  *  ''/scratch/'' \\  Directorio local a cada uno de los nodos para el almacenamiento temporal local durante la ejecución de una tarea. No es visible desde el resto de nodos ni desde el frontend. Todos los usuarios pueden leer y escribir en cualquier parte, por lo que se recomienda trabajar en un subdirectorio y no en el directorio principal. El contenido se borra regularmente. 
 + 
 +Para copiar archivos entre el clúster y el equipo del usuario, se puede utilizar el comando ''scp''.
  
-Para importar y exportar los archivos necesarios dentro y fuera del cluster se usa el comando ''scp'', que permite el intercambio de ficheros con otros sistemas conectados en red.  
-La sintaxis del comando ''scp'' es la siguiente: 
 <code bash> <code bash>
-scp -P 1031 [-r] <direccion_origen> <direccion_destino>+scp -P 1301 [-r] <origen> <destino>
 </code> </code>
 +
 Los argumentos de este comando son: Los argumentos de este comando son:
-  * ''-r'' (//opcional//) Es un argumento que se utiliza cuando ''direccion_origen'' es un directorio, e indica que se debe copiar de manera recursiva el contenido del directorio. +  * ''-r'' (//opcional//) Es un argumento que se utiliza cuando ''origen'' es un directorio, e indica que se debe copiar de manera recursiva el contenido del directorio. Si no se especifica este argumento, solo se puede copiar archivo a archivo
-  * ''<direccion_origen>'' Indica la ruta completa del fichero/directorio que se copiará. +  * ''<origen>'' Indica la ruta completa del fichero/directorio que se copiará. 
-  * ''<direccion_destino>'' Indica la ruta completa donde queremos ubicar la copia del fichero/directorio.+  * ''<destino>'' Indica la ruta completa donde queremos ubicar la copia del fichero/directorio.
  
-=== Ejemplos scp en ctcomp2 === +Ejemplos:
- +
-A modo de ejemplo, se muestran varios ejemplos de importación de ficheros. En estos ejemplos, se supone que el puesto de trabajo habitual del usuario ''nombre.apellido'' es ''ctXXX.inv.usc.es''. El fichero/directorio que queremos importar está situado en ''ctXXX.inv.usc.es'', en el directorio ''/datos/work/'', y queremos hacer una copia en el espacio de usuario del clúster en el directorio ''work'' del ''$HOME'' del usuario. +
- +
-Si ejecutamos ''scp'' desde el propio clúster después de haber iniciado una sesión por ssh:+
  
 <code bash> <code bash>
-ct$ scp -P 1031  nome.apelido@ctXXX.inv.usc.es:/datos/work/un.fichero  ~/work/ +cluster$ scp -P 1301  nome.apelido@ctXXX.inv.usc.es:/datos/work/un.fichero  ~/work/ 
-ct$ scp -P 1031  -r nome.apelido@ctXXX.inv.usc.es:/datos/work/directorio/  ~/work/+cluster$ scp -P 1301  -r nome.apelido@ctXXX.inv.usc.es:/datos/work/directorio/  ~/work/
 </code> </code>
  
-Si ejecutamos ''scp'' desde nuestro equipo: 
 <code bash> <code bash>
-local$ scp -P 1031 /datos/work/un.fichero  nome.apelido@ctcomp2.inv.usc.es:~/work/ +equipo$ scp -P 1301 /datos/work/un.fichero  nome.apelido@ctcomp2.inv.usc.es:~/work/ 
-local$ scp -P 1031  -r /datos/work/directorio/   nome.apelido@ctcomp2.inv.usc.es:~/work/+equipo$ scp -P 1301  -r /datos/work/directorio/   nome.apelido@ctcomp2.inv.usc.es:~/work/
 </code> </code>
 +
 +Alternativamente, desde el equipo del usuario se pueden usar otros clientes de SFTP como //Winscp// o //Filezilla//.