Come utilizzare il file system

L’accesso al file system e la sua gestione da parte degli utenti può avvenire in due modi:

  1. tramite la shell dei comandi;
  2. tramite la Web API.

Nel primo caso, si utilizza la shell di Hadoop (di cui parleremo in seguito) per lanciare dei comandi nel formato hadoop nome-comando. Nel secondo caso invece, si utilizza un URL nel formato seguente: http://HOST:HTTP_PORT/webhdfs/v1/PATH?op=OPERATION dove:

Valore Descrizione
HOST E’ l’indirizzo del server.
HTTP_PORT E’ la porta.
PATH E’ il percorso di un file o cartella; i percorsi dei file in HDFS sono preceduti da hdfs://namenode dove namenode è l’indirizzo IP del NameNode.
OPERATION E’ l’operazione da compiere che corrisponde a una delle operazioni a carico del file system (ad esempio OPEN, APPEND, CREATE).

I comandi possono essere lanciati sia con la sintassi hdfs dfs -opzione sia con la sintassi hadoop fs -opzione. Di seguito l’elenco dei comandi HDFS:

Comando Descrizione Esempio
cat Copia i file specificati sullo standard output hdfs dfs -cat hdfs://namenode/user/hadoop/file
get Copia un file da HDFS al file system locale hdfs dfs -get hdfs://namenode/user/hadoop/file file-locale
put Copia un file dal file system locale ad HDFS hdfs dfs -get file-locale hdfs://namenode/user/hadoop/file
ls Restituisce informazioni su file e directory hdfs dfs -get file-locale hdfs://namenode/data/test
mkdir Crea una cartella nel percorso indicato hdfs dfs -mkdir hdfs://namenode/data/test-folder
rm Elimina cartelle e file specificati hdfs dfs -rm hdfs://namenode/data/test-folder
rmr rm in versione ricorsiva hdfs dfs -rmr file-locale hdfs://namenode/data/test
copyFromLocal Equivalente a put ma si limita solo ai file locali hdfs dfs -copyFromLocal file-locale hdfs://namenode/data/test
copyToLocal Equivalente a get ma si limita solo ai file locali hdfs dfs -copyToLocal hdfs://namenode/data/test file-locale
count Restituisce il conteggio di directory e file contenuti nel percorso indicato. Il formato di ritorno contiene 3 colonne: DIR_COUNT, FILE_COUNT, CONTENT_SIZE FILE_NAME hdfs dfs -count hdfs://namenode/data/test

La shell di Hadoop

Oltre ai comandi di HDFS, la shell di Hadoop consente l’accesso a una serie di altri comandi, attraverso la seguente sintassi: hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] dove:

Valore Descrizione
--config Consente di specificare una cartella di configurazione diversa da quella di default.
COMMAND E’ il nome del comando da lanciare.
GENERIC_OPTIONS Sono parametri che possono essere utilizzate per ciascuno dei comandi.
COMMAND_OPTIONS Sono parametri specifici del comando.

File di configurazione

La configurazione di Hadoop si concentra in tre file principali, elencati di seguito e che utilizzeremo durante la fase di installazione/configurazione di Hadoop

File Descrizione
core-site.xml Contiene le informazioni generali quali il nome del file system, la cartella che contiene i checkpoint e altre proprietà relative ai checkpoint.
hdfs-site.xml Contiene informazioni su dove viene salvata la tabella dei nomi, sull’abilitazione dei webhdfs, sulla directory dei dati, sull’uso o meno della security e sull’indirizzo del NameNode secondario.
mapred-site.xml Questo file contiene le configurazioni riguardanti MapReduce, come, per esempio, la directory di sistema o l’indirizzo del JobTracker.

Fino ad ora si è parlato in particolare di HDFS e di come esso metta a disposizione gli strumenti per l’accesso ai dati, ma la loro elaborazione avviene tramite la componente MapReduce il cui funzionamento verrà descritto nei prossimi capitoli.
4 / 10

MapReduce: architettura e funzionamento