Step2. 하둡(Hadoop) 설치 및 독자 모드

본 문서는 하둡(Hadoop)과 자바(JAVA)을 설치하고 기본적인 설정하는 방법을 기술하고 있다.

본 문서의 내용은 본 문서가 작성된 일자 이전 대해서 확인 된 방법으로써 이후 변경된 내용을 담고 있지 않거나 혹은 일부는 추후 업데이트할 예정이다.

---

• 하둡(Hadoop) 다운로드

$ wget http://archive.apache.org/dist/hadoop/core/current/hadoop-2.3.0.tar.gz

경로는 http://archive.apache.org/dist/hadoop/core/current/ 에서 최신 버전링크를 확인하여 진행한다.

• 하둡 압축 해제

$ tar xvfz hadoop-2.3.0.tar.gz

• 하둡 설치 위치를 환경변수에 설정

$ export HADOOP_HOME=/home/[본인계정디렉토리]/hadoop-2.3.0 

앞서 하둡 압축 해제를 현제 본인 계정의 디렉토리에서 진행하였기에 그 하위에 하둡 압축파일명으로 폴더가 생성되었을 것이다.

지정된 여부를 확인하려면 다음과 같은 방법으로 확인 할 것.

$ echo $HADOOP_HOME

---

• 자바(JAVA) 설치

$ apt-get install openjdk-6-jdk

• 자바 환경 변수 지정

$ export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64

만약 위와 같이 자바가 설치된 위치를 모른다면 아래와 같은 방법으로 검색하여 지정할 수 있다. 지정 후 확인해 볼 것.

$ JAVA_HOME=$(readlink -f /usr/bin/javac | sed "s:bin/javac::")

$ echo $JAVA_HOME 또는 $ ls -tl $JAVA_HOME

---

• 환경변수와 PATH 등록

$ vi ~/.bashrc 해서 마지막에 아래 내용을 추가

HADOOP_HOME=/usr/redcarrot/hadoop-1.0.3
PATH=$HADOOP_HOME/bin:$PATH
JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64
export PATH
export JAVA_HOME

---

• 독자 모드 설치와 확인

아래 3개 파일을 열어 환결설정을 해주어야 한다. (기본적으로 되어 있어서 아마 바꿀 것은 없을 것이다.)

$ vi $HADOOP_HOME/etc/hadoop/mapred-site.xml.template

$ vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

$ vi $HADOOP_HOME/etc/hadoop/core-site.xml

위 3개 파일 내에 있는 <configuration> 태그의 시작과 종료 태그 사이에 있는 모든 문자열을 제거한 후 저장한다.

각각에 대한 보충 설명은 아래와 같다.

mapred-site.xml.template : MapReduce 프레임워크와 관련된 내용을 편집할 때 사용

hdfs-site.xml : HDFS와 관련된 내용을 편집할 때 사용

core-site.xml : 하둡 네임노드의 위치를 지정할 때 사용

• 명령 수행
  

$ bin/hadoop jar hadoop-examples-1.0.3.jar wordcount README.txt README.txt.result

root@ailabhadoop:/home/redcarrot/hadoop-1.0.3# bin/hadoop jar hadoop-examples-1.0.3.jar wordcount README.txt README.txt.result
Warning: $HADOOP_HOME is deprecated.

14/04/08 19:38:13 INFO util.NativeCodeLoader: Loaded the native-hadoop library
14/04/08 19:38:13 INFO input.FileInputFormat: Total input paths to process : 1
14/04/08 19:38:13 WARN snappy.LoadSnappy: Snappy native library not loaded
14/04/08 19:38:13 INFO mapred.JobClient: Running job: job_local_0001
14/04/08 19:38:13 INFO util.ProcessTree: setsid exited with exit code 0
14/04/08 19:38:13 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@567a4593
14/04/08 19:38:13 INFO mapred.MapTask: io.sort.mb = 100
14/04/08 19:38:13 INFO mapred.MapTask: data buffer = 79691776/99614720
14/04/08 19:38:13 INFO mapred.MapTask: record buffer = 262144/327680
14/04/08 19:38:13 INFO mapred.MapTask: Starting flush of map output
14/04/08 19:38:13 INFO mapred.MapTask: Finished spill 0
14/04/08 19:38:13 INFO mapred.Task: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
14/04/08 19:38:14 INFO mapred.JobClient:  map 0% reduce 0%
14/04/08 19:38:16 INFO mapred.LocalJsobRunner:
14/04/08 19:38:16 INFO mapred.Task: Task 'attempt_local_0001_m_000000_0' done.
14/04/08 19:38:16 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@191c2c15
14/04/08 19:38:16 INFO mapred.LocalJobRunner:
14/04/08 19:38:16 INFO mapred.Merger: Merging 1 sorted segments
14/04/08 19:38:16 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 1832 bytes
14/04/08 19:38:16 INFO mapred.LocalJobRunner:
14/04/08 19:38:16 INFO mapred.Task: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
14/04/08 19:38:16 INFO mapred.LocalJobRunner:
14/04/08 19:38:16 INFO mapred.Task: Task attempt_local_0001_r_000000_0 is allowed to commit now
14/04/08 19:38:16 INFO output.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to result_README.txt
14/04/08 19:38:17 INFO mapred.JobClient:  map 100% reduce 0%
14/04/08 19:38:19 INFO mapred.LocalJobRunner: reduce > reduce
14/04/08 19:38:19 INFO mapred.Task: Task 'attempt_local_0001_r_000000_0' done.
14/04/08 19:38:20 INFO mapred.JobClient:  map 100% reduce 100%
14/04/08 19:38:20 INFO mapred.JobClient: Job complete: job_local_0001
14/04/08 19:38:20 INFO mapred.JobClient: Counters: 20
14/04/08 19:38:20 INFO mapred.JobClient:   File Output Format Counters
14/04/08 19:38:20 INFO mapred.JobClient:     Bytes Written=1326
14/04/08 19:38:20 INFO mapred.JobClient:   FileSystemCounters
14/04/08 19:38:20 INFO mapred.JobClient:     FILE_BYTES_READ=289802
14/04/08 19:38:20 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=357038
14/04/08 19:38:20 INFO mapred.JobClient:   File Input Format Counters
14/04/08 19:38:20 INFO mapred.JobClient:     Bytes Read=1366
14/04/08 19:38:20 INFO mapred.JobClient:   Map-Reduce Framework
14/04/08 19:38:20 INFO mapred.JobClient:     Map output materialized bytes=1836
14/04/08 19:38:20 INFO mapred.JobClient:     Map input records=31
14/04/08 19:38:20 INFO mapred.JobClient:     Reduce shuffle bytes=0
14/04/08 19:38:20 INFO mapred.JobClient:     Spilled Records=262
14/04/08 19:38:20 INFO mapred.JobClient:     Map output bytes=2055
14/04/08 19:38:20 INFO mapred.JobClient:     Total committed heap usage (bytes)=447610880
14/04/08 19:38:20 INFO mapred.JobClient:     CPU time spent (ms)=0
14/04/08 19:38:20 INFO mapred.JobClient:     SPLIT_RAW_BYTES=109
14/04/08 19:38:20 INFO mapred.JobClient:     Combine input records=179
14/04/08 19:38:20 INFO mapred.JobClient:     Reduce input records=131
14/04/08 19:38:20 INFO mapred.JobClient:     Reduce input groups=131
14/04/08 19:38:20 INFO mapred.JobClient:     Combine output records=131
14/04/08 19:38:20 INFO mapred.JobClient:     Physical memory (bytes) snapshot=0
14/04/08 19:38:20 INFO mapred.JobClient:     Reduce output records=131
14/04/08 19:38:20 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=0
14/04/08 19:38:20 INFO mapred.JobClient:     Map output records=179
root@ailabhadoop:/home/redcarrot/hadoop-1.0.3#

• 결과 확인
  

$ bin/hadoop fs -cat README.txt.result1/*

root@ailabhadoop:/home/redcarrot/hadoop-1.0.3# bin/hadoop fs -cat README.txt.result1/*
Warning: $HADOOP_HOME is deprecated.

(BIS),  1
(ECCN)  1
(TSU)   1
(see    1
5D002.C.1,      1
740.13) 1
<http://www.wassenaar.org/>     1
Administration  1
Apache  1
BEFORE  1
BIS     1
Bureau  1
Commerce,       1
Commodity       1
Control 1
Core    1
Department      1
ENC     1
Exception       1
Export  2
For     1
...

---

Reference : 직접 해보는 하둡 프로그래밍, 이지스퍼블리싱, 한기용 저