빨간당무 마을

본 문서는 하둡(Hadoop)과 자바(JAVA)을 설치하고 기본적인 설정(의사분산모드) 후 예제 테스트까지하는 방법을 기술하고 있다. 본 문서의 내용은 본 문서가 작성된 일자 이전 대해서 확인 된 방법으로써 이후 변경된 내용을 담고 있지 않거나 혹은 일부는 추후 업데이트할 예정이다. common에 있는 것으로 다운로드 (차이점은 모르겠음)wget http://archive.apache.org/dist/hadoop/common/hadoop-1.0.3/hadoop-1.0.3.tar.gz --wget http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/hadoop-1.0.3.tar.gz tar xvfz hadoop-1.0.3.tar.gz root@ailab-ha..

본 문서는 하둡(Hadoop)에서 의사 분산 모드(Pseudo Distributed Mode)를 설정하는 방법을 기술하고 있다. 본 문서의 내용은 본 문서가 작성된 일자 이전 대해서 확인 된 방법으로써 이후 변경된 내용을 담고 있지 않거나 혹은 일부는 추후 업데이트할 예정이다. 의사 분산 모드? (Pseudo Distributed Mode) 하나의 서버에서 하둡 소프트웨어 데몬들을 모두 실행하여 HDFS를 사용함. 데몬들은 다음과 같음. - 네임노드- 2차 네임노드- 데이터노드- 잡 트래커- 태스크 트래커 conf/hadoop-env.sh 수정 $ vi $HADOOP_HOME/conf/hadoop-env.sh 내용은 아래와 같다. # The java implementation to use. Require..

본 문서는 하둡(Hadoop)과 자바(JAVA)을 설치하고 기본적인 설정하는 방법을 기술하고 있다. 본 문서의 내용은 본 문서가 작성된 일자 이전 대해서 확인 된 방법으로써 이후 변경된 내용을 담고 있지 않거나 혹은 일부는 추후 업데이트할 예정이다. 하둡(Hadoop) 다운로드$ wget http://archive.apache.org/dist/hadoop/core/current/hadoop-2.3.0.tar.gz경로는 http://archive.apache.org/dist/hadoop/core/current/ 에서 최신 버전링크를 확인하여 진행한다. 하둡 압축 해제$ tar xvfz hadoop-2.3.0.tar.gz 하둡 설치 위치를 환경변수에 설정$ export HADOOP_HOME=/home/[본인..