Study/Hadoop 4

Step 1~3. 하둡(Hadoop) 설치, 환경설정, 예제(WordCount) 테스트 까지.

본 문서는 하둡(Hadoop)과 자바(JAVA)을 설치하고 기본적인 설정(의사분산모드) 후 예제 테스트까지하는 방법을 기술하고 있다. 본 문서의 내용은 본 문서가 작성된 일자 이전 대해서 확인 된 방법으로써 이후 변경된 내용을 담고 있지 않거나 혹은 일부는 추후 업데이트할 예정이다. common에 있는 것으로 다운로드 (차이점은 모르겠음)wget http://archive.apache.org/dist/hadoop/common/hadoop-1.0.3/hadoop-1.0.3.tar.gz --wget http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/hadoop-1.0.3.tar.gz tar xvfz hadoop-1.0.3.tar.gz root@ailab-ha..

Study/Hadoop 2014.04.28

Step3. 의사 분산 모드 (Pseudo Distributed Mode)

본 문서는 하둡(Hadoop)에서 의사 분산 모드(Pseudo Distributed Mode)를 설정하는 방법을 기술하고 있다. 본 문서의 내용은 본 문서가 작성된 일자 이전 대해서 확인 된 방법으로써 이후 변경된 내용을 담고 있지 않거나 혹은 일부는 추후 업데이트할 예정이다. 의사 분산 모드? (Pseudo Distributed Mode) 하나의 서버에서 하둡 소프트웨어 데몬들을 모두 실행하여 HDFS를 사용함. 데몬들은 다음과 같음. - 네임노드- 2차 네임노드- 데이터노드- 잡 트래커- 태스크 트래커 conf/hadoop-env.sh 수정 $ vi $HADOOP_HOME/conf/hadoop-env.sh 내용은 아래와 같다. # The java implementation to use. Require..

Study/Hadoop 2014.04.10

Step2. 하둡(Hadoop) 설치 및 독자 모드

본 문서는 하둡(Hadoop)과 자바(JAVA)을 설치하고 기본적인 설정하는 방법을 기술하고 있다. 본 문서의 내용은 본 문서가 작성된 일자 이전 대해서 확인 된 방법으로써 이후 변경된 내용을 담고 있지 않거나 혹은 일부는 추후 업데이트할 예정이다. 하둡(Hadoop) 다운로드$ wget http://archive.apache.org/dist/hadoop/core/current/hadoop-2.3.0.tar.gz경로는 http://archive.apache.org/dist/hadoop/core/current/ 에서 최신 버전링크를 확인하여 진행한다. 하둡 압축 해제$ tar xvfz hadoop-2.3.0.tar.gz 하둡 설치 위치를 환경변수에 설정$ export HADOOP_HOME=/home/[본인..

Study/Hadoop 2014.04.08

Step1. 우분투(Ubuntu) 기초

본 문서는 하둡(Hadoop)을 설치하고 진행하기에 앞서 필요한 우분투 설치 과정 및 기본적인 설정 과정을 기술하고 있다. 본 문서의 내용은 본 문서가 작성된 일자 이전 대해서 확인 된 방법으로써 이후 변경된 내용을 담고 있지 않거나 혹은 일부는 추후 업데이트할 예정이다. 우분투 설치http://www.ubuntu.com/download/desktop 에서 Ubuntu Desktop 버전을 다운로드 받음. (이 문서 작성 일자 기준 Ubuntu 12.04 LTS 버전을 다운로드 받음.)우분투 이미지(ubuntu-12.04.4-desktop-amd64.iso) 파일을 USB 드라이브로 설치하기 위해 유넷부트인(UNetbootin)을 다운로드 받아 설치용 USB 메모리를 만들어서 진행함. 유넷부트인으로 IS..

Study/Hadoop 2014.04.08