본문 바로가기

Study & Edu/BigData9

빅데이터 분류 ㅇ 빅데이터 아키텍처 단계 - 수집, 저장, 처리, 탐색, 분석, 응용 ㅇ 수집기술: (SW) Flume, Fluented, Scribe, Logstash, Chukwa = 플럼(아파치 최상위 프로젝트, 원자료 수집기술-통신프로토콜.메시지포맷.발생주기.데이터 크기 등) ㅇ 저장기술: - HDFS(대용량파일 영구저장) - NoSQL(대규모 메시징 데이터 영구저장, HBase.MongoDB.Casandra) - 인메모리(Red is, Memcashed) - 메시지 오리엔티드 미들웨어(대규모 메시징 데이터를 임시저장, Kafka.RabbitMQ, ActiveMQ) - 예: 분산파일시스템은 하둡, NoSQL 저장소로는 HBase, 분산캐시저장소는 레디스, 메시지저장소는 카프카(Kafka) = 카프카: 대규모 발.. 2018. 2. 18.
하둡 설치 [1] Virtualbox와 CentOS(DVD ISO) 설치 CentOS URL : https://www.centos.org/download/ [DVD ISO] 버튼 클릭 - Actual Country http://mirror.navercorp.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso Virtualbox URL : https://www.virtualbox.org/wiki/Downloads - VirtualBox binaries Windows hosts 다운 그냥 디폴트 값 되어 있는체로 [next] 하다가 다음과 같은 경고창 뜨면 [설치] 클릭 이 장치 소프트웨어를 설치하시겠습니까? "Oracle Corporation"의 소프트웨어는 항상 신뢰(A) [설치(I)] [설치 안 함(N)] 참조 : http://j.. 2017. 9. 10.
맵리듀스 실습 및 설정 D:\Users\acorn11\Desktop\bigdata\program\springsource\sts-2.5.2.RELEASE 경로로 가서STS.ini오른쪽 마우스 - 열기 해서 아래와 같이 수정하기-vmD:\Users\acorn11\Desktop\bigdata\program\jdk1.5.0_22\bin-dataD:\Users\acorn11\Desktop\bigdata\program 서버1에서 로컬로 복사 명령어 [root@server1 ~]# cd /home/root/[root@server1 root]# lsdfs hadoop-1.0.4-bin.tar.gz hadoop-2.6.0hadoop-1.0.4 hadoop-1.0.4-preset.tar.gz hadoop-2.6.0.tar.gz[root@serv.. 2015. 3. 21.
빅데이터 2틀째 수업, 마지막 시간 필기 [네임노드] [데이터노드1] - 0301.txt -> D1. 0301.txt 0303.txt l D2. 0302.txt l D3. 0303.txt l ↑네임스페이스[클라이언트] l0301.txt l0302.txt ㅣ 0303.txt ㅣ [데이터노드2] - 0302.txt ㅣ [Edit log] ㅣ D2, 0303.txt ㅣ ㅣ ㅣ [세컨더리 NM] - fsimg ㄴD1, 0301.txt D2, 0302.txt D3, 0303.txt ... 위에 내용들 저장(백업).. 만약 네임도느가 장애가 나면 세컨더리 NM에서 데이터 가져옴. Memorydiskcpu+network 네트워크 성능이 좋아야 함. 2015. 3. 14.
수업 두번 째 날 - server1, server2, server3 설정 및 확인 server1192.168.56.101server2192.168.56.102server3192.168.56.103 [CentOS 6 Gnome i386]오른쪽마우스 클릭 -> 복제 -> full clone server1번부터 3번까지 (로그인 하지 않고)차례대로 시 작(->초록색화살표 클릭) ifconfig 1.vi /etc/sysconfig/network 2. server1로 설정NETWORKING=yesHOSTNAME=server1 vi /etc/hosts192.168.56.101 server1192.168.56.102 server2192.168.56.103 server3 system-shutdown 하고 나서 서버 2 시작 2.ifconfig system->network connections - s.. 2015. 3. 14.
vi /etc/profile 안의 내용 - 파란줄만 설정하면 의사분산모드에서 전역에 등록하는법 # /etc/profile # System wide environment and startup programs, for login setup# Functions and aliases go in /etc/bashrc # It's NOT good idea to change this file unless you know what you# are doing. Much better way is to create custom.sh shell script in# /etc/profile.d/ to make custom changes to environment. This will# prevent need for merging in future updates. pathmunge () { case ":${PATH}:" in.. 2015. 3. 7.
하둡 압축풀기 # /etc/profile # System wide environment and startup programs, for login setup# Functions and aliases go in /etc/bashrc # It's NOT good idea to change this file unless you know what you# are doing. Much better way is to create custom.sh shell script in# /etc/profile.d/ to make custom changes to environment. This will# prevent need for merging in future updates. pathmunge () { case ":${PATH}:" in.. 2015. 3. 7.
vi /etc/profile 내용 복붙 -파란색줄 추가 # /etc/profile # System wide environment and startup programs, for login setup# Functions and aliases go in /etc/bashrc # It's NOT good idea to change this file unless you know what you# are doing. Much better way is to create custom.sh shell script in# /etc/profile.d/ to make custom changes to environment. This will# prevent need for merging in future updates. pathmunge () { case ":${PATH}:" in.. 2015. 3. 7.
p)47 에 ssh설정 - 터미널에서 실습한거 복붙 [root@namenode ~]# vi /etc/sysconfig/network[root@namenode ~]# ipconfigbash: ipconfig: command not found[root@namenode ~]# service network restartShutting down loopback interface: [ OK ]Bringing up loopback interface: [ OK ]Bringing up interface eth0: Active connection state: activatedActive connection path: /org/freedesktop/NetworkManager/ActiveConnection/2 [ OK ][root@namenode ~]# ipconfigbash.. 2015. 3. 7.
반응형

티스토리툴바