1주차 빅데이터 소프트웨어

###데이터를 분석에 필요한 것

많은 데이터를 분석하기 위하여 다양한 컴퓨터의 데이터를 연동시 켜야한다

그 데이터양을 처리할 수 있는 속도 가 필요하다

그외에도 다양한 필요요소가 있을 것이다

 

### 데이터의 구성요소

 

데이터 디스크 ---> 분산 처리 시스템 ---> 분산 프로세싱 시스템 ---> 응용 가능하게 할 앱 같은거

 

### 빅데이타 WORKFLOW

1. 서비스 (Service)

2. Data ingestion(분석하는거)

3.Data analysis(예측하는거)  

 

4. Machine learning training(머신러닝 학습)

5. Machine learning interence(머신러닝 추론시스템) 다음은 1.로 다시감

 

### 분산처리를 어떻게 할지 

1. name node

어떤 데이타가 어디있다는 위치를 알려줌

 

2. Client

어떤 일을 해야하는지 얻고 찾아서 읽거나 쓴다