Impala & Kudu

현재 개발 서버에 Apache Impala & Kudu 구축이 완료 되었습니다.

Apache Impala는 Hadoop에서 실행되는 쿼리 엔진 입니다

HDFS에 적재되어 있는 Data를 SQL을 이용해 실시간으로 분석할 수 있는 시스템 이고 MaapReduce프레임워크를 이용하지 않고 분산 질의 엔진을 이용해 분석하기 때문에 빠른 결과를 제공합니다.

 

kudu는 Apache Hadoop Ecosystem 저장소 중 하나로 Columnar Storage 입니다.

Columnar 형식으로 HBase와 같이 NoSQL이 아니므로 schema를 가지고 있으며, column별로 파일을 저장 합니다.

 

임팔라 구동 화면

Kudu 구동 화면

Impala Table 생성

 

Kudu UI 에서 Impala에 생성된 테이블 확인(kudu 와 Impala 연동 확인)

Table 정보 조회