- Sqoop은 SQL to Hadoop의 약어입니다.
- 관계형 데이터베이스와 Hadoop 간 데이터 이관을 지원하는 툴입니다.
- RDB와 Hadoop 간 대량 데이터 전송이 가능합니다.
- Sqoop을 사용하면 RDB 데이터를 "HDFS, 하이브, Hbase"에 Import/Export할 수 있습니다.
- 클라우데라에서 개발하였고, 아파치 오픈소스 프로젝트로 공개되었습니다.
아키텍처
- RDB를 읽고 쓸 수 있는 "커넥터"라는 개념을 사용합니다.
- 커넥터는 각 DB별로 구현되어 있습니다.
- JDBC 드라이버를 사용해 DB접속 및 쿼리 실행을 요청합니다.
참고자료
https://excelsior-cjh.tistory.com/56
https://tomining.tistory.com/54
https://docs.ncloud.com/ko/hadoop/chadoop-4-1.html
댓글 없음:
댓글 쓰기