본문 바로가기
BigData

2021 하반기 토이 프로젝트 계획

by jeff제프 2021. 7. 21.

주요 학습 목표 

- kubernetes, docker, EKS

- monitoring (prometheus)

- kafka

- flink

 

회사에 인프라팀이 따로 있다보니 쿠버네티스에 대해서 학습을 따라가지 못하고 있었던 것이 사실이다. 

부족함을 인지하고 이번 기회에 쿠버네티스의 학습을 하기로 했다. 

더불어 요즘 사용중인 kafka, flink 도 구축부터 경험을 해볼 예정이다. 

토이 프로젝트 

kafka, flink를 kubernetes 로 구축하고, 

실시간 데이터는 twitter data stream 을 이용한다. 

키워드를 지정해서 디비에 적재할 수 있는 프로젝트 

 

걱정되는 포인트, 구체화 시켜야 하는 포인트

- 요금

- 적재시키는 디비를 무엇으로 할 것인지.. 레디스가 적합하지 않을까 

- 쓸데 없는 곳에 시간이 쓰이지 않도록 늘 점검하고 조심한다 

쿠버네티스 60%

모니터링 구축 20%

카프카플링크 구축 10%

플링크앱 구축 10%