BigData2 2021 하반기 토이 프로젝트 계획 주요 학습 목표 - kubernetes, docker, EKS - monitoring (prometheus) - kafka - flink 회사에 인프라팀이 따로 있다보니 쿠버네티스에 대해서 학습을 따라가지 못하고 있었던 것이 사실이다. 부족함을 인지하고 이번 기회에 쿠버네티스의 학습을 하기로 했다. 더불어 요즘 사용중인 kafka, flink 도 구축부터 경험을 해볼 예정이다. 토이 프로젝트 kafka, flink를 kubernetes 로 구축하고, 실시간 데이터는 twitter data stream 을 이용한다. 키워드를 지정해서 디비에 적재할 수 있는 프로젝트 걱정되는 포인트, 구체화 시켜야 하는 포인트 - 요금 - 적재시키는 디비를 무엇으로 할 것인지.. 레디스가 적합하지 않을까 - 쓸데 없는 곳에.. 2021. 7. 21. Flink 훑어보기 flink ? "플링크는 구분된 데이터(bounded data) 및 연속 데이터(unbounded data) 스트림에 대해 stateful 하게 처리하기 위한 프레임워크 (분산 처리 엔진)이다" 알아듣기 쉽게 말하면, 스트림 형태로 계속 오는 데이터들을 다루는데 강점이 있는 프레임워크다. 또한, 데이터를 단순히 처리하고 흘려보내는 것이 아니라, 상태를 저장하고 컨트롤이 가능하다. 어렵게 생각하지 말고 일단 코드를 차근차근 보자. object Handler { def handle[E { //걸러낸다 }) .map((o: PredefinedMessage) => { //무언가를 한다 }) .keyBy( (o: Tuple2[Useridentifier, CustomLog1]) => { //그룹화 시킨다 o.f0... 2020. 11. 20. 이전 1 다음