카프카에서 Topic의 Partition을 Consumer에게 어떻게 할당할 것인지에 대한 전략. (주요 참고 내용은 아래 링크 블로그를 참고 함) https://medium.com/streamthoughts/understanding-kafka-partition-assignment-strategies-and-how-to-write-your-own-custom-assignor-ebeda1fc06f3 나중에 수정될지는 모르겠지만 읽고 특징과 단점을 정리 1. Range Assignor Consumer member_id를 lexicographic (사전식)으로 정렬한 뒤, Topic의 각 Partition을 Numeric순으로 Consumser에게 할당한다. 문제점으로 보이는 부분은 같다. - Topic의 P..
앞서 작성한 Kafka 클러스터 구축 내용을 정리하면서, (https://c-diary.tistory.com/3) 아무 생각없이 따라한 ZooKeeper (3 Node)에 대해 다시 찾아본 내용을 정리했다. 일단 기본적인 정보는 아래 두 블로그에 잘 나와 있다. https://engkimbs.tistory.com/660 https://paulsmooth.tistory.com/156 가장 먼저 확인하려고 했던 왜 3 node인지는 확인했다. 일단, ZooKeeper는 전체 node의 과반수가 살아있는 시점까지는 Fault Tolerance를 보장한다. 과반수를 정한다는 점에서 Falut Tolerance를 보장하는 최소 수는 3node이다. 3 node에서는 1개 server의 Fault에 대해서 Faul..
Kafka를 1도 모르면서 Kafka를 모니터링하는 프로그램 개발을 하게 되어 처음으로 해보게 된 것이 Kafka 클러스터 세팅이다. 구글링하면서 진행했는데 같은 실수를 반복하지 않기 위해, 그리고 시작하면서 우려스러웠던 점들 확인했던것들을 기록하고자 진행내용을 정리해본다. 1. AWS 서비스 가입 및 결제수단 등록 - 특별한 이슈 사항 없음. 2. Kafka 클러스터 구축을 위한 VM 인스턴스(EC2 : Elastic Compute Cloud) 생성 - 가입후 첫 화면에서 '솔루션 구축' > 'EC2를 사용하여 가상 머신 시작' 을 선택하여 진행 1) AMI선택 "Amazon Linux 2 AMI (HVM), SSD Volume Type"으로 진행했는데, 지금 다시보니 "Amazon Linux AMI ..