Kafka 2. Kafka - Connector MongoDB replication & writeConcern Debezium, Mongodb Kafka Connector 등 MongoDB CDC 를 붙이려면 우선적으로 이해해야 하는 부분이 MongoDB oplog고 oplog를 이해하려면 MongoDB Replication과 writeConcern에 대한 이해가 필요하다. replication 환경이나 sharding 환경에서 oplog를 사용할 수 있으며, write 관련된 처리는 writeConcern 설정에 의해 제어됨 Replication https://www.mongodb.com/docs/manual/replication/
Kafka 1. Kafka - 논문 Kafka: a Distributed Messaging System for Log Processing, LinkedIn Corp. 2011 예전 논문이지만 Kafka의 기본 원리나 내부 구조를 알 수 있을거라 생각하고 해당 논문 내용을 정리한다. 1. Introduction it 회사에는 많은 양의 로그 데이터가 존재한다. 1. 유저의 입력 이벤트 ex) 로그인, 페이지 뷰, 클릭, 좋아요, 댓글, 공유, 검색 쿼리 등.