카프카의 장점은 잘 알겠습니다만 너무 카프카를 은색 탄환처럼 말씀하시는 것 같습니다. 규모있는 스타트업이 아니라면 굳이 고려할 필요가 없을 것 같은데 도입을 하게되면 오히려 오버엔지니어링 성격이 강하지 않을까요? 인건비나 서버비 같은 경제적인 측면에서도 불리할 것 같습니다
안녕하세요 진태규님, 😍댓글달아주셔서 감사합니다. 말씀하신 내용처럼 카프카 같은 분산 처리 스트리밍 플랫폼을 도입할시에는 인건비나 서버비 같은 경제적인 측면을 반드시 고려해야 합니다. 다만, 제가 말씀드리고자 하는 내용은 카프카의 특징인 𝐒𝐜𝐚𝐥𝐚𝐛𝐢𝐥𝐢𝐭𝐲, 𝐇𝐢𝐠𝐡 𝐚𝐯𝐚𝐢𝐥𝐚𝐛𝐢𝐥𝐢𝐭𝐲, 𝐇𝐢𝐠𝐡 𝐭𝐡𝐫𝐨𝐮𝐠𝐡𝐩𝐮𝐭 과 같은 특징들이 빠르게 성장하는 스타트업에서 효과적으로 적용될 수 있음을 말씀드리려고 했습니다. 추가적으로, Managed kafka service(ex. AWS MSK), Third party(ex. fluentd)들이 많아지면서 생각보다 쉽게 적용할 수 있다는 점도 강점인 것을 참고하면 좋을거 같아요. 감사합니다 🙏
안녕하세요 글렌님, 데이터 엔지니어도 내부 아키텍쳐의 다양한 요구사항이 있기 때문에 카프카를 다룰수도, 다루지 않을 수도 있습니다. 실시간 분석 및 스트리밍 서비스를 다루는 데이터 엔지니어의 경우 카프카 클러스터 운영 및 개발을 하실 수도 있습니다. 관련 내용은 아래 링크를 참고하시면 좋을것 같습니다. url : github.com/Team-Neighborhood/I-want-to-study-Data-Science/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4
안녕하세요 곽대훈님😀 저는 주로 apache kafka document와 oreilly의 카프카 핵심가이드, 고승덕님의 카프카 데이터 플랫폼의 최강자 책을 보면서 학습하였습니다. 기본 지식은 책으로 습득하되, 추가적인 상세 로직은 Apache Kafka opensource를 다운받아서 내부로직을 확인하였습니다. 링크는 아래에 달아드리겠습니다.
안녕하세요. 대기업 SI기업에서 BI/DW/CRM 구축 PL, PM직무를 하고있는 직장인입니다. 뒤늦게 데이터엔지니어가 되고싶어서 개인적으로 공부하고있습니다. 하둡, 카프카, 스파크, 파이썬에 대해서 공부하고 있는데요. 이렇게 공부하면 데이터엔지니어 할 수 있을까요? ( ETL개발은 경험있음..). 어떻게 공부를 해야할 지 조언을 받을수있을까요?
데이터엔지니어란? 필요 역량 및 자격요건 url : github.com/Team-Neighborhood/I-want-to-study-Data-Science/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4
안녕하세요 @Chris Hang Sun Kim 님, 카프카 책 2권을 추천드리는데요. 아래 링크 공유드릴게요~! 댓글감사합니다. 쿠버네티스도 한번 준비해보겠습니다^^! - www.yes24.com/Product/Goods/59789254?Acode=101 - www.yes24.com/Product/Goods/65418488?scode=032&OzSrank=10
안녕하세요 justion Seo님. RDBMS(ex Mysql)과 Kafka는 전혀 결이 다르다고 볼 수 있습니다. Kafka는 fast pub-sub 플랫폼으로서 scale out, fault-tolerant의 특징을 가지고 있습니다. RDBMS와 다르게 데이터를 무한한 시간동안 저장할 수 없으며 또한 특정 데이터를 바로 뽑아낼 수도 없습니다. 그러므로 RDBMS, Kafka는 각각의 역할에 맞는 용도로 사용하시면 될것입니다. 댓글달아주셔서 감사합니다 😀
카프카의 장점은 잘 알겠습니다만 너무 카프카를 은색 탄환처럼 말씀하시는 것 같습니다. 규모있는 스타트업이 아니라면 굳이 고려할 필요가 없을 것 같은데 도입을 하게되면 오히려 오버엔지니어링 성격이 강하지 않을까요? 인건비나 서버비 같은 경제적인 측면에서도 불리할 것 같습니다
안녕하세요 진태규님, 😍댓글달아주셔서 감사합니다.
말씀하신 내용처럼 카프카 같은 분산 처리 스트리밍 플랫폼을 도입할시에는 인건비나 서버비 같은 경제적인 측면을 반드시 고려해야 합니다. 다만, 제가 말씀드리고자 하는 내용은 카프카의 특징인 𝐒𝐜𝐚𝐥𝐚𝐛𝐢𝐥𝐢𝐭𝐲, 𝐇𝐢𝐠𝐡 𝐚𝐯𝐚𝐢𝐥𝐚𝐛𝐢𝐥𝐢𝐭𝐲, 𝐇𝐢𝐠𝐡 𝐭𝐡𝐫𝐨𝐮𝐠𝐡𝐩𝐮𝐭 과 같은 특징들이 빠르게 성장하는 스타트업에서 효과적으로 적용될 수 있음을 말씀드리려고 했습니다. 추가적으로, Managed kafka service(ex. AWS MSK), Third party(ex. fluentd)들이 많아지면서 생각보다 쉽게 적용할 수 있다는 점도 강점인 것을 참고하면 좋을거 같아요.
감사합니다 🙏
카프카 그렇게 어렵지 않은거 같아요
이걸 왜 이제 봤을까 왜 아무도 안 알려줬어요
유익한 정보 너무 잘봤습니다😍
엄청잘만들었다 영상
영상 좋네요!! 원영님의 카프카 사랑이 느껴집니다 ㅋㅋ 카프카랑 사랑에 빠진 그 시작이 궁금해요!!
안녕하세요! 작은개발자님 🙂 반갑습니다ㅋㅋ 개인적으로 카프카 업무를 맡게 되면서 매력에 빠졌습니다. 왜 카프카를 사용하게 되었을까? 이거 아니면 안되? 라는 생각에 더욱 깊게 공부하게되었습니다.
새로운것을 알게되었습니다 ㅎㅎ
데이터엔지니어가 되려면 카프카중심으로 공부하면되나요?
안녕하세요 글렌님, 데이터 엔지니어도 내부 아키텍쳐의 다양한 요구사항이 있기 때문에 카프카를 다룰수도, 다루지 않을 수도 있습니다. 실시간 분석 및 스트리밍 서비스를 다루는 데이터 엔지니어의 경우 카프카 클러스터 운영 및 개발을 하실 수도 있습니다. 관련 내용은 아래 링크를 참고하시면 좋을것 같습니다.
url : github.com/Team-Neighborhood/I-want-to-study-Data-Science/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4
영상미 너무 좋구요 자막크기도 너무 좋고 이해도 잘되고 말씀하시는 어투도 정말 귀에 잘들어옵니다. 구독 꾹 했습니다~ㅎㅎ 좋은 영상 감사해요!
@SantJ 님 감사합니다💕
전무가님 질문이 있습니다.
1. 카프카의 공장 적용이 적합할까요?
2. 선입선출 대용량 데이터 처리에서 카프카의 효용성이 좋을지?
질문이 모호하지만.. 카프카를 스마트 팩토리에 적용한 사례도 일부 있습니다. 그리고 카프카를 활용하시면 대규모 데이터 처리시 병렬처리를 통해 처리량을 극대화 하실 수 있습니다.
알차고 간결한 영상 감사합니다. 아파치 펄사에 대해서 들은적이 있는데 카프카와 유사한것 같으면서도 차이가 있는 것 같던데 혹시 그 주제를 다루실 생각은 없으신지요?
안녕하세요 @Yongwook Song님, 아파치 펄사의 경우 아직 현업에서 사용하고 있지 않아서 다룰 예정이 없습니다.
댓글달아주셔서 감사합니다. 😀
좋은 영상을 잘보았습니다!
제가 카프카 공부를 이영상 보고 시작해보려하는데,
혹시 어떤식으로 공부하셨는지 여쭈어봐도 될까요?
안녕하세요 곽대훈님😀
저는 주로 apache kafka document와 oreilly의 카프카 핵심가이드, 고승덕님의 카프카 데이터 플랫폼의 최강자 책을 보면서 학습하였습니다. 기본 지식은 책으로 습득하되, 추가적인 상세 로직은 Apache Kafka opensource를 다운받아서 내부로직을 확인하였습니다. 링크는 아래에 달아드리겠습니다.
Apache Kafka source : github.com/apache/kafka
Apache Kafka document : kafka.apache.org/
카프카 핵심가이드 : www.yes24.com/Product/Goods/65418488
카프카, 데이터 플랫폼의 최강자 : www.yes24.com/Product/Goods/59789254
@@DevWonYoung 감사합니다!! 좋은 자료를 기반으로 한번 달려보겠습니다!
안녕하세요. 대기업 SI기업에서 BI/DW/CRM 구축 PL, PM직무를 하고있는 직장인입니다. 뒤늦게 데이터엔지니어가 되고싶어서 개인적으로 공부하고있습니다. 하둡, 카프카, 스파크, 파이썬에 대해서 공부하고 있는데요. 이렇게 공부하면 데이터엔지니어 할 수 있을까요? ( ETL개발은 경험있음..). 어떻게 공부를 해야할 지 조언을 받을수있을까요?
안녕하세요 글렌님, 데이터 엔지니어가 되고 싶다면 기본적인 컴퓨터공학적인 지식을 포함하여 말씀하신 빅데이터 인프라 플랫폼에 대한 전문성을 갖추신다면 추후 지원시 좋은 결과가 있을 것입니다.
문의주신 내용에 대해 잘 정리된 글이 있으니 추가 댓글로 공유드리겠습니다.
데이터엔지니어란? 필요 역량 및 자격요건
url : github.com/Team-Neighborhood/I-want-to-study-Data-Science/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4
와!!!감사합니다^^
안녕하세요 카프카 처음 공부하려고 하는데 책 추천을 좀 부탁드릴게요~^^ 그리고, 가능하시다면 쿠버네틱스에 관한 유튜브 강의도 해주시면 좋을거 같아요~! ㅎ
안녕하세요 @Chris Hang Sun Kim 님, 카프카 책 2권을 추천드리는데요. 아래 링크 공유드릴게요~! 댓글감사합니다. 쿠버네티스도 한번 준비해보겠습니다^^!
- www.yes24.com/Product/Goods/59789254?Acode=101
- www.yes24.com/Product/Goods/65418488?scode=032&OzSrank=10
데브원영 DevWonYoung 감사합니다!^^
그럼 RDBMS와 카프카가 공존할 수 있는건가요? 저장은 RDB나 파일시스템 혹은 하둡에 하고 데이터분산 처리는 카프카가 하는 흐름이 맞나요?
안녕하세요 justion Seo님. RDBMS(ex Mysql)과 Kafka는 전혀 결이 다르다고 볼 수 있습니다. Kafka는 fast pub-sub 플랫폼으로서 scale out, fault-tolerant의 특징을 가지고 있습니다. RDBMS와 다르게 데이터를 무한한 시간동안 저장할 수 없으며 또한 특정 데이터를 바로 뽑아낼 수도 없습니다.
그러므로 RDBMS, Kafka는 각각의 역할에 맞는 용도로 사용하시면 될것입니다.
댓글달아주셔서 감사합니다 😀
적어놓은것 열심히 읽는 모습이 보기좋습니다. 힘내세요.