안녕하세요. 질문이 있습니다. redis를 써서 네트워크 트래픽이 필요한것같은데요?! 자바에 hashmap등을 써서 300만개든 1000만개든 넣어서 쓸수 있을텐데 네트워크 처리가 아닌 in-memory로 처리하는 거죠 제경우 300만개이상에 계산을 해시에 넣고 자바에서 즉 in-memory로 쓰는데 문제가 없었는데... 단일 jvm안에서 한프로그램으로 돌리면 충분하지 않을까요? 제가 한 300만개 계산은 했을때 문제가 없었구요 메모리가 부족이 걱정되는 경우(1000만 정도는 문제 없을것 같은데) 1000만개이상 많다면 분산해서 (jvm 여러개 나누어서) 처리하고 (단 계산방법은 단순 복잡한 경우는 뭐 기타 처리를 해야겠지만 가능할 듯) 각 분산된 결과를 모아서 한번더 계산하면 될듯 굳이 redis를 써야 하는 이유가 궁금합니다. 잘 강의 들었습니다.
![[Data] Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 / if(kakao)dev2022](http://i.ytimg.com/vi/2IIwQDIi3ys/mqdefault.jpg)
잘봤어요 감사합니다 ^^!!
40분간 발표하시느라 수고 많으셨습니다! 내용 굉장히 알차네요...!!! 안그래도 유저 데이터 늘어나면서 배치시간도 같이 늘어나고있는 상황이라 고민이 많았는데 배치 최적화를 하는데 큰 도움이 되었습니다
40분에 대용량 배치에 관한 거의 모든 내용이 알차게 담겨있네요.
대용량 처리를 위해 얼마나 세부적인 내용까지 신경을 써야하는지 간접적으로 나마 깨닫게되었습니다.
알찬 영상 잘 보고갑니다.
유용한 내용이 많네요! 공유 감사합니다 (_ _)
와 내용 너무 좋아요 ㅠㅠ 감사합니다
잘 보았습니다! 고맙습니다!!
와우 발표 잘하세요 ~
좋은 자료 감사합니다
JdbcCursorItemreader 를 대용량batch 에 사용할 경우 Connection Timeout 을 설정하는게 중요할텐데 혹시 몇 ms 가 적절한지 테스트된게 있을까요?
안녕하세요.
질문이 있습니다.
redis를 써서 네트워크 트래픽이 필요한것같은데요?!
자바에 hashmap등을 써서 300만개든 1000만개든 넣어서 쓸수 있을텐데
네트워크 처리가 아닌 in-memory로 처리하는 거죠
제경우 300만개이상에 계산을 해시에 넣고 자바에서 즉 in-memory로 쓰는데 문제가 없었는데...
단일 jvm안에서 한프로그램으로 돌리면 충분하지 않을까요? 제가 한 300만개 계산은 했을때 문제가 없었구요
메모리가 부족이 걱정되는 경우(1000만 정도는 문제 없을것 같은데)
1000만개이상 많다면 분산해서 (jvm 여러개 나누어서) 처리하고 (단 계산방법은 단순 복잡한 경우는 뭐 기타 처리를 해야겠지만 가능할 듯)
각 분산된 결과를 모아서 한번더 계산하면 될듯
굳이 redis를 써야 하는 이유가 궁금합니다.
잘 강의 들었습니다.
오...나도 1억건 해보고싶다..오..
굿 입니다