Excellent job! The step-by-step explanation is so clear that even beginners can follow along easily. I tried it out and everything worked perfectly. Much appreciated for this valuable sharing!
Oke cảm ơn anh nhé. Mong anh ra sớm ạ. Em củng muốn làm một project DE xem thế nào mà nội cái phần setup các tool để làm thì em thua, thật sự khá sốc với phần set up anh
@@duynghiavo7915 yes,em nói đúng đó.Anh nhận thấy trước khi muốn build 1 data pipeline gì đó,thì việc dựng lên hạ tầng rất quan trọng,có hạ tầng rồi mới dev dc
@@duynghiavo7915 việc build trên docker cũng cần phải học ,biết và blabla....rồi sau đó mới lên Kube hay này kia...Còn không thì có thể sài full-service cloud.Nma anh thấy việc tiếp cận open-source và tự dev trước là tốt và tư duy hơn.Có mấy a chia sẻ là,trong cv họ cũng tự build opensource r dev trên docker này kia trước(vd: tiền đâu mà chọc vào api Databricks để sài spark để dev,nên cài spark trên máy để dev trước)
thực ra các config này ,mình có thể tham khảo các repo có sẵn như của anh nè,vì thường nó xoay quanh các tham số đó thôi nha.Còn em muốn xem chi tiết hơn , thì tại dockerhub của Spark ,nó có sẵn hết,thường nó sẽ là mặc định,còn em muốn config thì em liệt kê nó ra trên docker-compose nha. Anh gửi link em tham khảo: hub.docker.com/r/bitnami/spark
em muốn dùng pyspark hả,spark = SparkSession.builder \ .appName("MySparkSession") \ .master("spark://192.168.1.197:7077") \ .getOrCreate(),em chỉnh lại cái địa chỉ IP theo các IP wifi mà máy em đang sài á.
Excellent job! The step-by-step explanation is so clear that even beginners can follow along easily. I tried it out and everything worked perfectly. Much appreciated for this valuable sharing!
hướng dẫn và giải thích rất chi tiết ạ, mong anh ra nhiều video hơn
Cảm ơn bạn
Bạn ơi ra video chỉ cách cài đặt kafka và kết hợp với spark đi
mn muốn mình làm video về chủ đề nào comment bên dưới nhé.
Tuyệt lắm cộng sự, cùng nhau làm chủ xu thế Data nào. Fighting !!!
Cảm ơn anh, những chia sẻ của anh rất hữu ích ạ.
github.com/nguyenthanhhungDE/Install-Spark
Anh hướng dẫn setup dagster hay airflow trên docker đi ạ. Vì hầu như một project đều phải setup môi trường chung với nhau ạ.
Oke em,anh sẽ hướng dẫn Dagster nhé
Oke cảm ơn anh nhé. Mong anh ra sớm ạ. Em củng muốn làm một project DE xem thế nào mà nội cái phần setup các tool để làm thì em thua, thật sự khá sốc với phần set up anh
@@duynghiavo7915 yes,em nói đúng đó.Anh nhận thấy trước khi muốn build 1 data pipeline gì đó,thì việc dựng lên hạ tầng rất quan trọng,có hạ tầng rồi mới dev dc
@@duynghiavo7915 việc build trên docker cũng cần phải học ,biết và blabla....rồi sau đó mới lên Kube hay này kia...Còn không thì có thể sài full-service cloud.Nma anh thấy việc tiếp cận open-source và tự dev trước là tốt và tư duy hơn.Có mấy a chia sẻ là,trong cv họ cũng tự build opensource r dev trên docker này kia trước(vd: tiền đâu mà chọc vào api Databricks để sài spark để dev,nên cài spark trên máy để dev trước)
dạ anh ơi hướng dẫn setup hadoop trên docker với ạ :((
oke anh sẽ cố gắng nha
@@hungnguyenthanh4101 dạ em cảm ơn ạ
It's very useful for beginners. But can you use the English version? Hope in the next video you can update it.
Thanks u,i try it
cho em hỏi tại sao anh có thể biết các tham số để có thể cấu hình file yml vậy ạ
hi em
thực ra các config này ,mình có thể tham khảo các repo có sẵn như của anh nè,vì thường nó xoay quanh các tham số đó thôi nha.Còn em muốn xem chi tiết hơn , thì tại dockerhub của Spark ,nó có sẵn hết,thường nó sẽ là mặc định,còn em muốn config thì em liệt kê nó ra trên docker-compose nha.
Anh gửi link em tham khảo: hub.docker.com/r/bitnami/spark
@@hungnguyenthanh4101 thanks anh
Video rất hữu ích anh ạ. Em cũng đang định hướng theo DE và video đúng kiến thức em đang cần. Cho em hỏi a sinh viên năm mấy vậy ạ.
Anh vừa bảo vệ tốt nghiệp hôm qua nè,anh 2k2.
dạ a ơi e cho hỏi làm sao chạy file py.ipynb ạ
giống như nó kết nối với nhau ấy a
em muốn dùng pyspark hả,spark = SparkSession.builder \
.appName("MySparkSession") \
.master("spark://192.168.1.197:7077") \
.getOrCreate(),em chỉnh lại cái địa chỉ IP theo các IP wifi mà máy em đang sài á.
@@hungnguyenthanh4101 Dạ e cảm ơn a ạ
@@hungnguyenthanh4101 sao laij ip wiffi nhỉ