Lộ diện Data Lake, Data Warehouse và ví dụ thực tế với Hadoop, Hive, Spark
ฝัง
- เผยแพร่เมื่อ 9 ต.ค. 2022
- Hello mọi người, bữa nay mình mang tới một siêu phẩm nè.
Bữa giờ mình nói về Data Warehouse, Datalake, Spark, Hadoop này nọ quá chừng mà có ai biết nó là cái gì, nhìn nó ra sao đâu. Ở video này mình làm một cái demo nho nhỏ để mọi người hình dung ra được Data Warehouse nó trông như thế nào. Ứng dụng Hadoop để build Data Warehouse, Datalake ra sao nha.
Anh chị em xem vui vẻ. Cám ơn đã ủng hộ mình.
Fanpage: dataguystory
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore. Hy vọng những video của mình sẽ giúp đỡ các bạn phần nào đó bước trên con đường Data này.
Special thanks to: Jay Chua and Larry Xu for the intro video
Music composed by Nhạc sĩ AI - Bảo Đại.
![[TH] VCT Pacific Stage 2 - Playoffs Grand Final // GEN vs DRX](http://i.ytimg.com/vi/Su6gA_UPs9s/mqdefault.jpg)
Nhiều bạn thắc mắc cái tool mà tui sử dụng trong video. Đây là cái tool tui tự chế dùng library faker, bạn nào quan tâm thì link đây nha github.com/canhtran/dgscli
Dạ a ơi, e có tải tool của a trên gib và về generate data thử nhưng cứ bị báo lỗi "ModuleNoteFoundError: No module named 'click'". Nếu có thể a cho e hỏi e cần làm thêm bước nào để chạy được tool ạ. E cảm ơn a!!!
@@tamhuynh8868 cài click vào nhé. pip install click
@@DataGuyStory e cảm ơn a lắm ạ !!
Hay quá a Cảnh ơi, đừng bỏ channel nhé anh ơi vì anh là 1 trong số ít những người ở VN làm các chủ đề về Data Engineer. Dù giá trị kinh tế có thể mang lại không được bao nhiêu so với công sức, nhưng giá trị anh mang lại cộng đồng những người đang theo đuổi lĩnh vực data là rất lớn, keep up the good work! As a new grad engineer của Holistics, thật vui khi Holistics được anh mention tới cùng với 2 ông lớn BI PowerBi và Tableau trong các blog và youtube video của anh. Là 1 BI product của người Việt, hy vọng tool sẽ được mọi người gọi tên và biết tới nhiều hơn hehe
haha, cám ơn Triết. Nói anh Huy tài trợ cho anh để anh làm video về Holistics nào, nghèo quá không có bản quyền để làm demo :)))
@@DataGuyStory Sure thing anh :)))
hay quá a ơi
theo dõi anh từ những clip dầu vì thích cách edit và dẫn dắt của anh. Và khi nghe anh nói là anh sẽ đọc hết comment của mọi người, em cảm thấy rất trân trọng. Em cũng đang mày mò học thêm về Spark. Hóng 1 clip a chia sẻ chuyên sâu 1 chút về các cách tối ưu khi xài Spark SQL join
video chất lượng quá, cảm ơn Cảnh. Lâu nay chưa hình dung được HDFS lưu file như thế nào. Nay đã clear được rồi. Hy vọng Cảnh tiếp tục những series như vậy
Mình cũng đang nghiên cứu triển khai data lake cho công ty mình. Mong bác ra nhiều video về data lake, data warehouse, các công cụ thiết kế data pipeline, etl, ingestion để học hỏi thêm. Cám ơn bạn nhiều nhé !
Mình thích các video tổng quan thế này. Nó dễ tiếp cận với đại đa số người mới như mình. Cái khó nhất của một người mới như mình là họ cần biết là kiến thức đó nó giải quyết được gì. Và mình thấy các video của bạn đã làm được điều đó.
Mình không chuyên về data nhưng thấy bạn giải thích dễ hiểu nên thật sự mình hy vọng bạn ra nhiều videos hơn để mọi người có thể học tập thêm.
Nếu có tut thì càng tốt. Chúc bạn thành công
Video hữu ích lắm ạ! Mình có thể nói là chưa hiểu 100% về big data nhưng xem video của bạn xong thì độ tự tin của mình tăng hẳn :D
em không phải Data Engineer nhưng yêu thích xem mọi người làm gì với data, xem video của anh cuốn lắm ạ. Không quá nặng về kỹ năng code - em không biết code sql mà xem vẫn thấy hay, video thiên về tư duy logic để giải quyết vấn đề, video hay lắm anh ạ. Bật chuông đợi video tiếp theo của anh ạ hehe :v
hay quá a ơi 😍😍😍 A làm video kiểu này hay nè a...nó giúp có một cái nhìn tổng quan hơn cho các bạn đang học DE. Mong a ra thêm nhiều vid như này nữa
Cám ơn anh Cảnh. Em có biết anh thông qua vài video của anh Hoàng code dạo, mà không biết là anh có kênh youtube riêng. Em làm software bên Canada, tuy không chuyên về data nhưng video của anh giúp em có thêm ý tưởng để giải quyết một vài vấn đề hiện tại trong công ty. Hy vọng anh có thể ra thêm nhiều video hay như thế này nữa. Chúc anh sức khoẻ!
mình thực sự cảm ơn Cảnh nhiều nha, thực sự bổ ích đừng bỏ channel nhé Cảnh ơi vì anh là 1 trong số ít những người ở VN làm các chủ đề về Data Engineer. Dù giá trị kinh tế có thể mang lại không được bao nhiêu so với công sức, nhưng giá trị anh mang lại cộng đồng những người đang theo đuổi lĩnh vực data là rất lớn
Video quá hay. Cấu trúc dễ hiểu mạch lạc, thao tác với terminal + Vim cực mượt mà. Xem đã mắt ghê gớm.
Xịn quá anh. Nhờ có anh mà mấy khái niệm, kiến trúc về data đỡ mờ mịt hơn
hay quá. chờ a mãi. đó giờ cứ thắc mắc dữ liệu lưu dạng nào, hình thù ra sao. nay dc a giải thích.
Cảm ơn anh vì những kiến thức bổ ích ạ. Hi vọng anh sẽ cố gắng ra thêm nhiều video anh nhé!
Hay quá anh ơi, dễ hiểu bằng cả 1 khóa học Big Data em học ở trường đại học.
hay quá anh ơi, mong anh tiếp tục ra video kiểu này. Em đang từ BE chuyển sang học DE, video của anh hữu ích quá. Em chúc anh sức khỏe và tiếp tục ra những video như này ạ.
oh my god luôn, em rất thích video dạng như này luôn á anh tại em cũng đang là sinh viên năm 3 chuyên ngành khoa học dữ liệu giống anh nên kiểu coi video như học được những cái hay ho vì vậy mong anh hãy ráng ra video nha anhhh.
Video của anh hay quá ạ. Kiến thức rất bổ ích
Video của bạn hay và bổ ích quá. Mình mới chuyển qua Data Analysis nên rất cần những video như thế này.
Video rất hay, đúng thứ mình đang tìm kiếm. Hy vọng bác sẽ ra thêm nhiều video nữa.
Nếu được thì nhờ bạn có thể làm tiếp series phần 2 với nguồn vào đổ vào datalake thêm một nguồn nữa là NoSQL, sau đó phần ETL kết hợp giữa 2 loại dữ liệu SQL và NoSQL để đổ vào datawarehouse
Quá đã a ơi. Video được edit nhìn hút hơn hẳn
em còn nhớ bài về JAV của anh mà giờ anh ra tới cái này rồi hay quá. Em thấy đa phần tụi em có thể tự học phần code, học trên mạng nhiều tài liệu tuy nhiên tụi em bị thiếu về phần ý tưởng để thực hiện và công cụ nào thực hiện các steps đó. Mong anh ra video dạng đó nhiều hơn em cám ơn anh ạ.
hay quá bạn ơi. Giúp các bạn chưa biết tới Data có cái nhìn trực quan, dễ hiểu hơn. THanks b nhiều
Cám ơn bạn đã tạo ra video rất bổ ích. Hy vọng bạn tiếp tục ra những video tiếp theo. Cám ơn bạn một lần nữa.
cám ơn anh vì video hữu ích. mong chờ những video chia sẻ tiếp theo ạ.
Hay lắm anh ơi mong anh ra nhiều bài về DE DA nhiều hơn nữa
Hóng lâu lắm rồi giờ mới ra clip 🥺
Cám ơn anh đã làm ra một video thú vị dành cho các bạn mới vào nghề ạ
hay quá anh ơi. Mong anh ra nhiều video hơn ạ. Cảm ơn anh.
Video bổ ích lắm ạ. Em đang học thêm về DE, hi vọng anh có thể public link project em tự cài cắm nghiên cứu thêm ạ, thank anh
Video hay a ơi ^^ a chia sẻ thêm về cách để sắp xếp và làm sạch dữ liệu thô để lưu vào DWH với ạ
Cực thích video kiểu này nha anh. Cho 2 like luôn !
hay quá anh ! Hy vọng anh ra nhiều video hơn nữa ạ
Chờ anh ra thêm nhiều video ạ
đỉnh quá anh, video tới làm về data lake vs data warehouse vs data lakehouse đi anh. Cảm ơn anh vì những video bổ ích
có luôn nhé. Anh đang định làm cho video tiếp theo á
Hay quá anh ơi, anh có thể phóng to code ra tí thì quá tốt :>
Hi, your videos are very intriguing. I'm also working in Data Engineering and BI in Toronto. Glad to know you and hope to have a chat about this area in the future
hay quá anh ơi, mong anh làm thêm nhiêu video
Cảm ơn anh đã có một video trực quan.
Phần sử dụng hive nằm trên tầng HDFS để xem dữ liệu dưới dạng table thì e mới được thấy lần đầu. Cảm ơn a nhiều nhé.
Anh chính là người cho em cảm hứng để theo DE, lâu rồi anh mới ra video mà video kiểu thực chiến như này ok lắm anh. Chúc anh nhiều sức khoẻ để có thể ra thêm nhiều video bổ ích nha.
Chào anh, anh có biết nguồn nào về data engineer roadmap không ạ
Cảm ơn anh nhiều lắm ạ
Rất bổ ích
A Cảnh mãi đỉnh 😍
Video quá hay, quá thực tế. Cảm ơn anh!
Hay quá, làm thêm nhiều video nữa nhé anh
đang ngồi học sql, data lại nhớ đến a. lâu quá rồi không thấy a ra clip mới. mong a sớm trở lại.
tuyệt quá a xem xong có động lực lắm
Cảm ơn anh rất nhiều vì video cực kì bổ ích ạ
Em cảm ơn anh rất nhiều, em mới bắt đầu học DE, những video của anh giúp em rất nhiều luôn ạ
bạn ơi bạn có ròadmap k mình xin vs
a làm thêm về elastic search vs redis trong proj data thực tế đi ạ. tks a
nghe xong choáng váng quá
hay quá! mình đang muốn làm data engineer mà coi xong cũng thấy nhiều công cụ chưa biết quá. hơi buồn nhẹ
new intro ngầu quá ạ 😤
không uổng công mướn hàng xịn về làm :))
cảm ơn anh ạ! quá hay và bổ ích
hay quá ạ❤ Cảm ơn anh rất nhiều
anh làm thêm về datalakehouse đi anh nghe thấy ngta bảo kiến trúc vượt trội lắm
Em cảm những chia sẻ thú vị và hữu ích của anh ạ
Cảm ơn rất nhiều ! It's very helpful.
Chuyên sâu và dễ hiểu, vui tính + đẹp trai :v e like + sub vào 1:47
cảm ơn anh! video quá hay
Không cần tutorial step by step đâu a Cảnh. Chỉ cần hướng dẫn flow etl từ a tới z ntn cho những proj và cv thực tế của DE là dc. Tụi e tự học để làm dc như v hay hơn tutorial nhìn code.
Giờ mới được mở rộng tầm mắt. Thnx. 👍. Có thể cho mình hỏi nếu muốn học về những công nghệ này mình phải chạy trên MacOS ko bạn?
Mình tay ngang từ iOS, xem cuốn quá ❤
video của bạn rất là hay, cảm ơn bạn
Bổ ích quá thanks bạn
This is an amazing project. Many thanks from Indonesia. God bless you. 🙏
Tuyệt vời quá a ơi
Cảm ơn bạn nhiều, video hay lắm
Cảm ơn bạn. Thích :)
Em cảm ơn anh nhiều ạ :)
hello Cảnh.
Bữa h a có xem qua blog của Cảnh & các video trên TH-cam thấy rất bổ ích & muốn chuyển sang làm Data Engineer.
Nhưng câu hổi là:
Học ở đâu bám sát nội dung cần thiết nhất ? Chi phí thấp nhất ?
Vì hiện tại a có tham khảo leetcode, Coursera, DataCamp & Udacity thì thấy giá cao so với đồng lương ít ỏi của a hiện nay.
Ví như Udacity thì khoảng 500$ cho 5 months
Cám ơn Cảnh
rẻ nhất và bám sát nhất là tự học thôi anh. Bám sát theo documentation. Anh có thể tham khảo cái lộ trình ở đây facebook.com/dataguystory/posts/pfbid02tFwzzPqvnHxyN3zRsr8fw78rV2Mjf8Ss494W5oGn3nuXPqUDisjViDoj5S5VLdm9l
@@DataGuyStory cám ơn Cảnh nhé
Video rất hay anh ơi, 1000 likes cho anh.
Mà trên server của big data sẽ chạy tự động như thế nào trong thực tế ạ?
Và việc incremental loading sẽ lấy update record từ application như thế nào anh?
Thực tế chạy tự động, người ta sẽ sử dụng scheduler như airflow hoặc luigi em nhé. Còn incremental loading thì đa phần là append và insert. Muốn upsert hiệu quả nhất thì em có thể tham khảo CDC (Change Data Capture)
Cảm ơn bạn nhiều nhé.
Cảm ơn bạn giải ngố cho mình🎉
hay quá, cảm ơn anh
Cảm ơn a.Cảnh đã ra video giải thích rất rõ. Nhưng mà em có 1 thắc mắc cho em hỏi là lúc mình ingestion thì chắc chắn là để dạng raw data rồi, và trong video em thấy anh lưu ở định dạng parquet, vậy còn những định dạng readable khác thì sao ạ, ví dụ: csv, json,... Trong thực tế mình làm thì mình luôn ưu tiên raw data là parquet hay sao ạ.
yea, trong thực tế thì người ta prefer lưu ở parquet hoặc arvo hơn. Trừ những trường hợp bất khả kháng như heavily nested json hoặc âm thanh, hình ảnh. Parquet/Arvo nó nén với tối ưu hóa chi phí.
mình nhảy việc từ khối ngành kinh tế sang vị trí xây dựng report ở bank, mình ko chắc vị trí của mình có phải data engineer ko vì hệ thống data của bên mình do công ty mẹ ở nước ngoài làm, mình chỉ là xây dựng những report theo yêu cầu của user. Nhưng nhờ xem video của bạn mình tìm thấy khá nhiều điều hay ho và muốn học hỏi thêm. Cảm ơn bạn rất nhiều
vị trí này thường hay gọi là BI Engineer hoặc một số cty gọi là Data Analyst đó bạn
@@DataGuyStory cảm ơn bạn nhé. Mình cũng chỉ mới chuyển ngành, mới biết SQL thôi nên còn nhiều cái mơ hồ nhiều lúc ko biết mình ko biết gì để hỏi luôn ấy =)) coi video của bạn giúp mình định hình dc 1 số thứ rồi. Mong sẽ sớm xem thêm nhiều video từ bạn
tuyệt vời luôn anh ơi, keep it up 😍
hữu ích anh ơi 👍👍
Hi vọng được xem tutorial của anh trên github :)
đã lâu rồi không thấy anh đăng video mới, dạy Data...
Anh ơi cho em hỏi là giữa scala2 và scala3 thì mình thường sẽ sử dụng phiên bản nào tại em thấy giữa 2 phiên bản này về các câu lệnh, cú pháp có vẻ khác nhau và liệu nó có chạy hiệu quả hơn với scala3 không vì tại nó là phiên bản mới. Em cảm vì anh đã ra những video chất lượng về chủ đề Data Engineer này và mong a sớm ra video mới.
A nên chỉnh phóng to màn hình lên để đt xem đc nhé
Thanks for your sharing guy
VIdeo hay quá anh ạ.
Em có câu hỏi này mong anh giải đáp: Việc ingest dữ liệu bằng job spark so với cách dùng kafka change data capture thì ưu nhược điểm từng cách ntn ạ và thực tế thì cách nào được sử dụng ạ
CDC nó là real-time ingestion đó em. Còn như trong video là batch ingestion. Sự khác nhau là khi em dùng CDC, mỗi lần data thay đổi nó sẽ ingest vào datalake/data warehouse. Còn batch thì chạy theo scheduler.
Tuỳ theo nhu cầu của cty mà người ta chọn realtime bay batch. Nhưng real time khá tốn kém vì yêu cầu High Availability trong khi batch thì rẻ hơn
@@DataGuyStory Em cảm ơn anh ạ
Hope to see you soon
ủa tự dưng youtube tự động mở cái donate gì đây. Cám ơn em nhé, anh mới tắt rồi đợi nhiều subcribers rồi mở sau :)))
@@DataGuyStory hình như xài TH-cam Premium là thấy á anh. Em thử mở = account khác thì ko thấy "Thanks" button :D
updated: à em thấy button đó ẩn goy` đó anh :D
@@Scorpisces1911 ùa, anh mới tắt. Ai đi xin tiền lộ liễu vậy kì :))
ủng hộ channel
Em đang học môn này trên trường nhưng toàn lý thuyết, nhờ video của anh em hiểu rõ hơn. Cảm ơn anh nhiều, mong anh ra nhiều video tương tự ạ
Mình nghĩ quan trọng là setup ntn thôi
Hi a , e đang tìm hiểu về big data, e thấy video của a rất hay nhưng do mới tìm hiểu nên ko hiểu tại sao lại code bằng file đuôi jar. E đã biết sẳn ngôn ngữ typescript vậy có thể dùng typescrip ko ạ.
Cho em hỏi câu hỏi là nếu mình có rất nhiều file ( tầm triệu hay vài chục triệu bảng) định dạng data như .csv, .xls thì mình sẽ đọc dữ liệu vào postgres SQL như thế nào là tối ưu nhất ạ?
Rất hữu ích
anh ơi , em nghe video của anh rất cuốn ạ ?
nhưng em là người mới bắt đầu , em chưa có thể làm theo anh được . Anh có thể cho em xin link để học tutorial dành cho beginner được không ạ .
Em cày cả tuần video của anh mà vẫn không biết làm sao , làm như nào có thể ra được như vậy ạ
Good job man. 👍
anh cho em hỏi lúc anh connect superset với data warehouse thông qua sparksql, hive hay là presto vậy ạ, em có sử dụng superset và metabase để connect với thông qua hive hay sparksql đều được nhưng khi thực hiện các câu truy vấn count, join sum, cơ bản hay vẽ chart thì nó không hiện gì cả,
quá xịn
×3.14 respects cho anh Cảnh :>