Ủa Database, Datalake, Data Warehouse là gì ? Giải thích bởi Senior Data Engineer
ฝัง
- เผยแพร่เมื่อ 5 ก.ย. 2024
- Chào các bạn, ở video này mình giải thích cho về các khái niệm siêu cơ bản của Data Engineer: Database - Datalake và Data Warehouse nha. Bonus thêm DataMart và vai trò của Data Engineer, Data Analytics, Data Scientist khi làm việc với hệ thống nữa.
Một số thuật ngữ mà mình sử dụng: OLTP, OLAP, Snowflake, Star Schema, Data Modeling
Fanpage: dataguy...
About me: www.calvinio.c...
Chúc mọi người xem video vui vẻ.
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore với 5 năm kinh nghiệm. Hy vọng những video của mình sẽ giúp đỡ các bạn phần nào đó bước trên con đường Data này.
Credits:
Feelin Good by Kevin MacLeod được under license Creative Commons Attribution (creativecommon...)
Source: incompetech.co....
Artist: Kevin MacLeod (incompetech.com/)
#dataengineer #datawarehouse #datalake
Cái mô hình từ Database - Datalake - Data Warhouse này là ELT nhé. Sorry mọi người
Cám ơn ý kiến của một bạn, mình xin đính chính database là cơ sở dữ liệu chứ không phải hệ quản trị cơ sở dữ liệu nhé. Xin lỗi anh chị em :)
Mình từ ngành khác - bây giờ muốn tìm hiểu data analyst thì mình bắt đầu từ đâu. Thks bạn.
@@ourworld7206 Bắt đầu bằng việc học Python. Sau đó tìm hiểu về các library của Python dùng để xử lí và hiển thị dữ liệu là Pandas, Numpy...
Cảm ơn anh về video. Rất ngắn gọn và dễ hiểu. Mong anh ra nhiều video hơn về ngành DE này ạ
Tuyệt quá tìm mãi mới thấy anh để hiểu về cái này. Cám ơn a rất nhiều
Video của anh không dài, tần suất ra ít, nhưng ra cái nào là chất cái đó :)))
mong anh ra thêm video cần học và làm gì để có thể định hướng trở thành DE ạ. Xem vid của anh cuốn quá ạ !!!
Giải thích và cho vd dễ hiểu, cảm ơn anh nhiều nhé, chúc a thành công ^^
cảm ơn a ạ. Video rất hay, anh có thể làm một video hướng dẫn về ETL một cách chi tiết được không ạ.
Video chất lượng cho người mới tìm hiểu như em anh ạ
Cảm ơn anh rất nhiều!
Chúc anh luôn thành công, hạnh phúc và gặp nhiều may mắn trong cuộc sống.
Anh có thể làm video về quá trình sự nghiệp của anh được không ạ?
Video rất hay, rất mong anh làm một video về xây dựng một data warehouse
Anh giải thích dễ hiểu quá ạ
Hay...mình kg phải chuyên ngành này nhưng cũng làm việc liên quan lên số liệu và data nên cần phân tích số liệu để đưa ra cái nhìn trực quan hơn .
Hay và dễ hiểu lắm anh. Cám ơn anh nhiều ạ
Anh thêm các Tut trong chủ đề này nữa đi hả. Xem rất dễ hiểu, đúng là Senior có khác ạ
Video nào của anh cũng chất lượng hết trơn ❤️❤️
Video hữu ích lắm, cảm ơn Cảnh nhiều 👍👍👍
anh có thể làm một ví dụ cụ thể nào đó về một quá trình ETL được không ạ, Cảm ơn anh
cảm ơn anh về những chia sẽ ^^ hóng từng video một của anh
Cảm ơn anh Cảnh. dễ hiểu và hữu ích lắm anh
Video rất bổ ích. Cảm ơn Cảnh!
úi database chỉ là dữ liệu cơ sở thôi chứ anh nhỉ? hệ qtri CSDL em nhớ là DBSM thì phải. Hy vọng trong tương lai a sẽ làm video emphasize rõ hơn role của Data Scientist khi liên hệ với business side ạ!
Btw keep up with your good work anh, videos của anh rất dễ hiểu và xúc tích 👍👍
DBMS, có đính chính lại ùi á :D
là BDSM chứ =))
"A database system, also called a database management system (DBMS), consists of a
collection of interrelated data, known as a database"
Sách Data Mining nè bác. Gọi như nhau.
Video rất hay, cảm ơn anh.
Cảm ơn bạn, rất dễ hiểu ạ
Hi ạ! Anh có thể làm video chia sẻ về AWS được không ạ? Giả dụ công ty đã sử dụng AWS rồi, thì có cần phải tuyển thêm Data Engineer, Data Analyst,.. nữa không ạ? Em cảm ơn anh!
AWS chỉ là nền tảng. Không có DE, DA thì AWS đâu để làm gì em
Ok, tôi đã bấm đăng ký kể từ video này
anh ơi video rất bổ ích ạ. Nhưng ngoài ra a có thể nói thêm về các cách để chuyển từ datawarehouse sang datamart như nào không ạ???
Hóng video mới ạ! 😍
cảm ơn video của anh, đúng lúc project có cái này luôn
Still working as of today, ty!
Anh có thể làm kèm theo demo được không ạ.
Worked , thanks a lot!
a ơi, vậy nếu như mỗi cái nhu cầu báo cáo, phân tích khác nhau thì dữ liệu mình đổ vào data warehouse sẽ khác nhau, vậy thì với một datalake mình sẽ có nhiều data warehouse đúng k ạ
Data Warehouse chỉ có một thôi nhé. Nên người ta mới gọi là Single Source of Truth
Hay quá b
cám ơn bạn
Rất chi tiết
data lake co ve giong staging
mình đanh vướng mắc ở phần OLAP, có ai support mình kh ạ 😢
Cho mình hỏi mình học hệ thống thông tin làm về Data engineer dc k vậy bác ?
Anh Cảnh cho em hỏi: Case thứ 2 nếu như extract từ Datalake ra Report và send email cho sếp. Nếu như mình ko cần lưu thì mình tới Data warehouse làm gì a nhỉ?
Thông thường là đều lưu lại hết em. Còn nếu không cần lưu thì khỏi cần DWH nha
@@DataGuyStory Thanks a. Anyway cho em hỏi về quá trình Ingestion, các phương thức Ingestion theo em tìm hiểu thì có Batch - Stream - ELT - API. Thì khi nào mình áp dụng phương thức cho mỗi DB vậy anh Cảnh nhỉ? Thứ 2 cho em hỏi về việc backup data ở trong Datalake, giữa real-time backup và T-1 backup thì cách thức hoạt động của nó sẽ như nào a ha?
Cảm ơn anhh
Awesome! More please !!!
On it! :D
data Science can trang bi nhung gi ha a , e cam on a
From Toi di code dao with love
anh cho em hỏi data load vô data lake sao lại là ETL vậy anh? Vì theo em biết thì quy trình ETL không có support data lake thì phải.
Nó là ELT đó em. Anh vẽ lộn cái lười edit đó
Với anh có cái comment đính chính lại á em. 1 năm trước nên nó trôi mất tiêu thì phải
Dạ a ứi, hiện tại bên Việt Nam một số bạn làm hệ thống crm có thêm một từ khoá là cdp customer data platform. A cho e hỏi đó là gì và sao câc bạn crm lại cho ra hệ thống đó ạ
À, Customer Data Platform (CDP) là một hệ thống data riêng và phục vụ duy nhất cho Marketing team. Data Warehouse thì nó phục vụ toàn bộ công ty, còn CDP chỉ phục vụ cho một team, tối ưu cho việc marketing để segment khách hàng và target customers cho marketing campaign.
Thường thì nếu công ty nhỏ mà xây dựng Data Warehouse chỉ cho việc phân tích dữ liệu Marketing thì có thể xài CDP. Còn nếu công ty lớn đã có sẵn Data Warehouse rồi thì việc xây dựng hệ thống CDP con từ DW có sẵn lại dễ dàng hơn nữa.
@@DataGuyStory Dạ a, tại e làm mkt á a, lead của customer của e đổ vào trong CRM. Khi e cần visualize 1 cái ad hoc hypothesis thì các anh DE bảo sẽ là phải đổ vào trong CDP để làm sạch r từ đó e mới query ra thành bảng mà đi visualize lại
@@loutruong mình nghĩ do bên bạn hệ thống data chủ yếu là cho marketing nên các bạn DE mới xây dựng CDP, phương pháp tốt nhất mà hiệu quả nhất rồi :)
Data Engineer co phai cung la database manager lun khong anh
Không em. Database là khác nữa
giá mak biết sớm hơn về kênh
được vl anh ơi :D
hay vl, subscribe ngay và lon
A học trường nào vậy ạ
First like =))))
Mình ở đây vì hông muốn giống bò :))))
Vứt
Cô đọng và dễ hiểu.