Chuyện cổ tích, bạn Dê làm Data Engineer
ฝัง
- เผยแพร่เมื่อ 14 ต.ค. 2024
- Xin chào mọi người ,
Có rất nhiều bạn thắc mắc về công việc của Data Engineer. Cụ thể Data Engineer là làm những gì, có giống với mấy khác hay không. Mình làm làm video để giải thích sơ sơ về một quá trình làm việc của Data Engineer từ khi mới ra trường đến trở thành senior nhé.
Thuật ngữ được sử dụng
ETL, ELT, Extract Load Transform, Data Lake, Data Warehouse, Ingestion, Pipeline
Data Governance, Data Catalog, Data Security, Data Platform, Data Service
Kappa Architecture, Delta lake
#datagengineer
Fanpage: dataguy...
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore với 5 năm kinh nghiệm. Hy vọng những video của mình sẽ giúp đỡ các bạn phần nào đó bước trên con đường Data này.
Songs: Tokyo Music Walker - Summer Time
Creative Commons - Attribution 3.0 Unported - CC BY 3.0
Music promoted by Audio Library • Summertime - Tokyo Mus...
Video rất bổ ích! Mong a ra nhiều video hướng dẫn một số tài liệu để học vì ở trường các môn học không nhiều liên quan DE
Cảm ơn anh Cảnh nhiều ạ! Thích kiểu chia sẻ này cực anh ạ! Mong anh có nhiều video ntn để truyền động lực cho em, 1 người đang làm Editor muốn chuyển hướng qua Data như anh ạ
Vừa thấy anh bên Code dạo quay qua check kênh anh liền mà anh chưa có video mới :< . Em đang làm đồ án hóng video anh phân tích data để có cảm hứng làm tiếp
Em là sinh viên năm 4 CNTT nhưng không theo ngành Data Science, nhưng từ khi xem các video em bắt đầu tìm hiểu về nó là đang đăng kí làm đồ án về Data Science ( chủ yếu là tự mò học ) em chỉ viết để cảm ơn anh đã truyền cảm hứng cho em thôi ạ
Những chia sẽ của anh rất dễ hiểu, em cảm ơn anh nhìu ạ 🤩, mong anh ra nhiều video hơn nữa.
A giải thích vừa sinh động vừa dễ hiểu quá ạ, hy vọng a sẽ ra nhiều video hơn nữa ạ. Cảm ơn anh!
Cảm ơn bạn đã chia sẻ kiến thức. Rất hay có ý nghĩa
cảm ơn ad rất nhiều về bài chia sẻ ạ, quá tuyệt vời ad ơi
xem xong 3 video của anh có thể thấy đc cả 1 đoạn đường dài sự nghiệp phía trước. Thanks a
Cảm ơn đã cho em động lực để chuyển qua Data Engineer. Em sv năm cuối và đang đi làm bên web thì công việc cũng ổn định những xem xong video này em đã quyết định nghỉ việc tập trung vào học để theo đuổi Data Engineer. Hi vọng là quyết định đúng
Cố gắng sẽ thành công thôi em. Nếu cần tư vấn thì ping fanpage của anh nhé :)
Mình cũng giống như bạn
Cảm ơn bạn rất nhiều, những video của bạn thật hữu ích.
em đang làm sinh viên năm 3, cũng muốn học về data mong anh ra thêm video hướng dẫn về data science cũng như hướng dẫn thêm về python ạ, anh đang truyền cảm hứng cho em rất nhiều ạ! và hy vọng anh lúc làm video cũng chèn thêm giải thích những từ khóa tiếng anh chuyên ngành để em cũng như các viewer có thể dễ tiếp cận hơn ạ! cảm ơn anh!
A có thể ra video nói về quá trình a học data scientist được không ạ
Bạn có biết cách nào để chuyển database từ XBRL sang Microsoft Access không ?
Thích cách nói chuyện của anh trong livestream của a Hoàng hơn 😙
hiện tại trường đại học toàn dậy về data science nhưng em muốn tiềm hiểu về data engineer vậy thì học ngành data science đi lên rồi chuyển hướng dược khoog anh và hiện nay có chuyên nghành nào dẫn vào trực tieps không ạ em tìm kiếm toàn thấy khóa học không ạ
anh có thể giới thiệu một vài nguồn tài liệu ETL được không ạ.Em cảm ơn anh nhiều
Thông thường thì tụi anh hay tham khảo trên blog của Grab, Goject, Uber, Airbnb đó em.
Em rất cảm ơn video của anh ạ :>
Anh ơi hướng dẫn làm code để Auto Game được không ạ
Anh có thể chia sẻ thêm về Business Intelligence đc k anh
ước đc làm editor cho anh cảnh, và đc anh chỉ thêm về học phân tích ạ!
Anh Cảnh dùng phần mềm vẽ gì vậy anh, nghe truyện lôi cuốn thực sự 💯
Ipad + vẽ tay đó bạn
vừa thấy video phát vào xem a luôn!
Anh ơi, định hướng Data Engineer thì có cần hiểu sâu về toán cũng như biết các model máy học hay deep learning không ạ. Vì em thấy DE chuẩn bị cho DS, nên em nghĩ phải có nền tảng tốt mới chuẩn bị tốt được ạ. Mong anh giải đáp giúp em
Không có DE nào chuẩn bị cho DS hết nha em. DE là DE, DS là DS mỗi người làm việc khác nhau, không liên quan gì đến nhau hết.
Em cảm ơn anh ạ❤
cái này anh có bài thực hành thực tế ko anh để có thể nắm rõ thông tin anh truyền tải
Em có nghe anh đề cập là phải "giỏi toán" vậy để theo này thì cần phải học những loại toán nào vậy anh?
linear algebra và statistics nha
Hi a, em có thấy tên anh ở một chương trình mentor, em không nhớ rõ tên, hi vọng anh cho em thêm thông tin, cũng như nếu anh vẫn nhận mentor cho data engigneer thì em có thể đăng kí qua kênh nào ạ
Cái đó là dự án Give it Back đó em. Mà hình như hồ sơ đóng rồi
Công ty anh còn nhiều người giỏi và đẹp trai như anh không ạ? Để em apply chuyển công ty gấp.
Lâu quá ko thấy a ra vid :v
Tại sao bạn không có video dạy liên quan đến data engineer nhỉ?
mình làm cho vui thôi bạn, khi nào rảnh thì sẽ làm
Anh Cảnh ơi, em muốn getstarted với Data analyst, về kiến thức học thuật em đã tìm hiểu và định vị được các phần cần nắm rõ từ video chia sẻ của anh và nhiều nguồn, vậy với phần cứng máy tính, em cần chuẩn bị thêm gì để đi xa hơn ạ ?
Máy tính tốt nhất là 16gb, còn lại thì cứ sử dụng google collab nha
@@DataGuyStory em cũng tìm hiểu qua một số bài viết, blog chia sẻ của nước ngoài, thì hầu hết họ đều hướng tướng sử dụng GPU, kĩ thuật lượng tử 8bit để xử lí song song từng bài toán bằng cách sử dụng 2 3 GPU, hiện tại em đang muốn tìm hiểu nhanh và hướng tới tìm kiếm một công việc để học hỏi thêm, việc sử dụng GPU và các kĩ thuật liên quan có cần thiết ko ạ.
Mong anh ra nhiều video hơn và có thêm 1 xíu nội dung phân tích về những điểm mạnh của PGU có làm Data Analyst "rảnh" hơn ko ạ?
Em cảm ơn ạ.
thường thì GPU đa phần để xây dựng mô hình dữ liệu trong trường hợp em là Data Scientist. Data Analyst thì không cần tới mức đó. Nếu em cần thì mua cái gói google collab 10usd/tháng là sử dụng được GPU dành cho data rồi. Khi nào cần xài thì mua vẫn rẻ hơn lắp 1 dàn PC mà không để làm gì.
@@DataGuyStory Ui, cảm ơn anh đã trả lời tận tình giúp em ạ. Nhờ anh em đã định hình được những mục tiêu cần sắm và chuẩn bị cho mình ạ. Em cảm ơn ạ.
Dốt toán làm dc data engineer k ạ
E đang học lp 12. E có xét học bạ vào đại học ngành cntt mà e lại thiếu điểm nên e xét qua kỹ thuật dữ liệu. K bt 2 ngành này khác nhau nhiều k ạ
học cơ bản thì như nhau thôi nha em, học chuyên ngành mới khác
Xin lỗi comment ko liên quan là anh Cảnh nói chuyện dễ thương ghê :)
Hellu Data guys and mọi người, mình là Junior DE, cho mình hỏi hiện cty mình còn đang bị nhập nhằng giữa 2 khái niệm data catalog và data governance. Cho mình hỏi nếu là 1 công ty local thì 2 khái niệm này gần như là 1 đúng k ạ? (chỉ tách biệt khi là các cty global)
2 khái niệm này khác nhau hoàn toàn nha bạn
- Data Governance là khái niệm dùng để chỉ ra việc sắp xếp, tổ chức và quản lý data dựa theo một bộ nguyên tắc nào đó (có thể tùy theo lĩnh vực công ty như ngân hàng, chứng khoán) hoặc là dựa theo luật pháp của quốc gia.
- Data Catalog có thể hiểu như data inventory. Nó là khái niệm (và có cả công cụ hỗ trợ đi kèm) để quản lý thông tin, thuộc tính của data như ý nghĩa columns, tables, PII. Mục đích chính của Data Catalog là để người dùng có thể dễ dàng tìm kiếm data mà mình cần.
@@DataGuyStory okie anhhhhh 😂 em sẽ verify kĩ hơn
em muốn tìm hiểu về các công nghệ đó thì nên đọc những quyển sách nào ạ cám ơn anh
Thường những cái này không có sách đâu bạn. Đa số là nằm ở những cái blog về engineer của uber, grab, airbnb
Tks a, rất bổ ích
Hay quá anh ơi.
Anh ơi! Cho em hỏi có những khó khăn, mặt tối của DE đc ko ạ? Và nếu em học DS thì em có chuyển qua làm DE đc ko ạ?
Sẽ có video về những khó khăn, mặt tối của DE nhé
@@DataGuyStory Anh ơi! Em học IT mà chuyên ngành ko có mảng Data thì em nên làm j ạ? chỉ có SE,CS,IS.
Học cái gì mà có giải thuật, sql với python ấy, làm nền tảng trước sau đó data học sau nhé
@@45-leanhvu68 SE chắc gần nhất rồi
Bạn Dê đỉnh quá anh ơi!
hay quá a ơi
hay qua anh oi
Long time no seeeeeee
Ok Cảnh dê 😍
Không liên quan lắm, "bạn Dê", vậy ad sinh năm 91 hả? :D
Sao ai cũng nghĩ bạn Dê là tui vậy ta =))
comment đầu :*
mô tả công việc Data Engineer chuẩn luôn.