Data Pipeline ศิลปะของการจัดการข้อมูล กับคุณวรุฒ กฤษรุ่งเรือง | Tech Monday EP.139

ข้อมูลของเรา เวลามีขนาดไม่เยอะ ใช้เครื่องมือธรรมดาอย่าง spreadsheet ก็น่าจะเพียงพอแล้ว แต่เวลาข้อมูลมีขนาดใหญ่ มันก็จะไม่ง่ายอย่างนั้น วันนี้คุณไอซ์ วรุฒ กฤษรุ่งเรือง Senior Data Engineer จากบริษัท Data Wow จะมาเล่าให้ฟัง ตั้งแต่ต้นทาง ไปจนถึงปลายทาง Data Pipeline ทำอย่างไร ยากไหม ติดตามได้ในตอนนี้
.
คำถาม
Data Pipeline คืออะไร แล้วมันมีประโยชน์อย่างไรครับ
อะไรเป็นองค์ประกอบของ Data Pipeline แล้วแต่ละส่วนมันเชื่อมโยงกันยังไง
อะไรเป็นความท้าทายเวลาเราต้องสร้าง หรือ maintain data pipeline ครับ
ระหว่าง batch processing กับ real-time/streaming data pipeline เราเลือกใช้อย่างไร
คำว่า data pipeline นี่ มันคือการเอาข้อมูลมายัดใส่พวกตระกูล BigQuery หรือ RedShift หรือเปล่า
มีเคสที่ data pipeline มีบทบาทสำคัญกับธุรกิจมาเล่าให้ฟังไหม
อะไรเป็น technology ที่น่าสนใจและต้องจับตามองสำหรับการทำ data pipeline
ถ้าวันนี้เราจัดการกับข้อมูลจำนวนนึง แล้วในอนาคตข้อมูลมันเยอะขึ้นมากๆ เราจะจัดการหรือเตรียมความพร้อมกับ data pipeline ได้อย่างไร
เราสามารถทดสอบได้ไหม ว่า data pipeline เราทำงานได้อย่างถูกต้อง
Data Pipeline มีผลกับการทำ Machine Learning หรือ Data Analytics ไหม
มีข้อแนะนำให้คนฟัง เวลาที่คิดจะสร้าง data pipeline ควรจะต้องคิดถึงเรื่องอะไรบ้างไหม
.
.
ติดตาม Mission To The Moon Media ได้ที่
.
Website: bit.ly/3oHFe99
Facebook: bit.ly/32Oe4nW
Instagram: bit.ly/2OMR30a
Twitter: bit.ly/2TyBOH6
Blockdit: bit.ly/3jI0pEk
TH-cam: bit.ly/3DWhaFG
TikTok: bit.ly/35Gq8aX
SoundCloud: bit.ly/3e4Tzax
Podbean: bit.ly/3oCqU1g
Spotify: spoti.fi/37MNajh
Apple Podcast: apple.co/3qiv2cp
Clubhouse: @mttmclub

[@Aem_88]

ขอบคุณครับ😊

[@user-cw9cq7hu9s]

เสียดายที่เราเรียนเร็วไป(ปี47) เลยไท่ได้เรียนตัวนี้