What Does a Data Engineer Do? Explained Simply

แชร์
ฝัง
  • เผยแพร่เมื่อ 20 ธ.ค. 2024

ความคิดเห็น • 72

  • @DarshilParmar
    @DarshilParmar  7 หลายเดือนก่อน +7

    hit that LIKE button and let me know what do you want to see next?

    • @tenet7846
      @tenet7846 6 หลายเดือนก่อน

      Hii darshil may i know please
      Whas is the duration of apache spark +databricks course??

    • @sanafondu7743
      @sanafondu7743 6 หลายเดือนก่อน

      I want to join on discord, can you please share invite, older invite seems to be expired

  • @adilmajeed8439
    @adilmajeed8439 7 หลายเดือนก่อน +6

    Some complex project on Microsoft Fabric ...

  • @waynelast1685
    @waynelast1685 3 หลายเดือนก่อน +1

    4:56 what is purpose of Snowflake?

  • @davebatista8636
    @davebatista8636 7 หลายเดือนก่อน +1

    aaj sabse pehle is channel ki main main saari videos dekhunga....

  • @moneymagnetGroup258
    @moneymagnetGroup258 6 หลายเดือนก่อน

    Hi Darshil, Please make a series on AWS cloud server less API and datalake development using python. Where glue jobs should be developed using pyapark, source data must be fetched from msk connectors, upload data in s3, create Iam users, using AWS boto3, unit testing using moto3.
    Maintain db and tables in lakeformation using lf-tags.
    Athena automation for visualization.
    Please make series complete based on programming automation

  • @ARACON_DATA_0605
    @ARACON_DATA_0605 6 หลายเดือนก่อน +1

    How to collect data generated from survey websites and derive insights??

  • @rishabhrai9282
    @rishabhrai9282 6 หลายเดือนก่อน +1

    More end to end basic to complex projects using Microsoft Azure Services

  • @waynelast1685
    @waynelast1685 3 หลายเดือนก่อน +1

    Difference between Synapse and Fabric?

  • @tenet7846
    @tenet7846 6 หลายเดือนก่อน +1

    Hii darshil may i know please
    Whas is the duration of apache spark +databricks course??

  • @dhanushtharun8190
    @dhanushtharun8190 6 หลายเดือนก่อน +1

    Hey bro books vs online tutorial/udemy course which one is best for beginners to intermediate ❤

  • @haripriyap517
    @haripriyap517 7 หลายเดือนก่อน

    I've got aws dva certificate 1 year back, but I didn't worked/practiced on aws. And am planning to switch product based company. Please guide me where to start my learning.

  • @ShyamDeepak-sp1dx
    @ShyamDeepak-sp1dx 7 หลายเดือนก่อน

    is this course availabe on web OR app ? Is course can be accessible anywhere ?

  • @SagarKumar-lf5dg
    @SagarKumar-lf5dg 6 หลายเดือนก่อน

    Hello Darshil Sir,
    Is it possible to switch career from one domain to another domain.
    Currently I am in Accenture but want to change my career to another domain...could you please guide me

  • @vaibhavarora9458
    @vaibhavarora9458 6 หลายเดือนก่อน

    Hi Darshil,
    I am from a non technical background having BCom(Hons) degree and right now I am having almost 3 years of experience as Data Analyst with skill set of SQL, Power BI and Python (still learning). I have recently left my job and looking for new opportunities for Data Analyst. Also am aspiring for a Data Engineer role in future. I am thinking to get the job first in Data Analyst role and then I'll start learning for Data Engineer. Is this a good way to follow or shall I start preparing immediately for Data Engineer?

  • @DurgaPrasad-go4gm
    @DurgaPrasad-go4gm 7 หลายเดือนก่อน +1

    Hi sir i have applied for many companies by watching your videos and doing your projects and making changes but donk know where I am lacking behind

    • @DurgaPrasad-go4gm
      @DurgaPrasad-go4gm 7 หลายเดือนก่อน

      drive.google.com/file/d/1hVVoqvitd2wCSFv44f2aVWew2Cbgpg6-/view?usp=drivesdk

    • @DarshilParmar
      @DarshilParmar  7 หลายเดือนก่อน

      Check resume and portfolio projects they are very important

    • @DurgaPrasad-go4gm
      @DurgaPrasad-go4gm 7 หลายเดือนก่อน

      @@DarshilParmar drive.google.com/file/d/1hVVoqvitd2wCSFv44f2aVWew2Cbgpg6-/view?usp=drivesdk

    • @DurgaPrasad-go4gm
      @DurgaPrasad-go4gm 7 หลายเดือนก่อน

      @@DarshilParmar here's my resume sir drive.google.com/file/d/1hVVoqvitd2wCSFv44f2aVWew2Cbgpg6-/view?usp=drivesdk

    • @DurgaPrasad-go4gm
      @DurgaPrasad-go4gm 7 หลายเดือนก่อน

      drive.google.com/file/d/1hVVoqvitd2wCSFv44f2aVWew2Cbgpg6-/view?usp=drivesdk

  • @subratparida5647
    @subratparida5647 6 หลายเดือนก่อน

    Hey bro; for data scraping selenium is a good option or not

    • @DarshilParmar
      @DarshilParmar  6 หลายเดือนก่อน +1

      No, lot of website have bot protection now, not worth doing

    • @subratparida5647
      @subratparida5647 6 หลายเดือนก่อน

      Then what is the good suggestion for web scraping

    • @DarshilParmar
      @DarshilParmar  6 หลายเดือนก่อน +1

      @@subratparida5647 No web scraping go something else like data analyst/engineer or SDE

    • @subratparida5647
      @subratparida5647 6 หลายเดือนก่อน

      @@DarshilParmar Thank you for your suggestion 😀

  • @rudroroy1054
    @rudroroy1054 7 หลายเดือนก่อน

    I am curious what is the difference between a data engineer and a business intelligence developer?

    • @DarshilParmar
      @DarshilParmar  7 หลายเดือนก่อน

      www.linkedin.com/posts/darshil-parmar_dataengineer-datascience-dataanalyst-activity-7196031026966495232-gzE3?

  • @PrathameshMawlankar
    @PrathameshMawlankar 7 หลายเดือนก่อน

    Hi great information shared as always. Btw did you start taking protein shake and working out? Just curious since you are looking more buffed

    • @DarshilParmar
      @DarshilParmar  7 หลายเดือนก่อน +1

      Haha
      I am working out from last 3 years but most of the time I wear long sleeves this tshirt is tight so it makes me look buff

  • @BishanTamang-rk5ji
    @BishanTamang-rk5ji 7 หลายเดือนก่อน

    Love you Brother ❤️

  • @MuhammadTalhaImran
    @MuhammadTalhaImran 7 หลายเดือนก่อน

    hey darshil is there any way I can get a discount on your 4 course combo as I am a student so it is difficult for me to pay the full fee.Thanks

    • @DarshilParmar
      @DarshilParmar  7 หลายเดือนก่อน

      Please email me at info@datavidhya.com

  • @paragvade
    @paragvade 6 หลายเดือนก่อน

    I am targeting data engineer role. I have aws solutions architect associate. Lack good grasp over python and sql.
    Shall I focus on python, sql first or go for aws data engineer associate and databricks cert?

    • @navneetkummar4811
      @navneetkummar4811 6 หลายเดือนก่อน

      Go with Python and SQL first

    • @paragvade
      @paragvade 6 หลายเดือนก่อน

      @@navneetkummar4811 thank you

  • @tusharlambat887
    @tusharlambat887 4 หลายเดือนก่อน

    In 2024 : what pays more and has good job vacancies data anlyst or data engineering

  • @shashankpatel634
    @shashankpatel634 7 หลายเดือนก่อน

    Bro... I got all the skills which are you mention in your thumbnail... I will finish my final semester exam in first week of june... And still unplaced... Entry level job pe bhi 3-4years ka experience maang rhe h🙃😭

    • @DarshilParmar
      @DarshilParmar  7 หลายเดือนก่อน

      Try Data Analyst position or get internship

    • @prathamgupta9256
      @prathamgupta9256 7 หลายเดือนก่อน

      R uh stay in Mumbai ?

    • @viraj_kadam
      @viraj_kadam 7 หลายเดือนก่อน

      ​@@prathamgupta9256 same here mumbai

  • @shiv8578
    @shiv8578 7 หลายเดือนก่อน

    Who edits your videos

    • @DarshilParmar
      @DarshilParmar  7 หลายเดือนก่อน

      I hired new editor, what happend?

    • @shiv8578
      @shiv8578 7 หลายเดือนก่อน

      They are good, i mean how they use exact flow diagrams , are they teach persons? Or you have to collaborate with them to make it happen?

  • @keshavgupta6150
    @keshavgupta6150 7 หลายเดือนก่อน

    Great video but next time decrease background music or remove it

  • @Tranics1
    @Tranics1 7 หลายเดือนก่อน

    1view love from Lucknow brother ❤

  • @niladripramanik8362
    @niladripramanik8362 7 หลายเดือนก่อน

    Hey Darshil I have been in Data engineering field for 1.5 yrs, Is there any research opportunity/ scope in data engineering?

    • @sunilKumar-ci9vn
      @sunilKumar-ci9vn 7 หลายเดือนก่อน

      How you got your 1st job as fresher.?

    • @Rhly001
      @Rhly001 7 หลายเดือนก่อน

      Hey can you please tell me how you got started with this field.. I'm currently in college and been studying ML/DL mostly but now I'd like to expand my domain.. Is it even worth it and if so then how to I go about it.. Will really appreciate if you take some time and give an in depth response

    • @niladripramanik8362
      @niladripramanik8362 7 หลายเดือนก่อน

      @@sunilKumar-ci9vn hi it was campus placement only. But the role in company was data engg

    • @niladripramanik8362
      @niladripramanik8362 7 หลายเดือนก่อน

      @@Rhly001 see if u r already doing Ai ml for a long time, i suggest not to spent time in data engg. But if u want to then sql (all joins and when to use them, then group by , combination of group by and joins, self join, once done with these then windowing functions) - practice from leetcode 50 basic sqls... Python only upto lists.. shell scripting to automate..
      Here , mostly u will work on sql only. Python+shell scripting to automate tasks.

    • @niladripramanik8362
      @niladripramanik8362 7 หลายเดือนก่อน

      ​@@Rhly001 bhai youtube is pathetic it's deleting my reply

  • @dhanasekarank1743
    @dhanasekarank1743 7 หลายเดือนก่อน

    Bro do you know dbt ?

    • @DarshilParmar
      @DarshilParmar  7 หลายเดือนก่อน

      Yes

    • @dhanasekarank1743
      @dhanasekarank1743 7 หลายเดือนก่อน

      @@DarshilParmar thank bro, I am runing the dbt models with databricks and I want to know the running time(I am able to see the running time in VS code) but I want see the running time and bytes consumption in databricks for each models. Is this possible bro?

  • @techtricks1052
    @techtricks1052 7 หลายเดือนก่อน

    this is a good video

  • @sindhujareddy4659
    @sindhujareddy4659 5 หลายเดือนก่อน

    Combo Package Python + SQL + Data warehouse (Snowflake) + Apache Spark how much is this course cost in India

    • @DarshilParmar
      @DarshilParmar  5 หลายเดือนก่อน

      You can try India VPN for that

  • @BabeRose6
    @BabeRose6 7 หลายเดือนก่อน

    Hey there, am new to your channel & your study info on Data Engineer and the motivation you give is really appreciated⭐
    One clarity/query plz which one is suggestible to set as a career is it Data Analyst or Data Engineer (Azure) plz suggest...

    • @DarshilParmar
      @DarshilParmar  7 หลายเดือนก่อน

      Starting with analyst is much easier than engineering

  • @mayankkrsingh-zq1vj
    @mayankkrsingh-zq1vj 7 หลายเดือนก่อน

    I want to connect with you for discount offer? is it possible?

    • @DarshilParmar
      @DarshilParmar  7 หลายเดือนก่อน

      Please email me at info@datavidhya.com

  • @rohittyagi3065
    @rohittyagi3065 7 หลายเดือนก่อน

    great

  • @__nda_channel
    @__nda_channel 7 หลายเดือนก่อน +1

    Data engineering is not what I think
    But you are exactly what I thought
    You keep milking the topic data engineering rather than telling something else on data engineering

    • @DarshilParmar
      @DarshilParmar  7 หลายเดือนก่อน +2

      Bro, I have 8 projects on the channel, 130+ videos
      My goal is to target just beginners and fresh to get started, there is no point in going on advanced level stuff because that won't work in this case
      10min series to explain Spark, Airflow, Snowflake
      Videos on new trends
      End To End Projects
      Tutorials
      there are many things, I need to keep balance between different target audience so that everyone can understand different parts