Superstore Data Analysis | End to End AWS Data Engineering Project for Beginners

แชร์
ฝัง
  • เผยแพร่เมื่อ 3 ม.ค. 2025

ความคิดเห็น • 102

  • @ankitbansal6
    @ankitbansal6  10 หลายเดือนก่อน +64

    I will be doing more complex projects in the future. Please support this initiative by liking the video and sharing it with your friends.

    • @rahularora3832
      @rahularora3832 10 หลายเดือนก่อน +1

      Will you create only projects or as a pre-requisite you may dig deep into particular topics related to aws data engineering first and then create projects in which those topics would be used? BTW, thank you for sharing this. I liked it.

    • @AkshayaReddyKoduri
      @AkshayaReddyKoduri 5 หลายเดือนก่อน

      It will be helpful if you do a project on AWS using Glue S3 Lambda and Redshift

    • @tejasnaikwade9193
      @tejasnaikwade9193 5 หลายเดือนก่อน

      more complex projects will br very helpful sir.

  • @prashantsingh6260
    @prashantsingh6260 10 หลายเดือนก่อน +6

    Thank you, Ankit, for the informative and approachable contents to kickstart into AWS for beginners... There's much more to delve into for real-world challenges, but your dedication to taking time from your busy schedule to assist peoples is truly commendable... Your support for needy peoples is invaluable. Thanks and keep up the great work!

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน +1

      More to come 🫴

  • @rohitsaswadkar
    @rohitsaswadkar 5 หลายเดือนก่อน +1

    Great guidance I ever scene in field of AWS. I completed that project successfully. You gave best guidance while teaching. I also viewed some youtubers but their guidance worst as when you are at mid of the project some error happens and they skip that process and you stuck.
    Made more videos on Data Engineering. We want your guidance sir.......Love from Maharashtra

  • @vivek29925
    @vivek29925 10 หลายเดือนก่อน +1

    Great video Ankit. Hope to see more real world project based videos from you. Thanks for your efforts.❤

  • @talhamughal8435
    @talhamughal8435 3 วันที่ผ่านมา

    Simple and easy explanation , good work.

  • @dillikaruru254
    @dillikaruru254 8 หลายเดือนก่อน +2

    It's a great initiative Ankit. You explained the project in a very detailed way and I am able to understand it easily. Crisp and clear. Please do more projects based on Glue jobs, SES, SNS, lambda, cloud formation, CI/CD for a project with github actions etc.

  • @ArvindPatel-ht3cp
    @ArvindPatel-ht3cp 5 หลายเดือนก่อน

    This is so amazing for someone to excel in data engineering!!

  • @rishavsen5581
    @rishavsen5581 10 หลายเดือนก่อน

    This helped pave a way for one of my existing projects, where I was facing a blocker.
    Thank you Ankit

  • @kaushaldubey140
    @kaushaldubey140 10 หลายเดือนก่อน +3

    Good video for starting with AWS glue. I am looking forward for end to end ETL project using AWS glue and pyspark where we will be extracting data from a database (eg. MySQL), storing it into S3, doing some transformation on it and finally loading it into Redshift. Request you to please create one such project video.

    • @ankitbansal6
      @ankitbansal6  9 หลายเดือนก่อน

      Great suggestion!

  • @kolisettysasiram290
    @kolisettysasiram290 10 หลายเดือนก่อน +1

    Nice initiative bro
    I felt in the coming videos you can add some uses of Aws service we are using in the videos.. also some more usecases..

  • @vishwassharma3312
    @vishwassharma3312 10 หลายเดือนก่อน +4

    Sir please upload complete play list on AWS and BIG Data.
    🙏🙏

  • @SamyukthaYanapu
    @SamyukthaYanapu 10 หลายเดือนก่อน

    Hi Ankit, Thanks for creating AWS informative content that makes complex topics easy to understand. Much appreciated! Expecting more such videos..

  • @sakshibakare9716
    @sakshibakare9716 7 หลายเดือนก่อน

    Thank you , Ankit this very useful for AWS beginners. your videos are always helpful for interview

    • @ankitbansal6
      @ankitbansal6  7 หลายเดือนก่อน

      Glad to hear that😊

  • @vivekchandan3441
    @vivekchandan3441 9 หลายเดือนก่อน

    This is really a great video. Please make more by taking bigger data & show us the lifecycle like end to end project on data analysis.

  • @shiva_exploring_world
    @shiva_exploring_world 10 หลายเดือนก่อน +1

    Thnkss alot for this Ankit bro 😎

  • @hritikapal683
    @hritikapal683 10 หลายเดือนก่อน

    That's a great initiative sir, keep them coming!🎉

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน +1

      More to come!

  • @zainaltaf4935
    @zainaltaf4935 9 หลายเดือนก่อน

    great learning source. Thanks for it

  • @abhijeetjain8228
    @abhijeetjain8228 7 หลายเดือนก่อน

    Sir, please continue more on this series thanks.

  • @ravitejatavva7396
    @ravitejatavva7396 10 หลายเดือนก่อน

    Great Initiative, Keep going @ankit..😍

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน +1

      I will try my best

  • @baskarandurai6702
    @baskarandurai6702 10 หลายเดือนก่อน

    Thanks for your efforts Ankit... Please continue this alonn with python problem solving video like SQL.. Waiting for python Ankit..

  • @prashantmhatre1328
    @prashantmhatre1328 9 หลายเดือนก่อน

    Really like this project Ankit Bhai, Thank you very much

    • @ankitbansal6
      @ankitbansal6  9 หลายเดือนก่อน

      Thanks for liking😊

  • @adharshsunny5154
    @adharshsunny5154 10 หลายเดือนก่อน

    Wow Amazing content as usual

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน

      Glad you think so!

  • @abhishekn786
    @abhishekn786 10 หลายเดือนก่อน

    Great initiative, thankyou ❤

  • @MsMohanj
    @MsMohanj 10 หลายเดือนก่อน +3

    When I worked at Anz, I saw you and became a member of your Python and SQL batch. I am your biggest admirer and follower.
    For all data engineering careers, your channel is the place to go.
    I'm grateful for your efforts 🎉🎉🎉🎉

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน

      Awesome, thank you! 🙂

  • @NextGen_Tech_Hindi
    @NextGen_Tech_Hindi 10 หลายเดือนก่อน

    Thanks man we are waiting for this video ❤😂

  • @naveengvkvs1915
    @naveengvkvs1915 10 หลายเดือนก่อน

    Good video for starters👍

  • @gururajhdesai4854
    @gururajhdesai4854 7 หลายเดือนก่อน +1

    Thank you. Create more basic projects.

  • @sagarvajsharwa
    @sagarvajsharwa 10 หลายเดือนก่อน

    Great work 👍 thank you for sharing this

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน

      Thank you! Cheers!

  • @baskaranpbs8906
    @baskaranpbs8906 10 หลายเดือนก่อน

    Awesome video and really helpful

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน +1

      Glad it was helpful!

  • @anshumanmahapatra9064
    @anshumanmahapatra9064 10 หลายเดือนก่อน

    Hi Ankit Thank you for the insight on different AWS tools. I just wanna know how Glue crawler will work in a database with multiple tables where they are related with Primary foreign keys etc, I mean does it crawl the entire schema? Also if possible make videos on how Glue is used in ETL process and can we load to AWS Redshift using Glue?

  • @entertainmenttv1672
    @entertainmenttv1672 10 หลายเดือนก่อน

    Please make more videos like this, also try to include pyspark as well.

  • @VanakkamSQL
    @VanakkamSQL 10 หลายเดือนก่อน

    Appreciate your effort.

  • @suresh2105
    @suresh2105 10 หลายเดือนก่อน

    Can you make a playlist on how to start with aws account for data analysis.
    Like stwp 1 account creation
    Redshift, lamda, s3 etc. Each service and uses foe data science. Please?

  • @rakeshkumarsharma2250
    @rakeshkumarsharma2250 10 หลายเดือนก่อน

    Bro I am following this channel since 1 years , you are doing awesome work and want to learn aws cloud for mlops suggest me good sources thanks

  • @bihaskumar5857
    @bihaskumar5857 10 หลายเดือนก่อน

    Thank you for this video..
    We can upload the csv file in a s3 location and using aws glue we can create the snapshot folder.
    Just a thought

  • @heetshah5923
    @heetshah5923 10 หลายเดือนก่อน

    On upcoming days can you make video that cover that redshift also.
    And if possible can you make fetch the data from redshift to powerBI process only

  • @ibizilong8907
    @ibizilong8907 10 หลายเดือนก่อน

    please do one video with ETL as well

  • @mohitjoshi8984
    @mohitjoshi8984 10 หลายเดือนก่อน

    Thank you bro appreciate your efforts 🙂

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน

      It's my pleasure

  • @AnkitMinj-wc1pm
    @AnkitMinj-wc1pm 9 หลายเดือนก่อน

    Hello Ankit, Your content is very helpful. I was seeking clarification to understand the data source needed for connecting to Quicksight for creating visualizations, as explained in this particular video. Is the process used in AWS specific to a data engineer's skill set, or is it a must-know skill for data analyst roles as well? If so, please assist us in identifying the AWS topics we need to know in order to connect a data source to Quicksight.

  • @Ashu23200
    @Ashu23200 10 หลายเดือนก่อน

    In need of snowflake end to end project 😊

  • @ketanjain93
    @ketanjain93 9 หลายเดือนก่อน +1

    Hello Ankit,
    I was facing Problem in Amazon Quiksight , when i create charts in it , it is giving error "the data source or data set was deleted or become unavailable while Amazon Quicksight for ingesting the data into Spice. you can import a data to try again".
    what wrong i have done?

  • @sushilkumarsss
    @sushilkumarsss 10 หลายเดือนก่อน

    Sir, please suggest, are you planning any courses on AWS? If yes, when will you start it?

  • @sriharinair227
    @sriharinair227 6 หลายเดือนก่อน

    Hey Ankit, any way to automate -
    1) Creating different csv files for each date.
    2) Moving each file into a separate folder.
    Any help will be appreciated!

  • @Mehtre108
    @Mehtre108 10 หลายเดือนก่อน +2

    Hello sir, its like a incremental load instead full load .

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน +1

      Yes, correct

    • @Mehtre108
      @Mehtre108 10 หลายเดือนก่อน

      @@ankitbansal6 can you make project on data source would be MySQL, SFTP. Like realtime.

  • @vikramjitsingh6769
    @vikramjitsingh6769 10 หลายเดือนก่อน

    Good One!!

  • @BALAJI-je1ty
    @BALAJI-je1ty 9 หลายเดือนก่อน

    Thank you very much

  • @aur505nj
    @aur505nj 10 หลายเดือนก่อน

    Thanks Ankit

  • @saikathazra6732
    @saikathazra6732 10 หลายเดือนก่อน

    Sir are you going to start any AWS course?

  • @abhishekkumar-qi3is
    @abhishekkumar-qi3is 10 หลายเดือนก่อน

    Sir please bring aws data engineering course also in live mode.thanks

  • @swapnam1528
    @swapnam1528 6 หลายเดือนก่อน

    for me partitions are not getting created. What could be the reason.

  • @AnshitNikhade
    @AnshitNikhade 28 วันที่ผ่านมา +1

    Sir , actually i had a problem while adding crawlers....after creating the crawler tables me kuchh show nhi ho rha , beacause of this athena is not recognising columns and evrything just gort messed up...pls help

    • @AnshitNikhade
      @AnshitNikhade 28 วันที่ผ่านมา

      pls reply sir....im waiting

  • @mohansai9109
    @mohansai9109 10 หลายเดือนก่อน

    Please create a project on Azure data engineering project.
    Pyspark, Databricks and Azure data factory. By using this please creata a data engineering project

  • @manjumohan7731
    @manjumohan7731 10 หลายเดือนก่อน

    Can you also create E2E Data Engg Projects using Azure

  • @ramanaswamy9845
    @ramanaswamy9845 10 หลายเดือนก่อน

    Do you have Any plan to launch AWS data engineering course?

  • @khaqanazam-p9v
    @khaqanazam-p9v 10 หลายเดือนก่อน

    Thanks, Ankit for sharing this AWS project. Please could you tell me how we can schedule the dashboards on quicksight like when the data will be updated in S3 bucket dashboard automatically should be updated? Or is it possible

    • @ankitbansal6
      @ankitbansal6  9 หลายเดือนก่อน

      You can schedule quick sight dataset refresh in quick sight only

  • @priyaghosh9971
    @priyaghosh9971 4 หลายเดือนก่อน

    I am getting access denied to create the crawler, even if the regions are same and also giving the necessary polices ,if anyone faced the same error please can you tell how to resolve it

  • @heetshah5923
    @heetshah5923 10 หลายเดือนก่อน

    This will include redshift?

  • @shivam87480
    @shivam87480 8 หลายเดือนก่อน

    how to showcase this project, how to upload on github

  • @amanahmed6057
    @amanahmed6057 10 หลายเดือนก่อน

    Sir do we need account of AWS , can you share any virtual playground who is giving aws platform

  • @abiramiarivazhagan1467
    @abiramiarivazhagan1467 5 หลายเดือนก่อน

    Can we upload this project on github?

  • @griffingalatta3619
    @griffingalatta3619 10 หลายเดือนก่อน

    I'm a Talend developer.. I'm shifting my Career as AWS data engineering....this project looks simple..will the real time company data engineering pipeline will be like this onlyyy

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน +2

      It started with simple. Will do more complex projects 😊

    • @griffingalatta3619
      @griffingalatta3619 10 หลายเดือนก่อน

      thanks looking forward to it @@ankitbansal6

  • @hiteshjha8850
    @hiteshjha8850 7 หลายเดือนก่อน

    I am unable to create an AWS GLUE .its saying access denied. I searched on google and tried every possible solution mentioned , but none of them are working

    • @ankitbansal6
      @ankitbansal6  7 หลายเดือนก่อน

      If you have logged in as an iam user then make sure you have glue access.

    • @hiteshjha8850
      @hiteshjha8850 7 หลายเดือนก่อน

      @@ankitbansal6 yes I tried both from iam user with glue access as well as from the root user

  • @DineshGudla
    @DineshGudla 10 หลายเดือนก่อน

    @ankitbansal6 This was great video covering multiple technical stack of AWS. Simple yet insightful project for beginners

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน

      Glad you liked it 😄

  • @arshS27
    @arshS27 10 หลายเดือนก่อน

    When is sql live starting end to end ?

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน

      March 2nd

    • @arshS27
      @arshS27 10 หลายเดือนก่อน

      @@ankitbansal6 thanks Ankit ! And do u also cover tableau training and python as well as I want to learn this trio ?

  • @mubashiraf2524
    @mubashiraf2524 10 หลายเดือนก่อน

    Is these simple data engineer project?

  • @partharora6023
    @partharora6023 10 หลายเดือนก่อน

    sir how to get job after 3 years of gap

  • @yashsaxena7139
    @yashsaxena7139 10 หลายเดือนก่อน

    How much will this cost to run on AWS

    • @ankitbansal6
      @ankitbansal6  10 หลายเดือนก่อน

      less than 1 dollar.

  • @hasnainakbar8621
    @hasnainakbar8621 10 หลายเดือนก่อน

  • @AnshitNikhade
    @AnshitNikhade 28 วันที่ผ่านมา

    I S

  • @AbhishekJain-wl3st
    @AbhishekJain-wl3st 8 หลายเดือนก่อน

    @ankitbansal6 I am getting access denied error while creating crawler can you please help me in resolving this issue

    • @priyaghosh9971
      @priyaghosh9971 4 หลายเดือนก่อน

      Hy , is your issue resolved ?

  • @nipunshetty9640
    @nipunshetty9640 10 หลายเดือนก่อน

    Can u make FROM BEGINNING TO END PLAYLIST OF CLASSES OF MICROSOFT AZURE AND AMAZON AWS which we can utilise d same during work, please ankit bhansali my request for you @ankit bhansal