Apache Airflow One Shot- Building End To End ETL Pipeline Using AirFlow And Astro

แชร์
ฝัง
  • เผยแพร่เมื่อ 16 ม.ค. 2025

ความคิดเห็น • 68

  • @krishnaik06
    @krishnaik06  3 หลายเดือนก่อน +3

    Check out my new Udemy complete MLOps Course with 10+ end to end ML Projects:
    www.udemy.com/course/complete-mlops-bootcamp-with-10-end-to-end-ml-projects/?couponCode=SHARING

    • @adityapatel907
      @adityapatel907 3 หลายเดือนก่อน

      sir, we need new udemy coupon for ' DSA bootcamp + Leetcode Exercise ' . please sir ! do it quickly.🙏

  • @tanmaybagul2957
    @tanmaybagul2957 3 หลายเดือนก่อน +5

    Realizing the Power of Airflow 😎 this video help me have high level understanding of what i was doing from last 3 years

  • @acharafranklyn5167
    @acharafranklyn5167 4 วันที่ผ่านมา

    Trust me when I say krish Naik is the best in the data business. He has a way of teaching you what needto learn

  • @oceanview3165
    @oceanview3165 หลายเดือนก่อน

    It's very straightforward and helpful! Thank you!

  • @SandipJadhav-ls1kg
    @SandipJadhav-ls1kg 3 หลายเดือนก่อน +15

    when will be big data engineer cource we can expect krish sir

    • @gagansingh3481
      @gagansingh3481 2 หลายเดือนก่อน

      It's Etl , etl can be done though power query and load it to postgre sql .

    • @gagansingh3481
      @gagansingh3481 2 หลายเดือนก่อน

      It's Etl , etl can be done though power query and load it to postgre sql .

  • @eduardoamfm
    @eduardoamfm 4 วันที่ผ่านมา

    excelent. Nowadays a version with BigQuery would be awesome. Tks

  • @bp2807
    @bp2807 3 หลายเดือนก่อน +3

    Krish Sir you really bring very good course, please include kubernetes. Also which tablet and software you use to write and explain sir. Love the way you teach. Kindly answer🙏

  • @eduardoamfm
    @eduardoamfm 3 วันที่ผ่านมา

    Mr Krish, your Udemy course is missing DBT. Tks for the awesome video

  • @mohitjoshi8984
    @mohitjoshi8984 3 หลายเดือนก่อน +4

    Sir talk about Kubernetes please

  • @mallorypiedmont3021
    @mallorypiedmont3021 19 วันที่ผ่านมา

    Thank you! This was a very helpful video!!

  • @madhuppandey3151
    @madhuppandey3151 3 หลายเดือนก่อน +2

    Hi krish,
    How many videos you will upload on this series ?

  • @jaggyjut
    @jaggyjut 3 หลายเดือนก่อน +2

    Awesome. How is airflow different in comparison to Microsoft fabric

  • @adnankiani8604
    @adnankiani8604 8 วันที่ผ่านมา

    very informative, thanks

  • @bralabala
    @bralabala 2 หลายเดือนก่อน +3

    what I would have preferred to see is how you configured it to work with local files rather than calling an external api.
    since I posted this comment, I have now solved the problem myself.
    the short of it is to use astro's docker-compose.overrride.yml file to mount your local drives so it can communicate with the local directories

  • @aibutsimple
    @aibutsimple 3 หลายเดือนก่อน +2

    Need more etl tools using project

  • @ravulapallivenkatagurnadha9605
    @ravulapallivenkatagurnadha9605 3 หลายเดือนก่อน +1

    Please add more Videos on Data Engineering

  • @BechirMathlouthi-n9h
    @BechirMathlouthi-n9h หลายเดือนก่อน

    very insightful !! thanks for the effort !

  • @aliensamv3997
    @aliensamv3997 3 หลายเดือนก่อน +1

    hey Krish please add production-level project in your paid course (399) ... there were only basic project

  • @tajudeensanni9240
    @tajudeensanni9240 3 หลายเดือนก่อน +1

    Krish! This is amazing!!! Please is there any way Apache Airflow can be connected with k8

  • @tusharmodi8344
    @tusharmodi8344 3 หลายเดือนก่อน +4

    Sir for your mlops course do we also need to have aws subscription to do project work or is it not needed we can do something in free tiwr

    • @krishnaik06
      @krishnaik06  3 หลายเดือนก่อน

      U can do in aws free tier

    • @harshsinha12
      @harshsinha12 3 หลายเดือนก่อน

      ​@@krishnaik06sir the AWS Environment set-up is giving some errors, i have tried various fixes

    • @ARkhan-xw8ud
      @ARkhan-xw8ud 3 หลายเดือนก่อน

      @@harshsinha12 i have taken of my friend

  • @saifilicious1749
    @saifilicious1749 2 หลายเดือนก่อน +1

    Thanks bhai you listen to me

  • @THEINDIANSAVIOR
    @THEINDIANSAVIOR 3 หลายเดือนก่อน

    Amazing sir 👏👏

  • @dineshbiswal2775
    @dineshbiswal2775 3 หลายเดือนก่อน +1

    What tools are you using for the video?

  • @tejasgandhi7045
    @tejasgandhi7045 2 หลายเดือนก่อน

    Thank you for such a nice video. It was really informative. I want to understand from the multiple pods which are coming up, if I want to run the worker node in AKS then what all chants are required and the process ?

  • @afzalandthedreams
    @afzalandthedreams 3 วันที่ผ่านมา

    this guy just began writing codes and later copy pasting codes like a mad man, not explaining like 80% of what he was doing, who learns like this?!

  • @satyamsubhaprakash
    @satyamsubhaprakash 3 หลายเดือนก่อน +1

    Hi Sir, can you please add projects on Market mix modelling?

  • @MOHIT836
    @MOHIT836 3 หลายเดือนก่อน +4

    Krish sir, is this available on MLOps course ??

    • @krishnaik06
      @krishnaik06  3 หลายเดือนก่อน +2

      yes many projects have been uploaded there :)

  • @sachinkumar8369
    @sachinkumar8369 2 หลายเดือนก่อน +1

    hey krish! thank you so much for this helping video. Can we use this build this using aws free tier account?

  • @Beliver5894-l8h
    @Beliver5894-l8h 2 หลายเดือนก่อน

    Hello Krish,
    create a end to end data science project which should involve ETL steps as well with airflow and also deployment

  • @ambivert_sigma_motivation
    @ambivert_sigma_motivation 2 หลายเดือนก่อน

    Thanks for this course! Can you create a Jarvis using Python+AI?

  • @aliensamv3997
    @aliensamv3997 3 หลายเดือนก่อน +1

    hey krish please add production level project in your paid course (399) ...

  • @maxwellmaxwels9618
    @maxwellmaxwels9618 หลายเดือนก่อน

    Top content, Classic!

  • @sourishmukherjee2404
    @sourishmukherjee2404 10 วันที่ผ่านมา

    can I perform this without installing all the softwares separtely?Id there an IDE or something

  • @istiyakahamad2114
    @istiyakahamad2114 3 หลายเดือนก่อน

    Great work..

  • @ChandanNayak-lq1pd
    @ChandanNayak-lq1pd 3 หลายเดือนก่อน

    Great ContentSir,will it be the part of data engineering course,and when is it available?

    • @krishnaik06
      @krishnaik06  3 หลายเดือนก่อน +2

      yes a;ready started big data engineering course recording

    • @sumitrukadikar3521
      @sumitrukadikar3521 3 หลายเดือนก่อน

      ​@@krishnaik06sir when it will launch?

  • @RumiAnalytics2024
    @RumiAnalytics2024 2 วันที่ผ่านมา

    HI Krish sir,
    I am trying to connect to my oracle database, and I am the very beginner to this. Need your assistance that how can I do it ?

  • @Sankarm018
    @Sankarm018 3 หลายเดือนก่อน +1

    Sir pls provide full DATA science course from beginner to advance level on udemy sir

  • @baophan259
    @baophan259 หลายเดือนก่อน

    Can the pipeline still run when i turn off my laptop ?

  • @aliensamv3997
    @aliensamv3997 3 หลายเดือนก่อน

    hey krish please add production level project in your paid course (399) ... how we are suppose to know working process at industry lvl ... just 1 project please

  • @hemanthvarma1939
    @hemanthvarma1939 2 หลายเดือนก่อน

    Your Voice Was Breaking in the Video due to a Connectivity issue in your end...Does this happen in any-part of your Udemy Video's too...Planning to Buy the Data Science Course on Udemy

    • @krishnaik06
      @krishnaik06  2 หลายเดือนก่อน

      U can get it all the videos are recorded properly

    • @hemanthvarma1939
      @hemanthvarma1939 2 หลายเดือนก่อน

      @@krishnaik06 Thanks a Lot Krish Sir

  • @alhasanmohammedbinquraish960
    @alhasanmohammedbinquraish960 3 หลายเดือนก่อน +2

    Hindi video sir airflow 🙏🙏🙏

  • @Trendz-c1p
    @Trendz-c1p 2 หลายเดือนก่อน

    Running Dockers and airflow in local windows? It needs Linux environment right?

    • @anushak1446
      @anushak1446 21 วันที่ผ่านมา

      no can be done in windows also

  • @mohammadfurquan241
    @mohammadfurquan241 2 หลายเดือนก่อน

    📌ONE VIDEO ON KAFKA ALSOOOOO

  • @RakeshPrajapati-b4z
    @RakeshPrajapati-b4z 3 หลายเดือนก่อน

    Sir machin learning ka paid cours kaise join kare kaise sir please guide me

  • @siddharthtyagi1254
    @siddharthtyagi1254 3 หลายเดือนก่อน +1

    sir please upload some more tools in udemy course

    • @krishnaik06
      @krishnaik06  3 หลายเดือนก่อน +1

      yes brother kubernetes will also get added

    • @siddharthtyagi1254
      @siddharthtyagi1254 3 หลายเดือนก่อน +1

      @@krishnaik06 sir i want to learn feature store also from you . please sir

  • @prathmeshatre6251
    @prathmeshatre6251 3 หลายเดือนก่อน

    S missing in using word

  • @njagikevin1069
    @njagikevin1069 2 หลายเดือนก่อน +1

    Env file ".env" found. Loading...
    [+] Running 3/4
    - Container 20241028-etl-weather_43a1dc-postgres-1 Starting 1.2s
    - Container 20241028-etl-weather_43a1dc-triggerer-1 Recreated 0.4s
    - Container 20241028-etl-weather_43a1dc-scheduler-1 Recreated 0.5s
    - Container 20241028-etl-weather_43a1dc-webserver-1 Recreated 0.4s
    Error: error building, (re)creating or starting project containers: Error response from daemon: Ports are not available: exposing port TCP 127.0.0.1:5432 -> 0.0.0.0:0: listen tcp 127.0.0.1:5432: bind: An attempt was made to access a socket in a way forbidden by its access permissions.
    i am getting this error when running astro dev start

    • @blazemates
      @blazemates หลายเดือนก่อน

      go to services and turn off you postgress service. or see if any other image is using that port

  • @gillfromamritsar
    @gillfromamritsar หลายเดือนก่อน

    I got the point it's base one but I have some senerios to thinnk about
    -> What is Retry mechanism if any of the step fails
    -> If we have a senerio where a large data should be loaded then from one DB to another then how to resume from a point we left of, for example there are 50k records to be loaded from one loc to another then and process broke at 25k then it should resume when next time it runs instead of running 50k from point 0

    • @anushak1446
      @anushak1446 21 วันที่ผ่านมา

      yea u shud rollback

  • @deepop1287
    @deepop1287 2 หลายเดือนก่อน

    Hello sir , Actually i want to buy your Udemy course of DATA ANALYST , But the price is currently high , so can you please provide me a Udemy coupon for this course then it will be really helpful sir 🥺🥺

  • @AlHasan-sh3il
    @AlHasan-sh3il 25 วันที่ผ่านมา

    Sir , please hindi video 😭🙏

  • @AlHasan-sh3il
    @AlHasan-sh3il 2 หลายเดือนก่อน

    sir hindi video please

  • @KNfarming882
    @KNfarming882 3 หลายเดือนก่อน +1

    First comment