Apache Airflow One Shot- Building End To End ETL Pipeline Using AirFlow And Astro

แชร์
ฝัง
  • เผยแพร่เมื่อ 14 พ.ย. 2024

ความคิดเห็น • 50

  • @krishnaik06
    @krishnaik06  หลายเดือนก่อน +3

    Check out my new Udemy complete MLOps Course with 10+ end to end ML Projects:
    www.udemy.com/course/complete-mlops-bootcamp-with-10-end-to-end-ml-projects/?couponCode=SHARING

    • @adityaverma1012
      @adityaverma1012 หลายเดือนก่อน

      sir, we need new udemy coupon for ' DSA bootcamp + Leetcode Exercise ' . please sir ! do it quickly.🙏

  • @tanmaybagul2957
    @tanmaybagul2957 29 วันที่ผ่านมา +2

    Realizing the Power of Airflow 😎 this video help me have high level understanding of what i was doing from last 3 years

  • @SandipJadhav-ls1kg
    @SandipJadhav-ls1kg หลายเดือนก่อน +13

    when will be big data engineer cource we can expect krish sir

    • @gagansingh3481
      @gagansingh3481 26 วันที่ผ่านมา

      It's Etl , etl can be done though power query and load it to postgre sql .

    • @gagansingh3481
      @gagansingh3481 26 วันที่ผ่านมา

      It's Etl , etl can be done though power query and load it to postgre sql .

  • @bp2807
    @bp2807 หลายเดือนก่อน +3

    Krish Sir you really bring very good course, please include kubernetes. Also which tablet and software you use to write and explain sir. Love the way you teach. Kindly answer🙏

  • @bralabala
    @bralabala 24 วันที่ผ่านมา +3

    what I would have preferred to see is how you configured it to work with local files rather than calling an external api.
    since I posted this comment, I have now solved the problem myself.
    the short of it is to use astro's docker-compose.overrride.yml file to mount your local drives so it can communicate with the local directories

  • @tejasgandhi7045
    @tejasgandhi7045 19 วันที่ผ่านมา

    Thank you for such a nice video. It was really informative. I want to understand from the multiple pods which are coming up, if I want to run the worker node in AKS then what all chants are required and the process ?

  • @tajudeensanni9240
    @tajudeensanni9240 หลายเดือนก่อน +1

    Krish! This is amazing!!! Please is there any way Apache Airflow can be connected with k8

  • @madhuppandey3151
    @madhuppandey3151 29 วันที่ผ่านมา +2

    Hi krish,
    How many videos you will upload on this series ?

  • @jaggyjut
    @jaggyjut หลายเดือนก่อน +1

    Awesome. How is airflow different in comparison to Microsoft fabric

  • @sachinkumar8369
    @sachinkumar8369 23 วันที่ผ่านมา +1

    hey krish! thank you so much for this helping video. Can we use this build this using aws free tier account?

  • @mohitjoshi8984
    @mohitjoshi8984 หลายเดือนก่อน +4

    Sir talk about Kubernetes please

  • @ambivert_sigma_motivation
    @ambivert_sigma_motivation 20 วันที่ผ่านมา

    Thanks for this course! Can you create a Jarvis using Python+AI?

  • @aliensamv3997
    @aliensamv3997 29 วันที่ผ่านมา +1

    hey Krish please add production-level project in your paid course (399) ... there were only basic project

  • @ravulapallivenkatagurnadha9605
    @ravulapallivenkatagurnadha9605 27 วันที่ผ่านมา +1

    Please add more Videos on Data Engineering

  • @satyamsubhaprakash
    @satyamsubhaprakash หลายเดือนก่อน +1

    Hi Sir, can you please add projects on Market mix modelling?

  • @Beliver5894-l8h
    @Beliver5894-l8h 18 วันที่ผ่านมา

    Hello Krish,
    create a end to end data science project which should involve ETL steps as well with airflow and also deployment

  • @saifilicious1749
    @saifilicious1749 22 วันที่ผ่านมา +1

    Thanks bhai you listen to me

  • @aliensamv3997
    @aliensamv3997 29 วันที่ผ่านมา +1

    hey krish please add production level project in your paid course (399) ...

  • @aibutsimple
    @aibutsimple หลายเดือนก่อน +2

    Need more etl tools using project

  • @86tejasd44
    @86tejasd44 หลายเดือนก่อน

    Amazing sir 👏👏

  • @hemanthvarma1939
    @hemanthvarma1939 13 วันที่ผ่านมา

    Your Voice Was Breaking in the Video due to a Connectivity issue in your end...Does this happen in any-part of your Udemy Video's too...Planning to Buy the Data Science Course on Udemy

    • @krishnaik06
      @krishnaik06  13 วันที่ผ่านมา

      U can get it all the videos are recorded properly

    • @hemanthvarma1939
      @hemanthvarma1939 13 วันที่ผ่านมา

      @@krishnaik06 Thanks a Lot Krish Sir

  • @Sankarm018
    @Sankarm018 หลายเดือนก่อน +1

    Sir pls provide full DATA science course from beginner to advance level on udemy sir

  • @dineshbiswal2775
    @dineshbiswal2775 หลายเดือนก่อน +1

    What tools are you using for the video?

  • @tusharmodi8344
    @tusharmodi8344 หลายเดือนก่อน +4

    Sir for your mlops course do we also need to have aws subscription to do project work or is it not needed we can do something in free tiwr

    • @krishnaik06
      @krishnaik06  หลายเดือนก่อน

      U can do in aws free tier

    • @harshsinha12
      @harshsinha12 หลายเดือนก่อน

      ​@@krishnaik06sir the AWS Environment set-up is giving some errors, i have tried various fixes

    • @ARkhan-xw8ud
      @ARkhan-xw8ud 27 วันที่ผ่านมา

      @@harshsinha12 i have taken of my friend

  • @istiyakahamad2114
    @istiyakahamad2114 หลายเดือนก่อน

    Great work..

  • @aliensamv3997
    @aliensamv3997 29 วันที่ผ่านมา

    hey krish please add production level project in your paid course (399) ... how we are suppose to know working process at industry lvl ... just 1 project please

  • @ChandanNayak-lq1pd
    @ChandanNayak-lq1pd หลายเดือนก่อน

    Great ContentSir,will it be the part of data engineering course,and when is it available?

    • @krishnaik06
      @krishnaik06  หลายเดือนก่อน +2

      yes a;ready started big data engineering course recording

    • @sumitrukadikar3521
      @sumitrukadikar3521 หลายเดือนก่อน

      ​@@krishnaik06sir when it will launch?

  • @RakeshPrajapati-b4z
    @RakeshPrajapati-b4z หลายเดือนก่อน

    Sir machin learning ka paid cours kaise join kare kaise sir please guide me

  • @alhasanmohammedbinquraish960
    @alhasanmohammedbinquraish960 29 วันที่ผ่านมา +2

    Hindi video sir airflow 🙏🙏🙏

  • @mohammadfurquan241
    @mohammadfurquan241 20 วันที่ผ่านมา

    📌ONE VIDEO ON KAFKA ALSOOOOO

  • @njagikevin1069
    @njagikevin1069 17 วันที่ผ่านมา +1

    Env file ".env" found. Loading...
    [+] Running 3/4
    - Container 20241028-etl-weather_43a1dc-postgres-1 Starting 1.2s
    - Container 20241028-etl-weather_43a1dc-triggerer-1 Recreated 0.4s
    - Container 20241028-etl-weather_43a1dc-scheduler-1 Recreated 0.5s
    - Container 20241028-etl-weather_43a1dc-webserver-1 Recreated 0.4s
    Error: error building, (re)creating or starting project containers: Error response from daemon: Ports are not available: exposing port TCP 127.0.0.1:5432 -> 0.0.0.0:0: listen tcp 127.0.0.1:5432: bind: An attempt was made to access a socket in a way forbidden by its access permissions.
    i am getting this error when running astro dev start

  • @siddharthtyagi1254
    @siddharthtyagi1254 หลายเดือนก่อน +1

    sir please upload some more tools in udemy course

    • @krishnaik06
      @krishnaik06  หลายเดือนก่อน +1

      yes brother kubernetes will also get added

    • @siddharthtyagi1254
      @siddharthtyagi1254 หลายเดือนก่อน +1

      @@krishnaik06 sir i want to learn feature store also from you . please sir

  • @prathmeshatre6251
    @prathmeshatre6251 หลายเดือนก่อน

    S missing in using word

  • @AlHasan-sh3il
    @AlHasan-sh3il 2 วันที่ผ่านมา

    sir hindi video please

  • @deepop1287
    @deepop1287 26 วันที่ผ่านมา

    Hello sir , Actually i want to buy your Udemy course of DATA ANALYST , But the price is currently high , so can you please provide me a Udemy coupon for this course then it will be really helpful sir 🥺🥺

  • @KNfarming882
    @KNfarming882 หลายเดือนก่อน +1

    First comment

  • @MOHIT836
    @MOHIT836 หลายเดือนก่อน +4

    Krish sir, is this available on MLOps course ??

    • @krishnaik06
      @krishnaik06  หลายเดือนก่อน +2

      yes many projects have been uploaded there :)