Airflow TaskFlow API: Airflow Tutorial P7

แชร์
ฝัง
  • เผยแพร่เมื่อ 16 ม.ค. 2025

ความคิดเห็น • 30

  • @olgy7874
    @olgy7874 3 ปีที่แล้ว

    Thank you for doing a great job to share your knowledge!

    • @coder2j
      @coder2j  3 ปีที่แล้ว

      Glad you like it!

  • @ぺんぎん太郎-p5i
    @ぺんぎん太郎-p5i 3 ปีที่แล้ว

    Thank you !! you are the no1 engineer in the world!!😊😊😊😊

    • @coder2j
      @coder2j  3 ปีที่แล้ว

      Wow, thanks

  • @vadymdytyniak4899
    @vadymdytyniak4899 3 ปีที่แล้ว +1

    Great tutorial! Would be great to see custom operator best practices and contrib operators usage. Thanks.

    • @coder2j
      @coder2j  3 ปีที่แล้ว

      More to come, stay tuned. 😉

  • @aniqatiq731
    @aniqatiq731 3 ปีที่แล้ว

    Great work so helpful

    • @coder2j
      @coder2j  3 ปีที่แล้ว

      Glad to hear that!

  • @leamon9024
    @leamon9024 3 ปีที่แล้ว

    Thanks man.

    • @coder2j
      @coder2j  3 ปีที่แล้ว

      Happy to help

  • @ankushmane6276
    @ankushmane6276 ปีที่แล้ว

    i want to know how to use airflow REST services using postman we facing issue for Authentication while sending request from postman

  • @mukammedalimbet2351
    @mukammedalimbet2351 3 ปีที่แล้ว

    Amazing, learned a lot. thank you for your series. Can you keep it up please so we can learn more stuff?

    • @coder2j
      @coder2j  3 ปีที่แล้ว +1

      That's the plan! Thanks for sharing your thoughts.

  • @xmagcx1
    @xmagcx1 3 ปีที่แล้ว

    Your videos are very good, I would like to know how I can expose the airflow configuration file since all the images that I have downloaded do not have it accessible, thank you very much

    • @coder2j
      @coder2j  3 ปีที่แล้ว +1

      The airflow configuration file exists in the airflow container under that directory of /opt/airflow/airflow.cfg, by which you can mount local airflow.cfg with. If you want to change the configuration, it is recommended to use the environment variables: airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html

    • @xmagcx1
      @xmagcx1 3 ปีที่แล้ว

      ​@@coder2j thank u master ;)

  • @olgy7874
    @olgy7874 3 ปีที่แล้ว

    It would be great to see Airflow in action on a cluster of workers on AWS free tier account. :)

    • @coder2j
      @coder2j  3 ปีที่แล้ว

      Great idea! Let me investigate it and see if we can make a video for that.

  • @aniqatiq731
    @aniqatiq731 3 ปีที่แล้ว

    Using keras with airflow and how to use any docker image for that. Build a deep learning pipeline with keras

    • @coder2j
      @coder2j  3 ปีที่แล้ว

      Do you mean how to run airflow docker container task?

    • @aniqatiq731
      @aniqatiq731 3 ปีที่แล้ว

      Yes docker with keras installef

    • @coder2j
      @coder2j  3 ปีที่แล้ว

      That's a great idea. I will plan something for that. Stay tuned!

  • @pratikpatil2683
    @pratikpatil2683 3 ปีที่แล้ว

    Can you show how to download file from s3 bucket and share it via SFTP to remote server by writing custom dag (the workflow in same dag)

    • @coder2j
      @coder2j  3 ปีที่แล้ว

      I will definitely cover how to use Airflow to connect with S3 and customised operator. Stay tuned! SFTP you can check the doc of the SFTP provider. airflow.apache.org/docs/apache-airflow-providers-sftp/stable/_api/airflow/providers/sftp/index.html

  • @0kazaki
    @0kazaki ปีที่แล้ว

    should i use this taskflow api in 2023 ?

    • @coder2j
      @coder2j  ปีที่แล้ว

      There is no right or wrong way to write your dag. Task flow is a good way to organize your code.

    • @AmmarAli1214
      @AmmarAli1214 ปีที่แล้ว

      is there any better option?
      plz let me know, I'm newbie

  • @maroofshahid7136
    @maroofshahid7136 9 หลายเดือนก่อน

    Does anyone know how to switch to dark mode in airflow ?

  • @AmmarAli1214
    @AmmarAli1214 ปีที่แล้ว

    Hey @coder2j, I'm newbie Data Engr and learning Airflow. While practing on the same code, I got following error. can you please help me to sort it out?
    WARNING - Dependency , greet already registered for DAG: DAG5-3
    ]

    • @coder2j
      @coder2j  ปีที่แล้ว

      Can you share your dag file?