TaskFlow API in Airflow 2.0

แชร์
ฝัง
  • เผยแพร่เมื่อ 21 ก.ค. 2024
  • Airflow 2.0 brought with it many great new features, one of which is the TaskFlow API.
    The TaskFlow API makes DAGs easier to write by abstracting the task definition and dependency layer from users, and allowing users to pass information and manage dependencies between tasks in a more standardized Pythonic way.
    In this webinar, we'll talk about how to make the most of the new TaskFlow API features, as well as dive deeper into XComs, custom XCom backends, and best practices for sharing data (or not) between your Airflow tasks.
  • วิทยาศาสตร์และเทคโนโลยี

ความคิดเห็น • 12

  • @priteshpatel6428
    @priteshpatel6428 2 ปีที่แล้ว

    Thank you so much for such a detailed video :)

  • @puneetanand559
    @puneetanand559 2 ปีที่แล้ว

    This is super helpful 👍

  • @dani2500d
    @dani2500d 10 หลายเดือนก่อน

    Very clear.
    Thank you!

    • @Astronomer
      @Astronomer  10 หลายเดือนก่อน

      Thanks Dani!

  • @superbock101
    @superbock101 2 ปีที่แล้ว +1

    Great videos with very good information, but why you don't put a FullHD (1080) version, sometimes it's hard to see the code lines. Keep up the knowledge sharing, thank you so much.

    • @Astronomer
      @Astronomer  ปีที่แล้ว

      We will look to do that going forward!

  • @hseham100
    @hseham100 2 ปีที่แล้ว

    can we use @task decorator to create PythonSensor ?

  • @hldrmaiayt
    @hldrmaiayt 11 หลายเดือนก่อน +1

    Hi Marc, can you give an example how to use task.branch to execute another task?

    • @Astronomer
      @Astronomer  11 หลายเดือนก่อน

      Hey, check out this example: forum.astronomer.io/t/task-flow-api-and-branching/1982

  • @riyanshasingh1337
    @riyanshasingh1337 3 ปีที่แล้ว

    How can build a web app using airflow?

    • @matheusvidal2434
      @matheusvidal2434 2 ปีที่แล้ว +1

      Airflow is not the tool to create a web app

    • @chanpreetsingh007
      @chanpreetsingh007 2 ปีที่แล้ว

      Yeah it can be a part of a webapp popeline