Focus On: The Apache Airflow PythonOperator, all you need in 20 mins!

แชร์
ฝัง
  • เผยแพร่เมื่อ 14 พ.ย. 2024

ความคิดเห็น • 31

  • @goodmanshawnhuang
    @goodmanshawnhuang 3 หลายเดือนก่อน

    Great job, thanks for sharing it.

  • @chris0628
    @chris0628 ปีที่แล้ว +1

    To the point, no fluff 👍🏽

  • @FranVarVar
    @FranVarVar ปีที่แล้ว +1

    Amazing. Thanks Marc!

  • @JosePla
    @JosePla 2 ปีที่แล้ว

    This is exactly what I was looking for

  • @amitjain000
    @amitjain000 3 ปีที่แล้ว +1

    Awesome.. thanks for such a beautiful knowledge share.

  • @Leonardo-jv1ls
    @Leonardo-jv1ls 2 ปีที่แล้ว +1

    Thank you. You've helped me a lot.

  • @steliosioannides7128
    @steliosioannides7128 3 ปีที่แล้ว

    Thanks Marc for this very useful video! High appreciated ! Keep it up !!

  • @andrikramer686
    @andrikramer686 3 ปีที่แล้ว

    Awesome. Thanks a lot, Marc.

  • @SpiritOfIndiaaa
    @SpiritOfIndiaaa 3 ปีที่แล้ว

    Excellent thanks a lot...I have to check oracle table if a record exists for current date ,if exists then only call downdown stream task ,how to achieve this ?

  • @AbhishekAmeria
    @AbhishekAmeria 3 ปีที่แล้ว

    That's was very useful. Thanks :)

  • @averychen4633
    @averychen4633 9 หลายเดือนก่อน

    you are the best

  • @sridhar43299
    @sridhar43299 2 ปีที่แล้ว +1

    How to send object from gcs to email bu airflow. If possible send me code

  • @vladimirobellini6128
    @vladimirobellini6128 3 ปีที่แล้ว

    this is great. thanks!

  • @shivangitomar5557
    @shivangitomar5557 3 ปีที่แล้ว

    Very good vidoe!!!

  • @eunheechoi3745
    @eunheechoi3745 ปีที่แล้ว

    whenever I first run the airflow test command, it throws an error saying 'sqlalchemy.exc.NoReferenceTableError: Foreign key associated with column 'dag_run_note.user_id' could not find table 'ab_user' with which to generate a foreign key to target column 'id'
    do you what it is about? and how to fix it?
    Second run it doesn't occur....

    • @Astronomer
      @Astronomer  ปีที่แล้ว

      Hmmmmm interesting, if it works on the second run maybe it needs to generate the table first?

  • @bullandrooster
    @bullandrooster 3 ปีที่แล้ว

    Can I run 2 dags with different python version and different pandas version? For now I see airflow offers only one python version at the time, and only predefined required dependencies.
    And all my dags must match that specs.

  • @brendoaraujo9110
    @brendoaraujo9110 2 ปีที่แล้ว

    instead of calling the script function, is there an operator that I can call the script completely to be executed?

  • @GeandersonLenz
    @GeandersonLenz 3 ปีที่แล้ว +2

    How to turn ON this module includes?

    • @leomax87
      @leomax87 2 ปีที่แล้ว

      did you resolve it?

  • @valetta6789
    @valetta6789 2 ปีที่แล้ว

    I am trying to pull the value from another task in a different folder, however, I see only the current task instance. Is this new behaviour, or am I unable to pass between different directories?

    • @Astronomer
      @Astronomer  ปีที่แล้ว

      So your DAG's are in different folders?

    • @valetta6789
      @valetta6789 ปีที่แล้ว

      @@Astronomer I have no idea what I was talking about😄

  • @manjunathmani3678
    @manjunathmani3678 3 ปีที่แล้ว

    nice man

  • @archanam4224
    @archanam4224 2 ปีที่แล้ว

    import airflow cannot be resolved

  • @BalvanshHeerekar
    @BalvanshHeerekar 3 ปีที่แล้ว +1

    Hey, while using includes I get the error - ModuleNotFoundError: No module named 'includes'

    • @leomax87
      @leomax87 2 ปีที่แล้ว

      I'm facing the same error. How Can I resolve it?

    • @eldrigeampong8573
      @eldrigeampong8573 ปีที่แล้ว

      @@leomax87 you can import the sys module in python after which you will navigate a number of levels either up or down into the directory your file is located.
      import sys
      sys.path.append(".") # that's move a level up into the dags folder
      from includes.my_dags.functions import process

  • @MariaMartin-q8d
    @MariaMartin-q8d หลายเดือนก่อน

    Gonzalez Betty White Scott Anderson Jennifer