FIDLE / "Attention Is All You Need", quand les Transformers changent la donne !

แชร์
ฝัง
  • เผยแพร่เมื่อ 18 ธ.ค. 2024

ความคิดเห็น • 12

  • @youcefachi-og6rr
    @youcefachi-og6rr 10 หลายเดือนก่อน +4

    vraiment trés interessant, à 43 ans et j'apprend avec vous

    • @CNRS-FIDLE
      @CNRS-FIDLE  9 หลายเดือนก่อน +1

      Merci beaucoup, notre objectif est que le Deep Learning soit accessible de 7 à 77 ans :-)

  • @kidam999
    @kidam999 2 หลายเดือนก่อน

    Excellente explication ! Très bon travail.

    • @CNRS-FIDLE
      @CNRS-FIDLE  17 วันที่ผ่านมา

      Merci beaucoup !

  • @lolo6795
    @lolo6795 10 หลายเดือนก่อน +1

    Merci pour cette excellente présentation.

    • @CNRS-FIDLE
      @CNRS-FIDLE  10 หลายเดือนก่อน

      Merci beaucoup pour ce retour !

  • @gno7553
    @gno7553 6 หลายเดือนก่อน

    Très bien expliqué. Je suis allé lire cette Article, c'est très intéressant.

    • @CNRS-FIDLE
      @CNRS-FIDLE  6 หลายเดือนก่อน

      Merci beaucoup :-)

  • @Arkonis1
    @Arkonis1 7 หลายเดือนก่อน

    Pour l'image les resnext ne sont plus aussi bon que les transformers? Il y a deux ou trois ans, un papier disait que les resnext faisaient aussi bien

    • @CNRS-FIDLE
      @CNRS-FIDLE  7 หลายเดือนก่อน +1

      Vous faites peut-être référence au papier "ResNet strikes back" de 2021 ? Pour la tâche limitée de classification / Imagenet c'était effectivement le cas, mais depuis des architectures type MetaFormer, ou mixé Conv / Attention font sensiblement mieux. Sinon pour la tâche plus généraliste d'extraction de features visuelles, ce sont les Transformers qui sont largement utilisés, entrainés avec des datasets beaucoup plus conséquents qu'Imagenet.

    • @Arkonis1
      @Arkonis1 7 หลายเดือนก่อน

      @@CNRS-FIDLE Merci de votre retour. Pardon, je parlais en fait du convnext pas du resnext. Je viens de retrouver le papier dont je parlais: "A ConvNet for the 2020s" de Z. Liu et al.
      Apparemment ils en ont fait une suite: "ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders" début 2023, que je n'ai pas encore lu.

    • @CNRS-FIDLE
      @CNRS-FIDLE  6 หลายเดือนก่อน

      Ah d'accord oui ConvNext fait effectivement un meilleur score sur Imagenet Top-1 par rapport aux résultats originaux de ViT avec des modèles équivalents en taille. Cependant vous pouvez voir sur paperwithcode que le haut du tableau est occupé par des modèles avec une base VisionTransformer.