221
388 939

Parallélisation Numba pour OneVsRestClassifier (Python)

34:34

Python rapide avec Taichi (vs. Numba)

18:46

Vectorisation des calculs - Numpy, Numba, Xarray (Python)

25:59

Intégration de code C dans Python avec Cython

18:35

Python rapide avec Numba

19:46

Intégration de code C++ dans un projet R avec Rcpp

19:35

Parallélisation des traitements avec Joblib (Python)

Exploration des fonctionnalités de la librairie « Joblib » en matière de parallélisation des traitements. Cas d’étude avec l’implémentation de la stratégie OneVsRestClassifier pour la régression logistique multiclasse, l’algorithme sous-jacent est une régression logistique binaire basée sur un « fisher scoring ». Comparaison des durées d’exécution, (1) sans et avec la parallélisation, (2) entre deux technologies de parallélisation (processus vs. threads). Pour (1), bien que l’introduction du traitement parallèle soit significative, elle ne permet pas de réduire la durée proportionnellement au nombre de ressources demandées ; pour (2), les approches concurrentes (processus vs. threads) sont équivalentes, tout du moins pour le problème étudié.
Site de Joblib : joblib.readthedocs.io/en/stable/index.html
Notebook : tutoriels-data-science.blogspot.com/p/tutoriels-en-francais.html

มุมมอง: 159

วีดีโอ

Parallélisation Numba pour OneVsRestClassifier (Python)

34:34

Parallélisation Numba pour OneVsRestClassifier (Python)

มุมมอง 827 ชั่วโมงที่ผ่านมา

Exploration des fonctionnalités de la librairie « Numba » (Python) pour le traitement parallèle en machine learning. Cas d’étude avec l’implémentation de la stratégie OneVsRestClassifier pour le classement multiclasse. La méthode sous-jacente est une régression logistique binaire avec l’algorithme Fisher Scoring, lui-même développé « from scratch » et « compilé » avec Numba. Mesure de la réduct...

18:46

Python rapide avec Taichi (vs. Numba)

มุมมอง 14512 ชั่วโมงที่ผ่านมา

Présentation de « Taichi », un package dédié à la haute performance pour la programmation Python, avec plusieurs fonctionnalités, dont la compilation à la volée (JIT - Just in Time Compiler) du code en instructions machines, ainsi que la parallélisation des calculs, etc. Dixit la documentation, la rapidité d’exécution peut surpasser celle de langages tels que le C . Dans notre expérimentation o...

Vectorisation des calculs - Numpy, Numba, Xarray (Python)

25:59

Vectorisation des calculs - Numpy, Numba, Xarray (Python)

มุมมอง 14514 ชั่วโมงที่ผ่านมา

Principe de la vectorisation des traitements sur des grandes structures de vecteurs et matrices « numpy ». Itérations sur les valeurs avec les boucles. Accélération des calculs à l’aide du mécanisme de vectorisation. Exploitation de la « compilation » Numba de la fonction appliquée aux scalaires, avec les directives @njit et @vectorize. Utilisation de la fonctions dédiée de « xarray », plus eff...

Intégration de code C dans Python avec Cython

18:35

Intégration de code C dans Python avec Cython

มุมมอง 12021 ชั่วโมงที่ผ่านมา

Description et mise en œuvre de Cython, une extension du langage Python qui permet d’intégrer et d’interagir avec du code C dans un projet Python. Deux modes sont proposés : Pure Python, où le code reste compatible avec Python natif ; Cython où nous nous rapprochons davantage du langage C. L’installation d’un compilateur C/C est nécessaire. Dans ce tutoriel, je montre l’utilisation du dispositi...

19:46

Python rapide avec Numba

มุมมอง 20621 ชั่วโมงที่ผ่านมา

Présentation de Numba, un package qui réalise la compilation à la volée (JIT - Just in Time Compiler) du code Python en instructions machines. Les performances se rapprochent des langages tels que C ou Fortran. Le dispositif est très facile à mettre en œuvre, avec à la clé des gains en temps d’exécution réellement spectaculaires. Je montre cela dans un exemple de tri à bulles d’un vecteur de va...

Intégration de code C++ dans un projet R avec Rcpp

19:35

Intégration de code C++ dans un projet R avec Rcpp

มุมมอง 15221 วันที่ผ่านมา

Détection des goulots d’étranglement (en temps d’exécution) dans un programme R avec un profiler. Différentes pistes pour dépasser les écueils, en particulier la possibilité de réécrire en C les portions de code concernées. Utilisation de la librairie « Rcpp ». Installation du compilateur C via « RTools ». Configuration et écriture du fichier « .cpp ». Compilation, importation et utilisation da...

19:14

Combiner R et Python via Reticulate

มุมมอง 21421 วันที่ผ่านมา

Pouvoir faire appel à du code Python dans un notebook R (.rmd). Installation et configuration préalable des outils. Accès à des objets R dans du code R, et inversement. Exemple de projet d’analyse prédictive où (1) sous R, les individus, décrits par des variables mixtes, sont projetés dans un espace factoriel via l’analyse factorielle des données mixtes du package « FactoMineR » ; (2) sous Pyth...

Few-shot classification en NLP (spaCy / classy-classification)

17:45

Few-shot classification en NLP (spaCy / classy-classification)

มุมมอง 16028 วันที่ผ่านมา

Catégorisation de textes à partir d’un modèle pré-entraîné peaufiné à l’aide de quelques (très peu) documents étiquetés. Utilisation du package « classy-classification » qui permet de compléter un pipeline de départ « spaCy ». Quelques éléments sur l’installation (difficile) du package, solution de repli avec Google Colab. Evaluation des performances sur la base IMDB de commentaires de films. A...

Image to text et traduction (Hugging Face / Transformers)

20:13

Image to text et traduction (Hugging Face / Transformers)

มุมมอง 15828 วันที่ผ่านมา

Combinaisons de pipelines Transformers (PyTorch, deep learning) basés sur des modèles pré-entraînés disponibles sur Hugging Face : un parseur d’image qui produit une description textuelle en anglais ; un traducteur qui traduit du texte de l’anglais vers le français. Les modèles pré-entraînés sont respectivement « ydshieh/vit-gpt2-coco-en » et « google-t5/t5-base ». Un regard rapide sur la liste...

Sentiment Analysis en NLP (Hugging Face / Transformers)

16:40

Sentiment Analysis en NLP (Hugging Face / Transformers)

มุมมอง 18728 วันที่ผ่านมา

Analyse de sentiments en traitement des données textuelles via les modèles pré-entraînés accessibles sur Hugging Face. Utilisation du package « transformers » pour Python. Configuration de l’environnement. Utilisation de « PyTorch » comme moteur « deep learning » sous-jacent à la librairie. Quelques exemples d’usage avec parfois des résultats qui interrogent. Evaluation plus étendue sur la base...

Zero-shot classification en NLP (Hugging Face / Transformers)

23:50

Zero-shot classification en NLP (Hugging Face / Transformers)

มุมมอง 20828 วันที่ผ่านมา

Principe du "Zero-Shot Classification" en NLP (natural language processing, traitement statistique des données textuelles). Utilisation des modèles pré-entraînés pour le classement de documents dans un domaine spécifique. Modèle récupéré sur Hugging Face, dans notre cas "roberta-large-mnli". Installation des outils, en particulier du package "Transformers" et du moteur sous-jacent "PyTorch" (Py...

Deep Learning sous R avec le package torch

40:44

Deep Learning sous R avec le package torch

มุมมอง 299หลายเดือนก่อน

Implémentation d’un algorithme de deep learning (un perceptron multicouche) sous R à l’aide de la libraire « torch », basé sur « PyTorch ». Préparation des données, définition de la structure du réseau via une classe, paramétrage de la fonction de perte et de l’algorithme d’optimisation, entraînement du modèle, évaluation sur un échantillon test. Particularité de la vidéo : mise en parallèle su...

28:56

R et Python - Performances comparées

มุมมอง 665หลายเดือนก่อน

Comparaison des performances des technologies sous-jacentes à R et Python. Le principe du JIT (just-in-time, compilation à la volée) qui génère du byte-code dans les deux cas. Mesures de performances dans l’implémentation d’un tri à bulles, où sont mis à l’épreuve principalement : l’accès aux valeurs d’un vecteur (lecture, écriture), la réalisation de boucles for imbriquées, la gestion des bran...

Knime Interactive R Statistics Integration

56:42

Knime Interactive R Statistics Integration

มุมมอง 2292 หลายเดือนก่อน

Possibilité d’exécuter du code R au sein d’un workflow Knime à l’aide des composants R Scripting. Installation de l’extension « Interactive R Statistics » dans Knime. Configuration de l’outil avec désignation de l’interpréteur (moteur) R à utiliser. La question des packages R spécifiques que l’on souhaite intégrer dans nos workflows. La circulation des informations d’un composant à l’autre avec...