Spacy la librairie python dédiée au NLP - partie 1

LinkedIn : / jerome-fortias
Projets open sources : www.nexai.net
Github Nexai : www.github.com/nexai
mon blog www.jeromefortias.com
Email : [e-mail]
Tags : #python #spacy
Liens utiles :
- spacy.io/usage/large-language...
Le code
from flask import Flask, request, jsonify
import spacy
nlp = spacy.load("en_core_web_sm")
app = Flask(__name__)
@app.route('/process_string', methods=['POST'])
def process_string():
if not request.json or 'input_string' not in request.json:
return jsonify({"error": "Please provide a string with the 'input_string' key"}), 400
input_string = request.json['input_string']
doc = nlp(input_string)
table = []
for token in doc:
table.append({"pos": token.pos_, "text": token.text , "dep": token.dep_ , "lemma": token.lemma_, "tag": token.tag_, "shape": token.shape_})
return jsonify(table)
if _name_ == '__main__':
app.run(debug=True, port=81)
Introduction
Je m'appelle Jérôme Fortias. Aujourd'hui, je vais parler du traitement naturel du langage (NLP) et vous présenter une démonstration d'une librairie Python utilisée pour le NLP, notamment spaCy.
Présentation de spaCy
SpaCy est une librairie Python qui permet de convertir des textes non structurés en données compréhensibles et structurées. Elle est utilisée pour analyser des textes, des e-mails et d'autres formes de communication écrite. Pour l'installer, il suffit de se rendre sur le site [spacy.io](spacy.io) et suivre les instructions simples d'installation.
Démonstration de spaCy
Je montre comment importer la librairie dans un environnement Python, charger un modèle linguistique, et exécuter des fonctions de base de spaCy. Cela inclut la tokenisation, l'analyse grammaticale, et la lématisation, qui permet de réduire un mot à sa forme de base.
Exemple pratique
Je crée un service REST simple en utilisant Flask pour illustrer comment spaCy peut être intégré dans une application. Je montre comment traiter un texte entré et obtenir des informations structurées telles que la partie du discours de chaque mot et leur relation grammaticale.
Conclusion
Je termine en discutant de l'efficacité de spaCy pour des applications pratiques et des performances sur CPU par rapport à GPU. J'encourage aussi à suivre des cours de NLP, notamment ceux de Stanford, et à explorer d'autres outils comme IBM Watson pour des analyses plus avancées.
Si vous souhaitez que je développe un point spécifique de la vidéo ou si vous avez des questions sur le traitement du langage naturel, n'hésitez pas à me demander!