Salut Natacha et merci pour la video😊... Cependant j'ai quelques préoccupations concernant la tokenisation. T'as pas mentionné la tokenisation par phrase, qui est très utile lorsqu'on a une grande quantité de données textuelles
Effectivement on peut tokeniser par phrase mais je ne l'ai pas encore utilisé. Mais dans la majorité des travaux que j'ai vu jusqu'ici on utilise la tokenisation par mot.
Salut à toutes et à tous . J'ai installé anaconda 3 , mais le problème est que quand j'écris du code dans jupiter notebook je n'ai pas de suggestions de modules , fonctions ....Je dois connaître l'orthographe juste . C'est vraiment contraignant . Pardon quelqu'un a t-il une solution pour mon problème ? Merci d'avance .
Aussi, je croyais que la représentation numérique c'est plutôt le word embedding...mais lorsque vous avez dit que la tokenisation nous permettait de quitter d'un texte à sa forme numérique, suis un peu perdu 🤨
La tokenisation est le processus de division du texte en unités discrètes, appelées tokens. Ces tokens sont généralement des mots, mais peuvent aussi être des phrases ou d'autres subdivisions linguistiques. À chaque token est associé un identifiant unique. Par exemple, si au mot « bonjour » on attribue l'identifiant 1, alors au mot « comment » on pourrait attribuer l'identifiant 2. L'embedding, de son côté, transforme ces tokens en vecteurs numériques. La dimension de ces vecteurs n'est pas nécessairement liée à la taille du vocabulaire.
merci pour cette vidéo 🙂
1-b, 2-d, 3-(guess) avoir vocabulaire plus important !
Salut Natacha et merci pour la video😊... Cependant j'ai quelques préoccupations concernant la tokenisation. T'as pas mentionné la tokenisation par phrase, qui est très utile lorsqu'on a une grande quantité de données textuelles
Effectivement on peut tokeniser par phrase mais je ne l'ai pas encore utilisé. Mais dans la majorité des travaux que j'ai vu jusqu'ici on utilise la tokenisation par mot.
Salut à toutes et à tous . J'ai installé anaconda 3 , mais le problème est que quand j'écris du code dans jupiter notebook je n'ai pas de suggestions de modules , fonctions ....Je dois connaître l'orthographe juste . C'est vraiment contraignant . Pardon quelqu'un a t-il une solution pour mon problème ? Merci d'avance .
1_B
2_D
1-b 2-d
stp on peut avoir le notebook?
Le notebook est disponible ici: github.com/LeCoinStat/30DaysGenerativeAI/tree/main/Jour14
Aussi, je croyais que la représentation numérique c'est plutôt le word embedding...mais lorsque vous avez dit que la tokenisation nous permettait de quitter d'un texte à sa forme numérique, suis un peu perdu 🤨
La tokenisation est le processus de division du texte en unités discrètes, appelées tokens. Ces tokens sont généralement des mots, mais peuvent aussi être des phrases ou d'autres subdivisions linguistiques. À chaque token est associé un identifiant unique. Par exemple, si au mot « bonjour » on attribue l'identifiant 1, alors au mot « comment » on pourrait attribuer l'identifiant 2. L'embedding, de son côté, transforme ces tokens en vecteurs numériques. La dimension de ces vecteurs n'est pas nécessairement liée à la taille du vocabulaire.
@@LeCoinStat Je comprends mieux maintenant, merci 😅
1=B et 2 =D