Comment
Author: Admin | 2025-04-28
Corpus_segment() :mon_corpus Nombre de documents dans le corpusndoc(corpus) Noms des fichiers du corpuscorpus$doc_idou sinon :docnames(corpus)DocVars, les variable qui décrivent un corpusdocvars(corpus,"id") # Filtrer le corpuscorpus_subset(corpus,idLisibilité Un conseil, appliqué la lisibilité à d'autres ouvrages pour pondérer les valeurs de sorties qui n'entrent pas exactement dans la gamme de lisibilité attendue pour les tests de Flesch/Fog...textstat_readability(corpus,measure="Flesch.Kincaid")textstat_readability(corpus,measure="FOG")Entropierequire(quanteda.textstats) # install.packages("quanteda.textstats")textstat_entropy(corpus)2- Nettoyer un corpus (très important !)Nettoyer le texte est très important en textmining :Que faire des stopwords : ces mots banaux (j'ai, et, que) qui diluent l'information textuelle ?Comment se débarrasser de la ponctuations, des smileys, etc ?Comment faire comprendre à l'ordinateur que regarde et regardent et regardes c'est la même chose , la racine du verbe : "regarde" ?2.1- Utiliser la librairie textclean pour forcer un nettoyage du corpustextclean est performante pour supprimer tous les caractères spéciaux, non ascii, les chiffres, les émoticônes. Je vous invite à aller explorer ses fonctionnalités. Voici 2 fonctions de nettoyage qui peuvent être utiles :replace_symbol() - Élimine tous les symboles mais garde le reste intactcorpusreplace_non_ascii() - Force l'élimination de tous les caractères non ascii. Attention, les caractères d'autres langues comme les caractères grecs, par exemple, seront éliminés.corpusstrip() - Éliminer tous les caractères spéciaux, ou tous les chiffres, ou toutes les apostrophes.corpus2.2- Identifier les différents types de caractères contenus dans un corpusCette fonction est utile pour voir si des caractères étranges ne sont pas apparus (problème d'encodage) ou s'il ne persiste pas des caractères spéciaux non nettoyés comme des apostrophes courbes ou des espaces insécables.mes_caracteres print(mes_caracteres)uniq_car print(uniq_car)Dans cet
Add Comment