Comment
Author: Admin | 2025-04-28
Faire avec la matrice tf_idm en complément.ws_pred ws_pred$fitIl est parfois utile d'établir une régression pour rétablir la correspondance entre score prédit et score connu :my_reg#summary(my_reg)Scor1 plot(Eval,Scor1,cex=0.5,col=2,pch=16,xlab="Score réel",ylab="Predict")points(Eval[spl],Scor1[spl],cex=2,col="#00AA0088",pch=16)On pourra par la suite ,faire des prédiction en donnant la dfm de documents à évaluer.Une correction par l'équation my_reg permettra de les évaluer.7.4- Décomposition de documents en composantes pour faire des regroupements/régressionsca plot(ca$rowcoord[,1:2],pch=1,col=c(1:5),cex=2,xlim=c(-2.6,1.3),ylim=c(-1.3,1.3))text(ca$rowcoord[,1:2],labels=P$doc_id)On voit sur cette représentation que la numérisation permet de voir quels textes sont les plus proches. Sans surprise, les 2 recueils du même auteur (Maupassant) restent regroupés.Cette représentation se prête aussi à des régressions linéaires ou des catégorisation de type svm.7.5- Dendrograms et clusters de textes7.6- Evaluer la distance ou la similitude entre des documentstextstat_simil() # Deux documents similaires auront une valeur de 1textstat_dist() # Deux documents similaires, auront une distance de 08- Établir des liens sémantiquesLes liens sémantiques se font facilement sous quanteda avec la fonction fcm() mais le rendu graphique est assez faible.Exemple :mymat jpeg() # nécessaire car l'affichage du réseau à l'écran directement dans R dysfonctionne en général.mywd fcm_select(mymat , pattern = mywd) %>% textplot_network(min_freq = 0.5)dev.off()Pour cette raison, on va voir comment développer les cooccurrences sous forme de igraph.8.1- Etudier les cooccurrences dans des commentaires sur le web ou autresUn arbre est la représentation idéale pour mettre en relation des mots.On partira pour cela d'une matrice de cooccurrences (syn, matrices d'association de mots qui apparaîtront dans le même commentaire ou tweet d'une personne). Dans cette représentation, on a associé les mots qui se retrouvent ensemble dans
Add Comment