R\u00e9cemment, j’ai eu besoin de trouver une liste de mots, une liste exhaustive de mots en fran\u00e7ais. Une telle liste peut avoir plusieurs usages comme,\u00a0 par exemple:<\/p>\n
Ma recherche sur Internet ne m’a pas permis de trouver un fichier suffisamment complet mais j’ai d\u00e9couvert le programme CeWL qui permet de cr\u00e9er des listes en puisant des mots dans des sites WEB. L’id\u00e9e est bonne.<\/p>\n
CeWL est un logiciel libre \u00e9crit en Ruby mais je n’ai aucune connaissance de Ruby. J’ai donc d\u00e9cid\u00e9 d’utiliser le m\u00eame concept mais de le r\u00e9aliser en Python. Mon approche initiale est de puiser tous les mots de Wikip\u00e9dia en fran\u00e7ais. Pourquoi Wikip\u00e9dia? La quantit\u00e9 des textes disponibles est impressionnante et la qualit\u00e9 de leurs textes est excellente (peu d’erreurs orthographiques).<\/p>\n
La logique d’un tel programme se r\u00e9sume comme suit:<\/p>\n
La 1\u00e8re \u00e9tape se fait facilement avec l’utilitaire wget et les 3 suivantes se font facilement en Python. Le r\u00e9sultat de la 1\u00e8re \u00e9tape prendrait la forme de:<\/p>\n
wget [options] fr.wikipedia.org | monFiltre > listeDeMots.txt<\/p>\n
Le principe de wget est d’analyser une page WEB et de suivre tous les liens qu’elle contient. Chacune de ces pages contient aussi des liens qui en contiennent d’autres. En explorant tous ces liens, on r\u00e9ussit \u00e0 explorer un site WEB en ne sp\u00e9cifiant qu’un seul point d’entr\u00e9e.<\/p>\n
wget -E -e robots=off -nd -r -l6 -w1 fr.wikipedia.org<\/p>\n
La 2i\u00e8me \u00e9tape est plus complexe. Le fichier re\u00e7u est en langage HTML. On ne veut pas extraire des mots de la syntaxe HTML. Il faut donc localiser le texte affich\u00e9 \u00e0 l’int\u00e9rieur du HTML. Ce pourrait \u00eatre complexe car le HTML n’est pas simple.\u00a0 Heureusement, Python et le module HTMLParser nous simplifieront la t\u00e2che. Il suffit d’utiliser le texte qui se trouve \u00e0 l’int\u00e9rieur des balises <body … <\/body> et \u00e0 l’ext\u00e9rieur des balises <script … <\/script> et <a … <\/a>. Une version simplifi\u00e9e serait:<\/p>\n
class htmlParser( HTMLParser):\r\n def handle_starttag( self, tag, attr):\r\n\u00a0\u00a0 \u00a0\u00a0 enCours.append( tag)\r\n\r\n\u00a0\u00a0 def handle_endtag( self, tag):\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 for i in range( len(enCours), 0, -1):\r\n\u00a0\u00a0\u00a0 \u00a0\u00a0\u00a0\u00a0\u00a0 if enCours[i-1] == tag: del enCours[i-1]\r\n \r\n def handle_data( self, data):\r\n\u00a0\u00a0\u00a0 if ('body' in enCours) and not (('script' in enCours) or ('a' in enCours)):\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 for c in ',.;:\/(){}[]|?\"%@!$&+=_\\t\\\\': txt2 = txt2.replace( c, ' ') # tous sauf \"-\\'\"\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 mots = txt2.split()\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 for mot in mots:\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 # on met ici certaines exclusions ou contraintes:\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 if mot.isnumeric(): continue # on ne veut pas de nombres\r\n mot = mot.lower(): tout en minuscules\r\n\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 if not (mot in listeMots):\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 listeMots.append(mot)\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 print( mot)\r\n<\/pre>\nL’\u00e9tape 3 d\u00e9pend des besoins sp\u00e9cifiques. Si on veut des mots pour le Scrabble, on remplacera les lettres accentu\u00e9es par leur version non-accentu\u00e9e et on convertira tout en majuscules (ou tout en minuscules).<\/p>\n
L’\u00e9tape 4 est facile \u00e0 r\u00e9aliser.<\/p>\n
Une version plus compl\u00e8te est disponible ici.<\/p>\n
Combien de pages faut-il visiter? La section fran\u00e7aise de Wikip\u00e9dia contient pr\u00e8s de 2 millions de pages. Faut-il toutes les visiter? Non! ce serait un gaspillage d’\u00e9lectrons libres. Plus on visite des pages moins on d\u00e9couvrira de mots nouveaux.\u00a0 \u00c0 partir d’un certain point, il n’y aura plus de nouveaut\u00e9 (du moins, c’est ce que je pensais).<\/p>\n
Apr\u00e8s 20 000 pages (plus de 3Go de trafic), ma liste s’allonge encore (elle est actuellement de plus de 700 000 mots. Malheureusement, j’avais sous-estim\u00e9 le nombre de noms propres et de noms scientifiques dans les pages Wikip\u00e9dia. Ma liste contient donc des milliers de noms de fleurs (en fran\u00e7ais et en latin), des dizaines de milliers de noms d’individus (tel \u00ab\u00a0\u00c9ric\u00a0\u00bb \u00ab\u00a0Lapointe\u00a0\u00bb), des centaines de milliers de noms de lieux (tel \u00ab\u00a0Saint-Jean\u00a0\u00bb \u00ab\u00a0Matha\u00a0\u00bb) et des fautes (telle ciconscriptions). Ma 1\u00e8re conclusion est que Wikip\u00e9dia fournit un contenu trop encyclop\u00e9dique pour mon besoin. Je referai donc le m\u00eame exercice avec le contenu d’un ensemble de romans. C’est \u00e0 suivre.<\/p>\n
2i\u00e8me conclusion: ce qui est simple n’est pas n\u00e9cessairement performant. Le programme pr\u00e9sent\u00e9 plus haut est simple et m\u00eame trop simple. Un \u00e9nonc\u00e9 du genre \u00ab\u00a0if mot in listeMots\u00a0\u00bb semble inoffensif mais lorsque la liste contient plusieurs centaines de milliers de mots, le temps d’ex\u00e9cution de l’\u00e9nonc\u00e9 est non-n\u00e9gligeable et devient un goulot d’\u00e9tranglement. Il existe des techniques plus performantes et ce fera l’objet d’un article futur.<\/p>\n","protected":false},"excerpt":{"rendered":"
R\u00e9cemment, j’ai eu besoin de trouver une liste de mots, une liste exhaustive de mots en fran\u00e7ais. Une telle liste peut avoir plusieurs usages comme,\u00a0 par exemple: jouer au scrabble en solitaire solutionner automatiquement des grilles de mots-crois\u00e9s etc Ma recherche sur Internet ne m’a pas permis de trouver un fichier suffisamment complet mais j’ai … <\/p>\n