Comparativa: Fortunata y Jacinta contra Fortunata y Jacinta lematizada

Índice

• Información General
  
• Ley de Heaps - Saturación léxica
  
• Ley de Zipf
  
• Test de Dunning
  

La Ley de Heaps es una ley empírica que predice el tamaño del vocabulario dado un texto. Esto es, nos da una estimación del número de palabras distintas (v) dado el número total de palabras (n) de que consta el texto, según la fórmula

Fortunata Fortunata_lemat #Palabras: #Palabras distintas: 7893 2565 15786 4264 23679 5618 31572 6883 39465 8003 47358 9041 55251 10012 63144 10853 71037 11795 78930 12676 86823 13361 94716 14081 102609 14711 110502 15429 118395 16060 126288 16619 134181 17131 142074 17675 149967 18208 157860 18684 165753 19289 173646 19816 181539 20285 189432 20724 197325 21105 205218 21491 213111 21983 221004 22443 228897 22823 236790 23160 244683 23592 252576 23966 260469 24316 268362 24700 276255 25017 284148 25313 292041 25575 299934 25919 307827 26259 315720 26604 323613 26910 331506 27234 339399 27507 347292 27816 355185 28142 363078 28404 370971 28671 378864 28907 386757 29093 394650 29367 394672 29367 #Palabras: #Palabras distintas: 7876 1911 15752 2998 23628 3820 31504 4491 39380 5072 47256 5620 55132 6092 63008 6505 70884 6989 78760 7392 86636 7702 94512 8036 102388 8274 110264 8653 118140 8908 126016 9125 133892 9345 141768 9564 149644 9783 157520 9971 165396 10223 173272 10448 181148 10618 189024 10785 196900 10922 204776 11069 212652 11308 220528 11473 228404 11609 236280 11731 244156 11888 252032 12012 259908 12145 267784 12285 275660 12398 283536 12488 291412 12586 299288 12702 307164 12841 315040 12946 322916 13054 330792 13174 338668 13252 346544 13345 354420 13476 362296 13560 370172 13626 378048 13709 385924 13770 393800 13854 393844 13855	Ajuste por mínimos cuadrados de los datos a K*n^b:
	Fortunata		Fortunata_lemat
	K = 14.613		K = 34.438
	b = 0.595		b = 0.471

La ley de Zipf es una ley empírica que se basa en el principio de mínimos esfuerzo. Esto es, supone que existe un pequeño número de palabras, las más "conocidas", que son utilizadas con mucha frecuencia, mientras que hay un gran número de palabras son poco empleadas.

Matemáticamente esto quiere decir que la frecuencia (número de apariciones) de una palabra cualquiera es inversamente proporcional a su ranking, entendido como su posición en una lista de las palabras presentes en el texto ordenada descendentemente en función de su frecuencia.
Así, la palabra más frecuente aparecerá aproximadamente dos veces más que la segunda palabra más frecuente, unas tres veces más que la tercera palabra más frecuente, etc.

Gráficamente, cuando una curva se encuentra por encima de la recta "ideal" quiere decir que el texto emplea recurrentemente un número de palabras muy reducido, habiendo muy pocas que aparezcan con poca frecuencia.
Por el contrario, cuando la curva se encuentra por debajo de la "ideal", el texto contiene un vocabulario más amplio, con muchas palabras que aparecen relativamente pocas veces.