Como calcular la frecuencia de término – frecuencia inversa de documento

image from media.licdn.com
La frecuencia de término – frecuencia inversa de documento (TF-IDF) por sus siglas en inglés) es un cálculo utilizado en el área de Machine Learning para poder computar la similitud entre dos documentos. Hay varias maneras de calcularla. A continuación les presento la manera mas fácil que he visto de calcularla con un ejemplo muy simple. Espero que les sirva.

Variables a utilizar:

  • Cantidad de documentos siendo analizados: 64
  • Ocurrencias de la palabra "la" en el documento siendo analizado: 1,000
  • Ocurrencias de la palabra "bruja" en el documento siendo analizado: 5
  • En cuantos de los 64 documentos siendo analizados aparece  la palabra "la": 63
  • En cuantos de los 64 documentos siendo analizados aparece  la palabra "bruja": 3

Fórmulas:

  • Frecuencia de Término: la cantidad de veces que aparece una palabra en el documento siendo estudiado
  • Frecuencia Inversa de Documento:    log.  # de documentos totales / 1 + cantidad de documentos donde aparece la palabra

Ejemplo utilizando las variables definidas:

  • Frecuencia de Término  para la palabra "la" = 1,000 
  • Frecuencia de Término  para la palabra "la" = 5

Frecuencia de Término:

  la   bruja  
  1,000   5  

Frecuencia Inversa del Documento:

Para la palabra "la":

log (64 / 1 + 63 )= 0

Para la palabra "bruja":

log (64 / 1 + 3) = 4

  la   bruja  
  0   4  

Una vez que hemos calculado ambos valores tan solo queda realizar la multiplicación de los vectores para generar el TF * IDF

  la   bruja  
  1,000 * 0 = 0   5*4 = 20  

Así que el TF * IDF de la palabra "la" es 0 y el TF * IDF de la palabra "bruja" es 20.

Es importante notar que este ejemplo tiene el trasfondo de demostrar como este cálculo ayuda a reducir el peso d palabras que son comunes localmente ("la") e incrementar el peso de palabras que aparecen escasamente en el resto de documentos siendo comparados ("bruja").


El día que confundí el cáncer con la indiferencia

image from blogbattery.com
Estaba sentado en mi computadora leyendo mi feed de Twitter. En ese momento leí que una persona cuyo nombre reconocí había muerto de cáncer. No es una persona que conociera bien. La había visto por ahí y en los últimos meses de su vida empezamos a trabajar juntos. El del lado de su empresa como  mi potencial cliente y yo del lado de Ubiquo como proveedor.

En los últimos meses empecé a sentir lo que yo califiqué como una falta de interés por su parte para que el proyecto se moviera. Luego de múltiples llamadas durante semanas, finalmente logré hablar con el. Tímidamente me dijo que no había estado bien de salud y que estaba teniendo que atender "otras cosas" muy importantes. ¿Mi reacción ese día? Arrogancia plena: Pensé, no le importa el proyecto y está siendo totalmente indiferente a todo lo que yo estoy tratando de hacer parta el y su empresa. ¿Acaso no lo puede ver?

De una u otra manera hice que la interacción que tuvimos ese día fuera todo acerca de lo que me importaba a mi. Como que si solo yo importara. Esta manera de pensar seguro me cegó a la posibilidad de que había algo importante mas importante para el que yo y el negocio que estábamos haciendo. Algo como estar viviendo sus últimos días. Ni siquiera me puedo imaginar lo difícil que eso ha de ser. Lo que si entiendo hoy es que si, seguro el estaba atendiendo cosas mucho mas importantes para el que el proyecto.

La lección: el mundo no gira alrededor de nosotros. No todos ven el mundo como lo vemos nosotros. Simplemente no podemos experimentar el mundo igual que otra persona. Y lo más importante, no tenemos el derecho de que los demás vean nuestros intereses como una prioridad para ellos.

Como diría Tim Ferriss: No atribuyas a la estupidez o mala intención lo que le puedas atribuir a la carga de trabajo o diferencia en prioridades.


Elementos clave de una excelente presentación

image from blog.slideshare.net
Una excelente presentación no se puede fingir

Una presentación que mantenga interesada a la audiencia debe ser autentica.  El presentador no puede fingir dominar el tema y los datos, argumentos y puntos siendo presentados deben estar bien fundamentados.

Las personas somos muy buenas para detectar inconsistencias, nerviosismo, inconsistencias y las falta de claridad. Ua presentación autentica se logra cumpliendo los siguientes 3 puntos:

  • Sentido de propósito. ¿Para que es la presentación? ¿Cual es el punto que quiero hacer? 
  • Práctica y planeación: una presentación de alto nivel no se puede improvisar.
  • Visión clara de lo que se quiere transmitir. Si el presentador no tiene claro cual es el punto clave que quiere transmitir a su audiencia, está perdido.

Una excelente presentación es sólida

Al momento de dar una presentación debemos esta claros que las personas a las que se les está presentando ven al presentador como el experto. La autoridad en la materia que se se está exponiendo. La sensación de solidez de una presentación viene de los siguientes 3 puntos:

  • El presentador muestra un entendimiento profundo y real del material siendo presentado. Entiende mejor que nadie lo que está presentando y puede responder las dudas de la audiencia.
  • Puede llevar el contendido de la presentación que está dando a otras áreas relacionadas y aplicar el contendido a otros dominios para aclarar sus puntos a través de ejemplos e historias.
  • La presentación es precisa y concisa. Se elimina todo aquello que no sea necesario para hacer los puntos clave. Existe claridad  y se respeta el tiempo alocado para la presentación.

Una excelente presentación tiene el apoyo necesario. Ni mas ni menos

Todos hemos estado en presentaciones en las que nos muestran 500 slides de power point. O sabanas de datos que no son relevantes. O historias que no van al punto. Esto ocurre por una de dos cosas: O el presentador no tiene el dominio necesario del tema y siente la necesidad de compensar la falta de experticia con material "extra" o el presentador se siente inseguro y no quiere ser directo con los puntos que quiere hacer.

Todos también hemos estado en presentaciones donde no hay nada de apoyo audiovisual y todo parece ser armado a última hora. Esto usualmente se puede atribuir a la falta de preparación. 

Una excelente presentación cuenta con el siguiente apoyo:

  • Slides o ejemplos relevantes, concisos y claros que nunca se leen. Están como apoyo. Ver la regla 10-20-30 para dar mejores presentaciones.
  • Una narrativa bien estructurada que ayuda a la audiencia a seguir el contenido y legar sin problema a la conclusión que el presentador quiere hacer.
  • Material necesario para hacer ejemplos en vivo y un "script" probado para ejecutar cualquier "demo" o similar que se vaya a utilizar.

Hacer todo esto es ¿complicado? No. Pero si requiere preparación y mucha práctica. Recuerda, no puedes fingir una buena presentación. Debes practicar y prepararte. Tu audiencia sabrá.