¿Estamos PERDIENDO el TIEMPO? Cómo EVALUAR Gráficos de Conocimiento 100 VECES MÁS RÁPIDO

Описание: La evaluación de la calidad de los modelos que completan gráficos de conocimiento (Knowledge Graphs) es una tarea computacionalmente muy costosa, especialmente en gráficos a gran escala. El protocolo estándar implica clasificar cada entidad del gráfico para evaluar su idoneidad, un proceso que se vuelve inviable a medida que el tamaño del gráfico aumenta. Para solucionar esto, algunas aproximaciones utilizan un muestreo aleatorio de entidades, pero este estudio demuestra que dicho enfoque sobreestima enormemente el rendimiento real de los modelos.

Este trabajo presenta un nuevo marco de evaluación que utiliza "recomendadores relacionales" para guiar la selección de candidatos a evaluar. Se demuestra teórica y empíricamente que este método reduce drásticamente el tiempo y los recursos computacionales necesarios, de manera similar al muestreo aleatorio, pero mejorando enormemente la precisión de la estimación. Por ejemplo, en el conjunto de datos ogbl-wikikg2, se pueden obtener estimaciones precisas en 20 segundos en lugar de los 30 minutos que requiere el método completo.

El estudio concluye que un preprocesamiento y muestreo eficaces pueden ahorrar un esfuerzo computacional considerable sin dejar de predecir de forma fiable y precisa el rendimiento real de los modelos de completado de gráficos de conocimiento. Este marco de trabajo es agnóstico al modelo y permite iteraciones de desarrollo más rápidas y una evaluación mucho más eficiente, abriendo la puerta a un prototipado más veloz y una mayor fiabilidad en las estimaciones de rendimiento en gráficos de conocimiento a gran escala.


Link al paper: https://arxiv.org/pdf/2402.00053


Autores del estudio: Filip Cornell, Yifei Jin, Jussi Karlgren, Sarunas Girdzijauskas


Apoyanos en   / audioarxiv  


Unete en   / discord  


#Ciencias de la computación #InteligenciaArtificial #GrafosDeConocimiento #MachineLearning #Optimización #CienciaDeDatos