EVALUACIN DE PROGRAMAS UTILIZADOS EN LA DETECCIN DE PLAGIO

DE DOCUMENTOS CIENTFICOS
AUTOR: BORIS ARROYO

En este Informe se presenta la evaluacin de los programas antiplagio Viper Plagiarism

Scanner (alternativa A), Plagiarism Detect (alternativa B) y Plagiarism Detector (alternativa
C), a partir de los resultados obtenidos al aplicrselos al contenido de la Revista N 1 del
COBAIND.

Para la evaluacin de los programas se utiliz una Matriz de Seleccin. Esta tcnica
parte de la definicin de los criterios de evaluacin y su posterior ponderacin (porcentaje
relativo de relevancia entre criterios). Al respecto fueron escogidos los criterios sugeridos
por el facilitador del Seminario (Dr. Ramn Reyes) ms otros tres a conveniencia del autor.
La definicin de los mismos y la comparacin de las alternativas en funcin de stos es la
siguiente:

1. Instrucciones de uso: Se refiere a la disponibilidad de instrucciones en el

programa que orienten en el uso del mismo.
En este criterio se constat que todas las alternativas poseen instrucciones claras
de uso. Por tanto todas las opciones ocupan un mismo lugar (no existe preferencia)
2. Tutorial: Disponibilidad de tutoriales de instalacin y uso del programa en lnea (por
Internet).
Las alternativas A y C tienen tutoriales en lnea, mientras que para la alternativa B
no existen tutoriales disponibles por Internet. La preferencia establecida es A y C
(igual) sobre B.
3. Ayudas: Disponibilidad de guas en lnea o como opcin dentro del programa, para
aclarar dudas en la operacin del mismo.
La alternativa A enva una gua de uso por e-mail al momento del registro del
usuario, la alternativa B provee ayudas de uso dentro del mismo programa y la
alternativa C provee enlaces a ayudas en lnea. El orden es B, A, C.

4. Requerimientos de instalacin: Se refiere a las caractersticas mnimas

requeridas en cuanto a hardware y software para poder instalar y ejecutar el
programa.
La alternativa B tiene menos requerimientos pues se ejecuta en lnea, mientras que
la A exige la instalacin del software y un plug-in adicional en el disco local siendo
ms exigente que la opcin C (tambin se instala localmente). La clasificacin es B,
C, A.
5. Facilidad de manejo: Es la facilidad que presenta el programa para dar los
resultados, reflejada en el nmero de pasos requeridos y la dificultad de cada uno
de ellos.
Resulto ms fcil de usar la opcin C (tiene un asistente de ejecucin que consta de
tres pasos), seguido por las alternativas B y A, en este orden.
6. Tiempo de respuesta: Es el tiempo que dura el programa en arrojar los resultados.
Se entiende que cuanto menor sea es mejor.
El orden ascendente de las alternativas para el tiempo de respuesta promedio en el
anlisis de los artculos fue el siguiente: B, C, A.
7. Alcance de la deteccin: Se refiere a la cantidad de contenido del documento
original detectado por el programa en otras fuentes, reflejado en el porcentaje de
plagio detectado.
Al aplicar este criterio la clasificacin resultante fue: C, A, B.
8. Presentacin de resultados: Diferentes formas o formatos en los cuales el
programa presenta los resultados.
Las alternativas A y B presentan porcentaje de plagio detectado, texto plagiado
resaltado y los enlaces a las fuentes plagiadas, mientras que la opcin C adems
presenta los resultados en forma grfica y compara entre distintos anlisis. El orden
es obvio: C, A y B (en el mismo lugar)
9. Limitaciones de uso: Son las restricciones que el programa presenta al usuario
respecto a su frecuencia de uso y tamao de los archivos.
Las versiones demos de las opciones A y C presentan limitaciones de frecuencia de
uso: la A limita el uso diario a un mximo aproximado de dos artculos (540 querys;
de 150 caracteres), mientras que la C limita hasta diez ejecuciones libres (por cada
ejecucin no existe lmite del nmero de anlisis). La opcin B no limita el tamao
de los archivos ni la frecuencia de uso. El orden es obvio: B, C, A.

10. Tipos de formatos soportados: Es la cantidad de formatos distintos en los cuales

el programa acepta el archivo a ser analizado.
Fundamentado en la experiencia de uso de los anlisis realizados, la clasificacin de
las alternativas por el nmero de formatos soportados en orden descendente es C,
A, B.
11. Reporte de problemas: Disponibilidad del programa para reportar a los encargados
de su mantenimiento, los distintos problemas que se presentan al momento de su
utilizacin.
La nica opcin que da esta utilidad es la C.

Una vez definidos los criterios de evaluacin y la clasificacin de las alternativas por estos
criterios, se procede a calcular la ponderacin de stos, lo cual se realiz a partir de la
comparacin de los criterios en una matriz pareada aplicando la siguiente escala:

Relacin de fila contra columna

Escala

Es mucho ms importante que

10

Es ms importante que

Es igual de importante que

Es menos importante que

1/5

Es mucho menos importante que

1/10

La ponderacin del criterio de la fila k (de la Matriz de Comparacin) se calcula por la

frmula:
Donde:

Pk

k= N de fila ponderada
i = N de Fila
j = N de Columna
x = Valor en la celda
n = Total de filas
m = Total de columnas

De la clasificacin realizada en los criterios, se llenan las celdas de la Matriz de

Comparacin usando la escala para las relaciones entre los criterios de filas y columnas.
Resultando:

Tutorial

1/5

1/5

Ayudas

1/5

1/5

Requerimientos de
instalacin

10

Facilidad de manejo

10

10

1/5

Tiempo de respuesta

10

10

10

Alcance de la deteccin

10

10

10

Presentacin de
resultados

Limitaciones de uso

Tipos de formatos
soportados

Reporte de problemas

1/5

1/10 1/10 1/10

1/10 1/10 1/10 1/10

Reporte de problemas

1/5

Tipos de formatos
soportados

Limitaciones de uso

Requerimientos de
instalacin

Presentacin de
resultados

Ayudas

Alcance de la deteccin

Tutorial

Instrucciones de uso

Facilidad de manejo

Instrucciones de uso

Tiempo de respuesta

Matriz De Comparacin Pareada

1/5

1/5

1/10 1/10

10

1/10

10

1/5

10

1/5

1/10

1/5

1/5

1/5

1/5

10

10

10

10

1/5

1/5

1/10

1/5

10

10

10

10

10

1/5

1/5

1/10

10

1/10 1/10 1/10

1/5

1/10 1/10

1/10 1/10

1/5

1/5

1/10 1/10

Aplicando la frmula de la ponderacin y colocando en las celdas el orden de clasificacin

(3, mejor clasificado; 2, intermedio; 1, peor clasificado; y 0, no posee el criterio) se rellena
la Matriz de Seleccin que es mostrada en la pgina siguiente.

Matriz de Seleccin
VIPER
PLAGIARISM
SCANNER

PLAGIARISM
DETECT

PLAGIARISM
DETECTOR

Ponderacin
(%)

Instrucciones de uso

3,7%

Tutorial

3,3%

Ayudas

6,4%

Requerimientos de instalacin

10,8%

Facilidad de manejo

9,9%

Tiempo de respuesta

14,3%

Alcance de la deteccin

20,7%

Presentacin de resultados

5,3%

Limitaciones de uso

16,9%

Tipos de formatos soportados

Reporte de problemas
PUNTAJE TOTAL

8,1%

0
0,01538379

0
0,021553945

3
0,02452496

0,6%
100%

CRITERIO

De la Matriz de Seleccin se concluye que el programa que result mejor para usar en la
deteccin de plagio sobre documentos cientficos es el Plagiarism Detector, claro est que
con las ponderaciones calculadas a partir de las priorizaciones realizadas sobre los
criterios segn la preferencia del autor.

Por otra parte es pertinente aclarar que los programas antiplagio son tiles para determinar
si existen en la red documentos con igual contenido textual, sin embargo para determinar si
es realmente plagio debe verificarse:
1. Si la fecha del artculo es posterior a la de los documentos encontrados por Internet.
2. Si el documento original no sigue las normas de citacin y referencias pertinentes.