Universidad Nacional de ingeniera

facultad de ciencias y sistemas UNI-RUPAP

Inteligencia Artificial El procesamiento del Lenguaje Natural
Grupo 4tn-is Elaborado por:

1-Jezdy Alexander Blandino Hernandez 2- Ivanelli Morales Loaisiga

Managua Nicaragua Lunes 26 de septiembre de 2011

Introduccin
El tesoro ms valioso de la raza humana es el conocimiento, es decir, la informacin. Existen en el mundo volmenes inmensos de informacin en forma de lenguaje natural: los libros, los peridicos, los informes tcnicos, etctera. Pero la posesin verdadera de este tesoro implica la habilidad de hacer ciertas operaciones con la informacin: Buscar la informacin necesaria, Comparar las fuentes diferentes, y hacer inferencias lgicas y conclusiones, Manejar los textos, por ejemplo, traducirlos a otros idiomas.

En realidad, las computadoras son ms capaces de procesar la informacin que las personas. Pueden procesar muchsimos ms grandes volmenes de informacin que una persona puede leer en su vida. A base de sta, pueden hacer inferencias lgicas tomando en cuenta ms hechos y ms fuentes. Todo parece estar preparado para el uso de las computadoras para procesar volmenes grandes de informacin: los mtodos lgicos ya son muy fuertes, los procesadores muy rpidos, muchos textos ya estn disponibles en forma digital, tanto en las casas editoriales como en Internet.

El nico problema para la computadora al procesar los textos es que simplemente no los entiende! Hasta ahora, los textos son para la computadora solamente cadenas de letras sin cualquier sentido y no una informacin til para el razonamiento lgico. Para convertir la computadora en nuestro verdadero ayudante en el procesamiento de textos, se necesita pasar un largo camino de aprendizaje de la estructura de textos y de su formalizacin; ms abajo vamos a hablar de algunos problemas en este camino. Pero si es tan largo el camino, existe una razn prctica para trabajar en esta rea ahora? S, existe, porque con cada paso obtenemos las herramientas que ya tienen gran valor prctico, que ayudan en nuestras tareas cotidianas.

Lingstica
La Lingstica es la disciplina que se ocupa del estudio cientfico del lenguaje. Dentro de la Lingstica se pueden identificar diferentes reas de inters, tales como: Lingstica Aplicada - aplicacin de la lingstica a reas especficas como la traduccin, enseanza de un segundo idioma, pronsticos, etc. Antropologa Lingstica - estudio de las relaciones entre lenguaje y cultura.

Lingstica Computacional - procesamiento del lenguaje natural. Neuro-lingstica: estudio del cerebro y de su funcionamiento en la produccin, percepcin y adquisicin del lenguaje. Sociolingstica: estudio de las relaciones entre el lenguaje y estructuras sociales, variacin lingstica y actitudes hacia el lenguaje. Psico-lingstica: estudio de la adquisicin del lenguaje. Lingstica Terica - anlisis lingstico.

Anlisis Lingstico
Cuando se hace anlisis lingstico, se est trabajando dentro del campo de la Teora Lingstica o Lingstica Terica. Desde este punto de vista, la gramtica de una lengua es una representacin explcita del conocimiento (consciente e inconsciente) que un hablante nativo tiene de su lengua. Una teora lingstica debe de proporcionar las nociones y herramientas analticas necesarias que nos permitan describir de manera explcita el conocimiento. Cuando un lingista escribe una gramtica, este lingista no slo describe una lengua, sino que tambin nos est diciendo algo sobre los procesos cognoscitivos del ser humano. Por lo tanto, una teora lingstica debe no slo proveer los medios para describir gramticas de manera explcita, sino que debe de permitir hacer generalizaciones racionales que permitan describir los procesos gramaticales de un lenguaje.

El anlisis lingstico consiste en:

1. Analizar los datos existentes y descubrir las reglas, leyes y regularidades del lenguaje; 2. Expresar de manera formal una generalizacin que describa esas reglas, leyes y regularidades de forma racional; La Lingstica tiene por objetivo descubrir los mtodos para describir no slo una lengua en concreto, sino de cualquier lenguaje natural, es conocer con profundidad una lengua particular, y llegar a entender la facultad humana del lenguaje. Por lo tanto, el anlisis de fenmenos gramaticales en una lengua determinada ayuda a entender, no slo la lengua en cuestin, sino el proceso cognoscitivo del hombre.

El procesamiento del lenguaje es de manera general, el conjunto de instrucciones que una computadora recibe en un lenguaje de programacin dado (formal), que le permitirn comunicarse con un humano en su propio lenguaje, (ingles, francs, espaol, etc). . El procesamiento del lenguaje natural presenta mltiples aplicaciones: Correccin de textos Traduccin automtica Recuperacin de la informacin Extraccin de Informacin y Resmenes Bsqueda de documentos Sistemas Inteligentes para la Educacin y el Entrenamiento

La correccin de textos permite la deteccin y correccin de errores ortogrficos y gramaticales, Para detectar este tipo de errores, la computadora necesita entender en cierto grado el sentido del texto. Los correctores de gramtica detectan las estructuras incorrectas en las oraciones aunque todas las palabras en la oracin estn bien escritas en el lenguaje en cuestin. El problema de detectar los errores de este tipo es complejo debido a la existencia de gran variedad de estructuras permitidas. Para describir las estructuras de las oraciones en el idioma, se usan las llamadas gramticas formales, o sea conjuntos de reglas de combinacin de palabras y su orden relativo en las oraciones.

La traduccin automtica se refiere a la traduccin correcta de un lenguaje a otro, tomando en cuenta lo que se quiere expresar en cada oracin. En el campo de la recuperacin de la informacin han desarrollado sistemas que permiten obtener informacin sobre estadsticas deportivas, informacin turstica, geografa etc.. En lugar de buscar los documentos para encontrar en ellos la respuesta a su pregunta, el usuario podra hacer su pregunta a la computadora: Cmo se llama el Presidente de Francia?, Cules son los centros ms avanzados en Procesamiento del Lenguaje Natural?, y otras.

Por otra parte Se han desarrollado sistemas con la capacidad de crear resmenes de documentos a partir de los datos suministrados. Estos sistemas son capaces de realizar un anlisis detallado del contenido del texto y elaborar un resumen. Tambin se han desarrollado sistemas inteligentes que permiten modelar el comportamiento del estudiante, reconocer y procesar sus errores, desarrollar habilidades en la resolucin de problemas y otras actividades del proceso enseanza y aprendizaje. En ellos el Procesamiento del Lenguaje Natural juega un papel de relevante importancia en la creacin y desarrollo de interfaces amigables.

Arquitectura de un sistema de Procesamiento del Lenguaje Natural

Uno de los elementos fundamentales en el diseo de un sistema PLN es sin lugar a dudas la determinacin de la arquitectura del sistema, es decir, como se introducen los datos a la computadora y como ella interpreta y analiza las oraciones que le sean proporcionadas. A continuacin se muestra un esquema del anlisis lxico/ sintctico por computadora. El sistema consiste de: a) El usuario le expresa (de alguna forma) a la computadora que tipo de procesamiento desea hacer; b) La computadora analiza las oraciones proporcionadas, en el sentido morfolgico y sintctico; Luego, se analizan las oraciones semnticamente, es decir se determina el significado de cada oracin; Se realiza el anlisis pragmtico del texto. As, se obtiene una expresin final. Se ejecuta la expresin final y se entrega al usuario para su consideracin.

Comprensin del lenguaje

El verbo comprender, proviene del latn comprenhendere, y significa entender, penetrar, concebir, discernir, descifrar. Se entiende entonces por comprensin - al conocimiento perfecto de alguna cosa; a la captacin del significado de alguna cosa o fenmeno; a la accin de aceptar un hecho o un suceso como cierto o plausible sin lugar a duda; a tener certeza completa del significado, naturaleza o explicacin de alguna cosa o fenmeno. La comprensin adecuada del texto es la tarea ms importante y compleja del anlisis lingstico, esta consiste en su transformacin en determinada representacin formal. Esta representacin formal puede ser una red de conceptos, un conjunto de predicados lgicos, etc. Ella puede usarse posteriormente para responder preguntas, compilar resmenes, y otras tareas lingsticas. En la actualidad, los resultados prcticos alcanzados en el rea de la comprensin de texto son aun modestos. Por ello, los cientficos que trabajan en la lingstica computacional realizan ingentes esfuerzos en esta rea del conocimiento.

Problemas en el procesamiento del lenguaje natural Debido a que el Procesamiento del Lenguaje Natural tiene por objetivo fundamental la comprensin del lenguaje natural el hecho de que se presenten en textos y expresiones habladas elementos ambiguos constituye uno de los problemas que se fundamentales que deben ser resueltos racionalmente. El problema de la ambigedad surge cuando una expresin hablada o escrita posee ms de un significado o interpretacin. Ejemplo 1 "Pedro vio a Luisa, con la computadora" "Pedro vio a Luisa con la computadora

Generacin de textos El complemento natural a la capacidad de entender el lenguaje es el segundo componente de la comunicacin, que es la capacidad de producir el texto o bien el habla. En cierto grado es una tarea ms simple que la comprensin, ya que por lo menos la computadora puede elegir las expresiones que sabe producir. Uno podra pensar que para la generacin de texto slo es suficiente saber las reglas de gramtica, es decir, saber palabras de cuales nmeros, tiempos y gneros hay que usar en la oracin y en que orden ponerlas. Sin embargo, hay algunos problemas en la generacin de texto. Uno reside en la necesidad de elegir las palabras y expresiones que se usan en el contexto dado. Por ejemplo, hay que saber que para expresar la idea muy, mucho, hay que usar palabras diferentes: t cargado, voz alta, borracho como una uva, trabajar duro.

Generacin de textos
El otro problema es que el texto producido con los mtodos de fuerza bruta es aburrido, incoherente y a veces no entendible. Hay que saber en qu ocasiones se deben usar los pronombres y en qu otras las palabras completas, en qu ocasiones hay que explicar, de qu se trata la oracin y en qu otras es entendible para el lector. Esto se refiere a los mtodos de la nombrada planificacin textual. El propsito del lenguaje es transferir conocimientos de una persona a otra. El conocimiento es una estructura compleja, multidimensional, que usualmente se representa como una red, o grafo, de conceptos. Pero el modo que usamos para transferir el conocimiento es unidimensional: en cada momento slo podemos decir un sonido, una letra. Entonces, el trabajo del lenguaje es codificar el conocimiento multidimensional en una cadena de letras, y despus, en el cerebro del escuchante o el lector, decodificar esta secuencia en el conocimiento original. El lenguaje es una estructura muy compleja. Afortunadamente, el codificador y decodificador funcionan en pasos, construyendo las estructuras ms complejas de ladrillos ms simples: 1- Palabras de letras 2- Oraciones de palabras, 3- Textos de oraciones.

Conclusiones El procesamiento del lenguaje natural tiene como objetivo fundamental lograr una comunicacin maquina-humano similar a la comunicacin humanohumano, el empleo del lenguaje le permite al hombre trasmitir sus conocimientos, sentimientos, sensaciones, emociones, y estados de nimo, comprimindolos en una forma simple y comn de entender. A lo largo de la historia los lenguajes naturales han ido evolucionando, de forma paralela al desarrollo y evolucin de la especie humana, han sido varios los sistemas informticos inteligentes que se han desarrollado que emplean el procesamiento del lenguaje natural esto como tal les ha trado un sin numero de ventajas en cuanto a interpretacin de lo que se quiere mostrar pero sin embargo debido a la gran complejidad del lenguaje aun no coincide los procesamientos de estos sistemas en un 100% ya que las computadoras no son capaces de interpretar las cadenas de caracteres como lo hara un humano puesto que su actividad de anlisis ha sido previamente programada pero en cambio en base a esta programacin ella puede procesar mucha mas informacin en minutos que la que un humano podra leer en aos.

Bibliografa 1. Adolfo Guzmn-Arenas. Hallando los temas principales en un artculo en espaol. Soluciones Avanzadas. Vol. 5, No. 45, p. 58, No. 49, p. 66, 1997. 2. Adolfo Guzmn-Arenas. Finding the main themes in a Spanish document. Journal Expert Systems with Applications, Vol. 14, No. 1/2. Jan/Feb 1998, pp. 139-148. 3. I. A. Bolshakov, A. Gelbukh. Lexical functions in Spanish. CIC-98 Simposium Internacional de computacin, November 11 - 13, 1998, Mxico D.F., pp. 383 - 395.