Procesamiento del lenguaje natural (NLP)

Entendimiento del lenguaje natural Tomar un enunciado hablado / mecanografiado y

averiguar qué significa Generación de lenguaje natural Tomar una representación formal
de lo que quiere decir y encontrar una manera de expresarlo en un lenguaje natural
(humano) (por ejemplo, inglés)

Aplicaciones de nat. Lang.

Recuperación de información de acceso a la base de datos de

traducción automática de

Procesamiento

Selección de un conjunto de documentos relevantes para una consulta Categorización de

texto Clasificación de texto en categorías de temas fijos Extracción de datos de texto
Conversión de texto no estructurado en datos de estructura Sistemas de control de
lenguaje hablado Comprobadores de ortografía y gramática

Comprensión del lenguaje natural

Señal del habla sinformato Reconocimiento del hablaSecuencia de las palabras
habladasAnálisis sintáctico usando el conocimiento de la gramáticaEstructura de la
oraciónAnálisis semántico usando información. sobre el significado de las
palabrasRepresentación parcial del significado de la oraciónAnálisis pragmático usando
información. Sobre el contextoRepresentación final del significado de la oración.

Entendimiento del lenguaje natural

Datos de entrada / salida Etapa de procesamiento Otros datos utilizadosFrecuencia del
espectrograma de frecuencia. de dif.sonidos de reconocimiento de vozsecuencia de
palabras gramática de"él ama a María" lenguaje de análisis sintácticoestructura de la
oración significados deanálisis semántico palabrasama a Maríasignificado parcial contexto
contexto decontextx ama (x, mary) pragmática enunciadooración significado queama
(john, mary)

Reconocimiento de voz (1 de 3)
Frecuencia de señal analógica de entrada. espectrograma(el micrófono graba la voz) (por
ejemplo, transformada de Fourier)Hztiempo

Reconocimiento de voz (2 de 3)
Espectrograma de frecuenciaSonidos básicos en la señal (40-50 fonemas) (p. Ej., “A” en
“cat”)Coincidencia de plantillas contra db de fonemasUso de distorsión de tiempo dinámica
(velocidad del habla)Construcción de palabras de fonemas ( por ejemplo, "th" + "i" + "ng"
= cosa)Fonemaspocofiables / probabilísticos (por ejemplo, "th" 50%, "f" 30%,
...)Pronunciaciones no únicas (por ejemplo, tomate),estadísticas de transiciones fonemas /
palabras (modelos ocultos de Markov)Palabras

Reconocimiento de voz - Complicaciones

No hay un mapeo simple entre los sonidos y las palabras.Varianza en la pronunciación
debido al género, dialecto, ...Restricción para manejar solo un altavoz Elmismo sonido
corresponde a diff. palabraspor ejemplo oso, desnudoBuscando espacios entre las
palabras"cómo reconocer el habla""cómo destruir una bonita playa"Ruido

Las reglas de análisis sintácticode la sintaxis (gramática) especifican la posible

organización de las palabras en oraciones y nos permiten determinar la (s) estructura (es)
de la oración"John vio a María con un telescopio"John vio (Mary con un telescopio)John
(vio a Mary con un telescopio )Análisis: asigna una oración y una gramáticaComprueba que
la oración sea correcta de acuerdo con la gramática y, si es así, devuelve un árbol de
análisis que representa la estructura de la oración

Análisis sintáctico -
Oracióngramatical-> noun_phrase, verb_phrasenoun_phrase ->
proper_nounnoun_phrase -> determiner, sustantivoverb_phrase -> verb,
noun_phraseproper_noun -> [mary]noun -> [apple]verb - - [ate]determiner -> [the

Análisis sintáctico: análisis de la

oraciónnoun_phrase verb_phraseproper_noun verb noun_phrasesustantivo
determinante“Mary” “ate” “the” “apple”

Análisis sintáctico - Complicaciones (1)

Número (singular contra plural) y génerooración-> noun_phrase, verb_phraseproper_noun
(s) -> [mary]noun (p) -> [apples]Adjectivenoun_phrase-> determiner, adjetives,
nounadjetivos-> adjetivo, adjetivosadjetivo -> [feroz]Adverbios, ...

Análisis sintáctico - Complicaciones (2)

Manejo de la ambigüedad Ambigüedadsintáctica: "moscas de la fruta como un
plátano"Tener que analizar oraciones sintácticamente incorrectas

El análisis semánticogenera el significado / representación (parcial) de la oración a partir

de su (s) estructura (es) sintáctica.Semántica compositiva: el significado de la oración del
significado de sus partes:Oración: A un hombre alto le gusta MaryRepresentación: manx
hombre (x) y alto (x) y me gusta (x, mary)Gramática + SemánticaOración (Smeaning) ->
noun_phrase (NPmeaning), verb_phrase (VPmeaning), combine (NPmeaning, VPmeaning,
Smeaning)

Análisis semántico - Complicaciones

Manejo de la ambigüedad Ambigüedadsemántica: "Vi el edificio prudencial volando hacia
Boston"

Pragmática Usa el contexto de la pronunciación Manejar los pronombres

Donde, por quién, a quién, por qué, cuando se dijoIntenciones: informar, pedir, prometer,
criticar, ...Manejar los pronombres“María come manzanas. A ella le gustan. "Ella =" María
", ellos =" manzanas ".Manejo de la ambigüedad Ambigüedadpragmática: “llegas tarde”:
¿Cuál es la intención del hablante: informar o criticar?

Generación de lenguaje natural ¡

Contestando! Qué decir o texto de planificación devuelo (AA, londres, boston, $
560,2pm),vuelos (BA, londres, boston, $ 640,10 am),cómo decirlo“Hay dos vuelos de
Londres a Boston. La primera es con American Airlines, sale a las 2 pm y cuesta $ 560 ...
"Síntesis de vozSimple: grabaciones humanas de plantillas básicasMás complejo: une los
fonemas en la ortografía fonética de cada palabraDifícil debido al estrés, entonación,
sincronización, vínculos entre palabras