Ampliación del diccionario Ambigüedad - cs.buap.mxagarces/descargas/PLN.pdf · Naves Espaciales...

Ambigüedad

Aplicaciones practicas

Ampliación del diccionario

Análisis gramatical eficiente

Comprensión del discurso

ProcesamientoDel

Lenguaje Natural

Ampliación de la gramática

Introducción

Traducción automatizada

Acceso a una base de datos

Interpretación de textos

Recuperación de información

Categorización de textos

Obtención de datos de un texto

AplicacionesPracticas

AnálisisGramaticalEficiente

Uso del diagrama para resumir análisis: empaquetamiento

Análisis Gramatical

AmpliaciónDel

DiccionarioConceptos

Ampliaciónde la

Gramática

Compuestos nominales y aposición

Frases (sintagmas) adjetivas

Determinadores

Reencuentro con las frases (sintagmas) sustantivas

Cláusulas que sirven de complemento

Cláusulas relativas

Preguntas

Como manejar cadenas no gramaticales

Ambigüedad

Evidencia sintáctica

Evidencia léxica

Evidencia semántica

Metonimia

Metáfora

ComprensiónDel

DiscursoLa escritura del discurso coherente

El campo del Procesamiento del Lenguaje Natural (PLN) es un área muy extensa en la que estén involucradas disciplinas de diversa naturaleza, y que puede ser aplicada a la traducción automática, a la recuperación de información, a la interacción hombre-máquina y al dictado automático.

Si dispusiésemos de ordenadores con capacidades lingüísticas, podríamos utilizarlos para comprender y generar oraciones en textos escritos o en conversaciones interactivas.

Pero, el campo del PLN esta aun muy lejos de alcanzar estos objetivos, aunque existen aplicaciones comerciales que presentan, de forma limitada, alguna de estas capacidades.

Procesamiento del Lenguaje Natural

Introducción

El PLN se encuadra dentro de la clase de problemas denominados «IA duros»

Es decir, el desarrollo de un sistema capaz de tratar el lenguaje en la misma forma en que lo haría un humano, pasa por la resolución del «problema de la IA».

El mayor reto con que nos enfrentaríamos seria la resolución de las ambigüedades pragmáticas, ya que estas requieren de complejos procesos de razonamiento sobre grandes bases de conocimiento de sentido común.

Por supuesto, existen otros retos, como son la construcción de diccionarios, gramáticas y sistemas de análisis adecuados para el PLN .

Introducción

Ejemplo, Consideremos la siguiente conversación entre un profesor y un alumno:

P: Well, I'll need to see your printout.A: I can't unlock the door to the small computer room to get it.P: Here's the key.

¿ Como podría un sistema artificial analizar la oración del alumno?. En la mayoría de sistemas, el PLN tiene lugar en una serie de pasos.

Primero, las oraciones se traducen a las formulas lógicascorrespondientes, de acuerdo a una gramática definida a través de un conjunto de reglas de composición y un diccionario.

Introducción

Problemas:

El diccionario debe contener las raíces de las palabras Ejemplo, lock, junto a sus distintos significados.

Se deberán especificar las reglas que indican como se pueden añadir prefijos y sufijos a las raíces, y como estos afectan al significado de la raíz.

El uso de adverbios cambia el significado del verbo.Ejemplo, small (pequeño), puede variar su significado en función de la palabra a la que cualifica. La frase the small computer room puede significar la sala pequeña en la que están los ordenadores o la sala en la que están los

ordenadores pequeños.

Introducción

Para poder posponer la resolución de esta ambigüedad, el sistema tiene que ser capaz de generar, o bien una formula lógica que mantenga la ambigüedad, o bien dos formas lógicas diferentes.

Para interpretar la palabra can't, contracción de cannot, se requiere que el sistema sea capaz de interpretar las negaciones. En este caso concreto, el sistema también debe tener en cuenta que can puede significar capacidad física para hacer algo o que se tiene permiso para hacerlo.

El problema se puede complicar todavía mas si tenemos en cuenta que, probablemente, estas dificultades, inherentes a la comprensión del lenguaje, pueden combinarse con un proceso de tipo reactivo.

Introducción

Una vez que se halla obtenido las correspondientes formulas lógicas, el sistema puede intentar resolver algunas de las ambigüedades encontradas consultando el conocimiento que tiene sobre el entono

Los métodos que permiten llevar a cabo este tipo de razonamiento, y representar el conocimiento necesario, todavía son objeto de investigación en el campo de la IA. Como podemos ver, el diseño y la construcción de un ordenador que comprenda una conversación.

El procesamiento del lenguaje natural, incluyendo la generación y comprensión de textos y el habla, es un campo que se solapa y depende de ciertas áreas de la IA

Introducción


• Aplicaciones Practicas: Tareas en donde el lenguaje natural ha demostrado su utilidad

• Procesamiento del discurso: El problema de trabajar con más de una oración.

• Análisis gramatical eficiente: Algoritmos para analizar e interpretar oraciones rápidamente.

• Ampliación del diccionario: Cómo trabajar con palabras poco comunes e, incluso, desconocidas.

Introducción

• Ampliación de la gramática: Cómo trabajar con una sintaxis complicada.

• Interpretación semántica: Algunos problemas que convierten a la interpretación semántica en algo mas que la sencilla composición de funciones.

• Desambiguación: Cómo elegir la interpretación correcta.


Introducción


Este tipo de sistemas tienen en común dos características: se concentran en un dominio en particular, no abordan cualquier tema indistintamente y en una tarea determinada, en vez de intentar la completa comprensión del lenguaje

A principios de la década de los 60 se pensaba que las computadoras llegarían a ser capaces de traducir de un lenguaje a otro, de manera similar al proyecto de Turing que era capaz de "traducir" mensajes codificados a un alemán claro.

Sin embargo es evidente que para lograr una traducción es necesario contar con una comprensión del mensaje (y, par lo tanto, un minucioso conocimiento del mundo)

Hasta la fecha no ha sido posible realizar en forma definitiva la traducción automatizada son muchos los avances significativos que representan un ahorro de dinero respecto al empleo de técnicas manuales.


Ejemplos:

El sistema TAUM-METEO diseñado por la Universidad de Montreal, este traduce informes meteorológicos del ingles al francés, su éxito es debido a que el lenguaje que se emplea en este tipo de informes gubernamentales tiene regularidad y estilo especifico.

El sistema SPANAM (Vasconcellos y Leon, 1985), realiza traducciones del español al ingles

Cuando la redacción del documento original se sujeta a las normas de un subconjunto del idioma ingles (o de cualquier otro idioma), su traducción se puede llevar a cabo sin corrección posterior.

A los lenguajes restringidos a veces se les conoce como "ingles Caterpillar“. Un ejemplo de sto es la compañía Xerox, con su sistema SYSTRAN.


Para que su cobertura sea amplia, es necesario dotar a los sistemas de traducción con diccionarios que contienen de 20 000 a 100 000 palabras y gramáticas en las que están presentes de 100 a 10,000 reglas, dependiendo del formalismo que se utilice.

La traducción es difícil porque, en general, requiere de un profundo conocimiento del texto, y para ello es necesario un profundo conocimiento de la situación que se esta comunicando.

Lo anterior es valido incluso en el caso de textos muy sencillos, incluso "textos" formados por una sola palabra.

Considere la palabra "Abierto" puesta sobre la puerta de una tienda, da la idea de que la tienda acepta clientes en ese momento. Si ahora la palabra "Abierto" aparece dibujada sobre una manta colocada fuera de una tienda recién construida, significa que la tienda ya opera diariamente; la persona que lea este signo no se extrañara de que la tienda este cerrada durante la noche y no se quite el letrero.


Hay idiomas en los que la misma palabra o frase podría emplearse en ambos casos, pero en alemán, el signo que aparece en la puerta es "Offen", y el que aparece en el letrero seria "Neu Eroffnet".

Cada idioma categoriza al mundo de manera distinta.

Para traducir correctamente, el traductor (humano o maquina) debe leer el texto original, comprender la situación a la que se refiere y localizar el texto correspondiente en el idioma meta que describa adecuadamente la misma situación o una similar.


El primer logro obtenido en el procesamiento del lenguaje natural (PLN) fue en el área del acceso a las bases de datos.

La primera de estas interfaces fue el sistema LUNAR, prototipo construido por William Woods (1973) y por su equipo del Centro de Naves Espaciales Tripuladas de la NASA. Permitía a un geólogo formular preguntas sobre datos de análisis químico de muestras de suelo y de las rocas lunares traídas por las misiones Apollo.

El sistema CHAT de Fernando Pereira (Pereira, 1983) tiene un nivel semejante de, complejidad. La desventaja es que no se podría saber que frase de una consulta es la correcto y cual no es de la incumbencia.


El lenguaje natural no siempre es la forma mas natural de comunicación: hay veces que es mas fácil apuntar y hacer clic con el ratón para expresar una idea.

La atención en el PLN practico se ha desplazado del acceso a la base de datos al amplio campo de la interpretación de textos.

Actualmente la mayor parte de la información en línea aparece en forma de texto: correo electrónico, noticias, artículos de revistas, informes, libros, enciclopedia.

Los programas de interpretación de texto permiten recuperar, categorizar, filtrar y resumirla información presente en los textos.

Los sistemas de interpretación de texto se dividen en tres tipos: recuperación de información, categorización de texto y obtención de datos.


En la recuperación de información (RI) la tarea consiste en escoger de entre un grupo de documentos aquellos que tengan relevancia en una consulta. A veces, el documento se representa por un reemplazo, como es el titulo y una lista de palabras claves y/o un resumen.

La consulta consiste en una lista de palabras digitadas por el usuario. En los primeros sistemas de recuperación de información la consulta se formulaba como una combinación booleana de palabras reservadas. Por ejemplo, la consulta “ ( natural y lenguaje ) o ( computacional y lingüística )“

Los sistemas modernos de RI han cambiado en modelo booleano por un modelo de espacio vectorial, en el que cada lista de palabra ( tanto del documento como de la consulta ) se maneja como un vector de un espacio n dimensional, en donde n es la cantidad de especimenes del conjunto documental.


En este modelo, la consulta es simplemente una “ lingüística computacional del lenguaje natural “, que podría manejarse como un vector cuyo valor es 1, para estas cuatro palabras ( o términos, como se les conoce en la RI ) y 0 para los demás términos.

Por lo tanto , la localización de documentos es cuestión de comparar este vector respecto de un conjunto de otros vectoresy dar cuentas de aquellos que se aproximen más. El modelo del vector es más flexible que el modelo booleano ya que los documentos se ordenan de acuerdo con su distancia a la consulta, siendo los más cercanos de los primeros que se informa.

Existen variaciones de este modelo. Algunos sistemas cuentan con analizadores morfológicos que aparejan la “ computación lingüística “ con la “ lingüística computacional “. En algunas se permite que la consulta defina que dos palabras aparezcan juntas y considerarlas como aparejadas; en otros casos se emplea un diccionario para aumentar automáticamente las palabras de la consulta mediante sus sinónimos.


En la mayoría de los sistemas se ignoran palabras de uso frecuente como son “ el, la, los, las “ y “ uno, una, unos, unas”, y son muchos los sistemas que dan a cada término un peso distinto. Una menera adecuada de hacer lo anterior es asignando a un término un peso mayor si es un buen discernidor; si aparece en una reducida cantidad de documentos, y no en muchos de ellos.

Este modelo de recuperación de información corresponde casi totalmente a un nivel de palabras. Acepta una minúscula cantidad de sintaxis que se refiere a palabras que deben aparecer una junto a la otra y acepta un papel igualmente diminuto de las clases semánticas en forma de listas de sinónimos.

La mayor parte de la información de un texto se encuentra en las palabras.

El método de la RI permite la aplicación satisfactoria de las técnicas estadísticas para reunir la mayor parte de información.

Categorización de textos

Las técnicas PLN han tenido éxito en una actividad relacionada con la clasificación de textos de acuerdo con determinadas categorías invariables. Ejemplo : un suscriptor que solicite todas las noticias sobre una determinada área.

Durante los años recientes, los sistemas PLN han dado muestras de ser precisos al obtener una categorización correcta en mas del 90% de los informes noticiosos.

También son mas rápidos y congruentes, lo que ha favorecido el empleo de sistemas automatizados en vez de humanos.

La categorización de textos es compatible con las técnicas del PLN en aquellos casos en donde no lo es RI puesto que las categorías son fijas y, gracias a ello, los diseñadores del sistema pueden dedicar su tiempo a afinar el programa para un problema determinado.

Obtención de datos de un texto

El cometido de la obtención de datos consiste en tomar texto en línea y deducir del algunas aseveraciones que se puedan incorporar a una base de datos estructurada.Por ejemplo, el SCISOR (Jacobs y Rau 1990)

PILLSBURY SE ELEVÓ ESTREPITOSAMENTE A 3 3-4 A 62 EN GRANDE NEGOCIACIÓN DE CONSEJO DE 3.1 MILLONES DE ACCIONES LUEGO DE QUE GRAND METROPOLITAN DE INGLATERRA AUMENTARA SU HOSTIL OFERTA DE $3 LA ACCIÓN A $63... LA COMPAÑÍA RECHAZÓ DE INMEDIATO LA MELOSA OFERTA, QUE SE PRODUJERA LUEGO DE QUE AMBAS PARTES NO LOGRARAN PONERSE DE ACUERDO AMISTOSAMENTE DURANTE EL FIN DE SEMANA EN CUANTO A UNA OFERTA SUPERIOR.

Lo medular de - Adquisición-CorporativaSubevento: Aumento de oferta, oferta rechazadaTipo: HostilObjetivo: PillsburyDemandante: Grand MetropolitanPrecio por acción: 63Bolsa de valores: NYSE (de Nueva York)Volumen: 3.1MEfecto en la bolsa: (Al alza: 33-4, A: 62)


-Lenguaje formal y Lenguaje Natural

-Diccionario

-GramaticaEl paso siguiente consiste en combinar palabras para formar frasesUtilizaremos 5 simbolos no terminales:

Oración (O)Frase Nominal (FN)Frase Verbal (FV)Frase Prepositiva (FP)Cláusula relativa (Clausularel) (quien o que) modifica a la frase sustantiva

Análisis gramatical: es la recuperación de la estructura de un frase de una articulación con base en un gramática

Bosque gramatical: una lista organizada de árboles de análisis gramatical


Have the students in section 2 of Computer Science 101 take the exam.(Aplique el examen a los estudiantes de la segunda sección de ciencias de la computación 101).

Have the students in section 2 of Computer Science 101 taken the exam?(¿Ya presentaron el examen los estudiantes de la segunda sección de ciencias de la Computación 101?)

En ambas oraciones las diez primeras palabras son las mismas

Su análisis gramatical es distinto, ya que la primera es una orden y la segunda es una pregunta.

Solo se sabrá hasta llegar a la undécima palabra, "take/taken".

Si nuestro algoritmo de análisis gramatical es eficiente evitara volver a analizar el principio de la oración.


A nivel general, para mejorar la eficiencia de análisis gramatical se puede hacer lo siguiente:

• No haga dos veces lo que pueda hacer una vez.• No haga una vez lo que puede evitar hacer.• No represente diferencias innecesarias.

El diseño de un algoritmo gramatical debe ser capaz:

1. Una vez que nos damos cuenta que "los estudiantes de la segunda sección de Ciencias de la Computación 101" es una FN, es conveniente dejar guardado dicho resultado en una estructura de datos conocida como grafica a estos algoritmos se les conocen como analizadores de grafica. Como estamos trabajando con gramáticas que no dependen del contexto, cualquier frase encontrada dentro del contexto de una rama del espacio de búsqueda puede funcionar igualmente bien en otra de las ramas de este mismo espacio. Guardar los resultados en la gráfica es una forma de programación dinámica que evita la duplicación del trabajo.


1. En el algoritmo de análisis de gráfica se combinan los procesamientos en sentido descendente y ascendente, de manera que nunca habrá que considerar aquellos constituyentes que no produzcan un análisis completo.

1. El resultado de nuestro algoritmo es un bosque empacado, de los constituyentes de árboles de análisis gramatical, en vez de presentar la enumeración de todos los árboles posibles

La grafica es una estructura de datos para representar resultados parciales del proceso de análisis gramatical de manera que se les pueda volver a utilizar posteriormente. La grafica de una oración formada por n palabras consta de n + 1 vértices y varios bordes que unen a los vértices entre si.


Una grafica con 6 vértices (círculos) y tres bordes (líneas) por ejemplo:

[0,5 S → FN FV •]

significa que una FN seguida de una FV se combinan para formar una S que aumenta la cadena de 0 a 5. El símbolo • de un borde separa lo que ha sido encontrado hasta el momento de lo que esta por encontrarse. Aquellos bordes que tienen • al final se conocen como bordes completos.


El borde [0, 2 S → FN • FV]

lo que dice es que en FN se extiende la cadena de 0 a 2, y si pudiéramos encontrar una FV para seguirla tendríamos una S. A este tipo de bordes en donde aparece el punto antes del final se les conoce como bordes incompletos y decimos que el borde esta buscando una FV. Hemos visto así dos modalidades de búsqueda durante un análisis gramatical.

El Análisis gramatical de grafica. El análisis gramatical de una oración con n palabras consiste en la formación de una grafica con n + 1 vértices y añadiendo bordes a la grafica de uno en uno tratar de producir un borde completo que se extienda del vértice 0 al n y que sea de categoría S. No hay reversión; todo lo que se pone en la grafica allí se queda.


Hay cuatro formas de añadir un borde a la grafica, cada una de las cuales se conoce con un termino especial:

El inicializador: añade un borde para indicar que estamos buscando el símbolo del inicio de la gramática, S, empezando por la posición cero, pero que todavía no hemos encontrado nada.

El pronosticador trabaja con bordes incompletos en busca de una X y añade nuevos bordes incompletos que de llegar a completarse, servirían para construir una X en el sitio adecuado.

El complementador trabaja con un borde incompleto que esta en busca de una X y termina en un vértice j , y un borde completo que empieza en j y en cuyo lado izquierdo hay una X, y las combina para producir nuevo borde en donde se encuentre la X.


El muestreador es semejante al complementador, excepto que para producir la X se vale de palabras de entrada en vez de utilizar los bordes completos que ya existen.

Es decir, si existe un borde que termine en un vértice j en busca de un Sustantivo y si la palabra numero j de la cadena de entrada tiene una entrada Sustantivo en su diccionario, el muestreador añadirá un nuevo borde para incorporar la palabra para luego dirigirse al vértice j + 1.


Mostraremos dos versiones del algoritmo para análisis de grafica.


En el algoritmo, la grafica se maneja como un conjunto de bordes y en cada etapa se añade un nuevo borde al conjunto, de manera no determinista y eligiendo entre las posibles adiciones.

El algoritmo finaliza cuando ninguno de los cuatro métodos añade ningún borde.

Para empezar añadimos a la gramática el borde [0, 0, S,’ →•S’] en donde S es el símbolo de inicio de la gramática y S' es un nuevo símbolo que acabamos de inventar.

Este permite al pronosticador añadir un borde por cada regla gramatical que tenga una S en el lado izquierdo justo lo que necesitamos para comenzar


Por ejemplo, el pronosticador se basa en el hecho de que el borde (a) busca una S que le autorice la predicción de una FN (borde b) y un Pronombre (borde c ).

El muestreador se da cuenta de que el lado derecho hay un Pronombre(borde d), y el complementador combina el borde incompleto b con el borde completo d para producir un nuevo borde, e.


Una importante característica del algoritmo para análisis de grafica es que evita la construcción de algunos bordes que tienen pocas posibilidades de formar parte de una S que se extiende por toda la cadena.

Consideremos la oración: "The ride the horse gave was wild" ("La cabalgata del caballo fue desenfrenada"). Algunos algoritmos analizarían "ride the horse" (cabalgata del caballo) con un FV y luego descartarla al darse cuenta de que no encajaría en una S mas grande.

Pero si partimos del hecho de que la gramática no permitirá poner el termino "the" (el) después de FV, el algoritmo de análisis de grafica nunca predecirá una FV en ese sitio, con lo que nos evita desperdiciar tiempo construyendo el constituyente de FV allí.


Los algoritmos que cuentan con esta propiedad se denominan analizadores de extremo izquierdo, ya que el árbol de análisis que construyen empieza por el símbolo de inicio de la gramática y se extiende hasta llegar a la palabra mas a la izquierda de la oración ( extremo izquierdo). El borde se añade a la grafica solo cuando puede contribuir a ampliar este árbol de análisis.La figura es un ejemplo:.


Nuestro algoritmo tiene la restricción de que los bordes se tienen que añadir de izquierda a derecha. Es decir, si el borde [i, j A → B] se añade antes de [i', j’, C → D] entonces debe ser que j ≤ j’.

En la figura siguiente mostramos una implantación determinista que satisface la restricción anterior. Para contribuir a la eficiencia los bordes de la grafica se indizan utilizando su numero de vértice terminal. La notación gráfica [j] significa que el conjunto de bordes terminan en el vértice j.

Uso del diagrama para resumir análisis: empaquetamiento

El algoritmo no regresara una grafica

Es necesario un arbol (es) de analisis

Modificar el COMPLETADOR para que guarde los hijos y asi poder generar una árbol de análisis en su totalidad

Esto es practico pero tiene problemas en la ambigüedad, por lo tanto se debe de representar en forma de un solo árbol pero con partes ambiguas representadas por corchetes. A la representación se le conoce como bosque empacado, porque es el equivalente de un conjunto de arboles

Conceptos

Un diccionario, es una lista de palabras permitidas que se utiliza como vocabulario

Las palabras se agrupan de acuerdo con las categorías:

Sustantivos: Pronombre y nombreVerbosAdjetivosAdverbios

ArtículosPreposicionesConjunciones

Conceptos

En los sistemas reales de comprensión de textos, la entrada esta constituida por una secuencia de caracteres a partir de la cual se obtienen palabras.

En la mayoría de los sistemas se aplica un procedimiento que consta de los pasos: caracterización, análisis morfológico, consulta de diccionario y corrección de errores.

La caracterización es un procedimiento mediante el cual la entrada se fragmenta en diversos elementos básicos: palabras y signos de puntuación. Ejemplo: En el caso del idioma japonés, no se deja espacio entre una y otra palabra, en el Ingles el procedimiento se facilita mas.

Las rutinas de caracterización están diseñadas de manera que se ejecuten con rapidez, con la idea en tanto siga una línea de congruencia en la descomposición del texto en elementos básicos, todos los problemas podrán manejarse en alguna etapa posterior del proceso.

Conceptos

El Análisis morfológico es el procedimiento que consiste en describir una palabra en función de los prefijos, sufijos y raíces que están presentes en ella.

Las palabras se generan de tres maneras.

Morfología por inflexión refleja los cambios operados en una palabra necesarios para su adecuada inserción en un determinado contexto gramatical. Por ejemplo la mayoría de los sustantivos toman el sufijo “s” cuando representan el plural.

Morfología por derivación crea nuevas palabras a partir de otra que por lo general, pertenece a otra categoría. Por ejemplo el sustantivo “cortedad” se deriva del adjetivo “corto” y del sufijo “edad”.

La composición consiste en formar una nueva palabra mediante la unión de otras dos.

Conceptos

Por ejemplo, "limpiabotas" es una palabra compuesta resultado de la unión de "limpia” y “Botas” (a su vez, el termino "limpia" se origina en el verbo "limpiar", mediante la morfología de derivación).

La consulta del diccionario se realiza por cada elemento básico constitutivo ( excepto en el caso de elementos especiales como la puntuación). Quizás permita mayor eficiencia el guardar en el diccionario palabras de complejidad morfológica como "walked" (en ingles, pasado de caminar para todas las personas ), aunque quizás también podría ser conveniente realizar primero un análisis morfológico: se aplica a la entrada una regla morfológica que establece la separación de "ed" y la consulta de "walk". Luego de determinar que el verbo no es irregular, la regla establece que "walked" es el tiempo pasado del verbo raíz.

Independientemente del procedimiento empleado, el propósito de la consulta al diccionario es la de localizar en el una palabra y entregar su definición correspondiente.

Conceptos

Así, cualquier implantación de los datos abstractos en forma de tabla puede servir como diccionario.

Algunas alterativas convenientes son las tablas de dispersión, los árboles binarios, los árboles b y los intentos. Lo que se elija dependerá en parte de que haya suficiente memoria para guardar el diccionario en el almacenamiento primario, o si se le pone en un archivo.

La corrección de errores es realizada cuando no se localiza una palabra en el diccionario.

Hay cuatro tipos de corrección de errores.

Primero se recurre a reglas morfológicas mediante las que se conjetura la posible clase sintáctica a la que pertenece la palabra.

En el segundo con letras mayúsculas permite suponer que la palabra ( o secuencia de palabras ) sea un nombre propio

Conceptos

En el tercer tipo se utiliza el conocimiento de que ciertos formatos especializados indican fechas, horas, números del seguro social.

Por ultimo, las rutinas para corrección ortográfica sirven para localizar palabras que en el diccionario se asemejan a la palabra de entrada.

Existen dos modelos muy conocidos de semejanza entre dos palabras.

En el modelo basado en letras, el error se produce al insertar o borrar una sola letra, al trasponer dos letras adyacentes o al reemplazar una letra por otra.

En el caso del modelo basado en sonidos, las palabras se traducen a una forma canónica que conserva la mayor parte de la información necesaria para pronunciar la palabra, al tiempo que se eliminan algunos detalles.

Conceptos

Los sistemas prácticos PLN cuentan con diccionarios formados por una cantidad de formas de palabras raíz de entre 10 000 y 100 000.

La elaboración de un diccionario de esta dimensión implica una considerable inversión en cuanto a tiempo y dinero

Es posible capturar información de frecuencia y restricciones semánticas a trabes de un amplio acervo textual

Conceptos

Wordnet


Aposición: reunión de dos o mas sustantivos sin una conjunción

Darnos cuenta de que estamos trabajando con sustantivos no con la FNs

“Archivo de entrada en código de lenguaje POSTSCRIPT”

“Archivo de entrada en código de lenguaje POSTSCRIPT”

Regla:Sustantivo → Sustantivo Sustantivo

La relación genérica NN para representar las relaciones semánticas que pueden haber entre dos sustantivos y un compuesto nominal

Regla para dos sustantivos y un compuesto nominalSustantivo (λy ∃ x sem1(x) Λ sem2(y) Λ NN(x,y)) → Sustantivo (sem1) Sustantivo (sem2)


Regla de aposición simplificada

FN([q x sem1 Λ sem2 ]) → FN (q x sem1) FN (q x sem2)

Ejemplo:[FN David McDonald ] [ FN el graduado de CMU ]

Frases (sintagmas) adjetivas

Los adjetivos se aceptaban exclusivamente como complemento de un verbo.

“el wumpus esta oloroso”

Pero tambien los adjetivos modifican a los sustantivos

“un oloroso wumpus”

Para forma una semántica como la anterior se unen la semántica que aportan el adjetivo y el sustantivo

∃w Oloroso (w) Λ wumpus(w)

Lo anterior se conoce como semántica de intersección

La regla correspondiente a sustantivo se compone de un adjetivo y otro sustantivo.

Sustantivo (λ x sem1(x) Λ sem2(x))

→ Adjetivo(sem1) Sustantivo (sem2)

Determinadores

Artículos: un, uno.. , el , las, los …

Los articulos forman parte de las frases nominales, y en forma general a la clase llamada DETERMINADOR

Pueden llegar a ser muy complejos

el perro del vecino de mi hermano

Reglas gramaticales:

Det(q) → Artículo(q)Det(q) → Número(q)FN( [q x sustantivo(x)] ) →Det(q) Sustantivo (sustantivo)


Reglas que se aplican a frases nominales

La regla de Articulo mas Sustantivo se cambia Articulo por Det e incluyendo la información correspondiente al caso

La regla que:

La regla dice que el numero de Det y el sustantivo deberá ser el mismo

un perro y esos perros no un perros y esos perro

Persona (3): todos los sustantivos están en tercera persona

FN(caso, Persona(3),número,[q x sem (x)]) → Det (número, q) Número( número, sem)


La regla que refuerza la concordancia entre sujeto y verbo

Que verifica que no podamos escribir tu soy en lugar de yo soy

Los verbos también se caracterizan por la persona y el numero

La regla:

Con esta es posible formar una frase nominal apartir de un sustantivo que no tenga determinador.

El sustantivo no necesita determinador cuando se trata de sustantivos no contables o un plural genérico

S(rel(obj)) → FN (Sujeto, persona, número, obj) FV (persona, número, rel)

FN( caso, Persona(3), número, [∃! x Nombre(x) = nombre] ) → Nombre (número, nombre)Nombre (Singular, Juan)→ Juan

Cláusulas que sirven de complemento

Podemos manejar lo anterior mediante:

FV(subcat) → FV [ S | subcat])SFV(subcat) → FV [ FV | subcat])FVVerbo ([S]) → creerVerbo ([FV]) → querer

Existen verbos cuyos complemento pueden ser clausulas (es decir oraciones o cierto tipo de frases verbales)

Por ejemplo

I believe [he has left] “Me parece que el salio”

El objeto de “Believe” es una oración

I want [to go there] “quiero ir alli”

El objeto de querer es una frase verbal en infinitivo.

Cláusulas relativas

Ejemplo: La persona que me vio

La clausula relativa esta formada por la palabra “que ” seguida de una FV interpretandose que la frase nominal que encabeza (La persona) es el sujeto del FV.

El símbolo que conocemos como espacio vació sirve para señalar el sitio en donde lógicamente deberá aparecer la frase nominal de encabezado para que la oración quede completa.

Para definir cláusula relativa basta con decir que una FN se modifica poniendo a continuación de ella una cláusula relativa

La cláusula relativa están formadas por un pronombre relativo seguida de una oración que contenga un espacio vacióLa regla para representar las relaciones relleno-espacio-vació correspondiente:

FN(espacio vacio) → FN(espacio vacio) CláusulaRelCláusulaRel → Pronombre (Relativo) S (Espacio vacio(FN))

Preguntas

En una pregunta si/no , la respuesta será si/no .

Esta comprende a una oración declarativa exacto que tiene un verbo auxiliar que aparece antes de la FN del sujeto a esto se le llama Inversión-sujeto-auxiliar:

Emplearemos la categoría Sinv, si son varios los verbos auxiliares, solo el primero de ellos aparece antes del sujeto.

Las reglas gramaticales que rigen a la oraciones si/no son:

S → PreguntaPregunta → SinvSinv → Aux FN FV

La regla para preguntas con pronombre interrogativo (quien, que ..)

Pregunta → Pronombre(Interrogativo)Sinv(EspacioVacio)FN)

Como manejar cadenas no gramaticales

No importa cuan completa sea una gramatica, siempre habra cadenas que no puedan incluirse en ella.

No importa que la razon de ello sea por que la cadena es un error en si o porque la gramatica carezca de algo.

De cualquier manera se procesara el mensaje que se esta tratando de comunicar.

Al encontrar se una frase que no se pueda procesar correctamente, el sistema deberá considerar todas las posibles relaciones semántica que podrían vincular entre si a cada elemento y se escoge la mejor de ellas.

Conceptos

Evidencia SintácticaModificadores tales como adverbios y frases prepositivas dan lugar a considerable ambigüedad debido a que se les puede asociar a varias cabezas a la vez, ejemplo

Lee le pido a Kin que le dijera a Tobi que saliera el sabado

Evidencia lexicaSignifica que existen varios significados posible para una sola palabra

Lee puso el vestido en el percheroKin deseaba el vestido que estaba en el perchero

Evidencia semanticaLa probabilidad a priori del sentido de una palabra normalmente es menos importante que la respectiva probabilidad condicional en un contexto determinado, ejeplo

pelota, diamante y bate

Conceptos

MetonimiaEs una figura del lenguaje que consiste en usar un objeto para representar otro.

Otro tipo de metonimia es cuando se utiliza el nombre de un autor para referirse a una obra. EjemploLeí a Shakespeare

MetafoaraEs una figura retórica en la cual se emplea una frase con un determinado sentido literal, para dar a entender otro por medio de una analogía.

La situación sigue agravándose

Que nos da ha entender, subida escalada de precios, el descenso y caída de la temperatura, el desmoronamiento de nuestra confianza o el deterioro de la popularidad de algún personaje

La escritura del discurso coherente

Un discurso o un texto es una cadena del lenguaje

Para producir un discurso el hablante debe dar los pasos de:IntenciónGeneraciónSíntesis

El la comprensión del discurso figuran: percepción, análisis , desambiguación y desincorporación.

El estado del conocimiento de un escucha juega un papel importante en la comprensión: dos agentes con distinto tipo de conocimiento entenderán de manera distinta el mismo texto.

BC’ = DISCURSO-COMPRENSION(texto, BC)

BC = base de conocimiento del escuchaBC’ = base de conocimiento del escucha despues de incorporar el texto.


Tipos de conocimiento que entran en juego para poder lograr la comprensión.

1.Conocimiento general del mundo2.Conocimiento general sobre la estructura del discurso coherente3.Conocimiento general sobre la sintaxis y la semantica4.Conocimiento especifico sobre la ecuacion de que este hablándose5.Conocimiento especifico sobre las creencias de los personajes6.Conocimiento especifico sobre la creencias del hablante

En lógica la conjunción es conmutativa (P Λ Q Λ R y R Λ Q ΛP), pero no es valido en los lenguajes naturales.

Los discursos están formados por segmentos (clausulas).Cada segmento del discurso debe estar relacionado mediante una relación de coherencia. Que define el papel de cada segmente desempeña en el discurso desarrollado.

Las relaciones de coherencia sirven para armar un discurso.


Las relaciones de coherencia restringen los posibles significados de cada oración.

Teoria de Hobbs

El hablante desea transmitir un mensajePara hacerlo, el hablante tiene una motivación o metaEl hablante desea facilitar al oyente la comprensión del mensajeEl hablante debe vincular la infamación nueva con lo que escucha ya sabe.

Una oración será extensión coherente de un discurso si el oyente la considera al servicio de uno de los cuatro puntos anteriores

Ampliación del diccionario Ambigüedad - cs.buap.mxagarces/descargas/PLN.pdf · Naves Espaciales...

Documents

Transcript of Ampliación del diccionario Ambigüedad - cs.buap.mxagarces/descargas/PLN.pdf · Naves Espaciales...