Extracção de recursos de tradução com base em dicionários probabilísticos de tradução

Abstract

Os recursos bilingues mais abundantes são os corpora paralelos. Resultam de toda uma história de tradução de instituições e organizações internacionais. Estes corpora constituem um recurso de tradução muito rico, mas que precisa de ser tratado para ser útil: é necessária a sua preparação, realçando conhecimento que se encontra camuflado. Neste trabalho pretende-se obter conhecimento de diferentes tipos: dicionários de tradução, terminologia bilingue, exemplos de tradução (segmentos equivalentes) ou mesmo n-gramas. Para além de realizar a extracção destes recursos, pretende-se definir uma álgebra que os permita manusear e tratar. O ponto inicial na extracção de recursos bilingues corresponde à definição de pontes básicas entre as duas línguas: relacionamentos entre palavras, que são representados como dicionários probabilísticos de tradução. Com base nos corpora paralelos e nos dicionários probabilísticos de tradução são extraídos diferentes tipos de recursos, como sejam exemplos de tradução ou terminologia bilingue. A necessidade de adaptar os vários recursos bilingues extraídos ás situações concretas em que vão ser usados leva a que seja útil um ambiente para o desenvolvimento e prototipagem de processadores de recursos. Este ambiente é constituído por um servidor de recursos e uma API de ordem superior que os permite manipular. Os recursos bilingues, para além de poderem ser utilizados de forma programática, são úteis por si só. Neste sentido, é importante a sua disponibilização para consulta interactiva através da Internet, e para uso local através de dicionários off-line. Dado que todos os métodos usados se baseiam em estatística, e que se pretende uma grande cobertura lexical dos recursos obtidos, é necessário processar corpora de grandes dimensões, pelo que se usam mecanismos de decomposição e ferramentas de suporte ao processamento paralelo que permitem a escalabilidade dos métodos desenvolvidos.

The most abundant bilingual resource available are parallel corpora. They are the result of years of human translations performed on international institutions and organizations. These corpora are rich sources of translation knowledge but, to be useful, need to be prepared, enhancing their hidden knowledge. This main goal of this work is the extraction of different kinds of bilingual knowledge (translations dictionaries, bilingual terminologies, translation examples and n-grams) and the definition of a resources algebra. The first task of bilingual resources extraction is the identification of basic bridges between two languages: the extraction of relationships between words, that are stored as probabilistic translation dictionaries. These probabilistic translation dictionaries are used to extract different kinds of bilingual resources from parallel corpora such as translation examples or bilingual terminology. The extracted resources can be used for different intentions. This makes it important to have a workbench for the development and prototyping of resources processors. This workbench comprises a bilingual resources server and a high order API over it. The bilingual resources are useful both for the development of natural language processing applications or by final-users like translators. For these users, it is important to make these resources available. This can be done over the Internet, using an integrated web application, or by releasing off-line dictionaries. Given that most of the presented methods are based on statistics and that we want a wide lexical coverage, we need to process big corpora. The use of decomposition methods and tools to support parallel processing makes it possible to give scalability to the developed methods.