Журнал «Continuum. Математика. Информатика. Образование»
Выпуск №2 (10) (2018)
СТАТИСТИЧЕСКИЕ МОДЕЛИ ЯЗЫКА
В работе рассматриваются современные статистические модели языка. Дано определение применяемым критериям эффективности моделей. Описываются следующие статистические модели языка: n-граммные модели, модели на основе деревьев решений, лингвистически мотивированные модели.
Ключевые слова
статистические языковые модели; n-граммные модели; перплексия; statistical language models; n-gramm models; perplexity
STATISTICAL LANGUAGE MODELS
Modern statistical language models are considered in the article. The applicable criteria of models` efficiency are defined. The following statistical language models are described: n-gramm models, decision tree models, linguistically motivated models.
Список литературы
-
1. Баль Л.Р., Браун П.Ф., де Соуза П.В., Мерсер Р.Л. (1989) Статистическая языковая модель для распознавания речи, основанная на деревьях. IEEE Труды по акустике, речи и обработки сигналов.
-
2. Датиев М.К., Кулай А.Ю., Датиев К.М. (2013) Новый метод сглаживания вероятностей. Труды молодых ученых. ВНЦ РАН, Владикавказ.
-
3. Розенфельд Р. (1996) Два десятилетия статистического языкового моделирования. Куда нам идти? Сборник трудов Университета Карнеги Меллон, Питсбург, США.
-
4. Слеатор Д., Тамперлей Д. (1991) Разбор английского языка при помощи грамматики связей. Технический отчет CMU-CS-91-196, Университет Карнеги Меллон, Питсбург, США.
-
5. Чен С. (1996) Построение вероятностных моделей для естественного языка. Гарвардский университет.
-
Bahl L.R., Brown P.F., de Souza P.V., Mercer R.L. (1989) Statisticheskaia iazy`kovaia model` dlia raspoznavaniia rechi, osnovannaia na derev`iakh [A tree-based statistical language model for natural language speech recognition] IEEE Transactions on Acoustics, Speech and Signal Processing.
-
Chen S. (1996) Postroenie veroiatnostny`kh modelei` dlia estestvennogo iazy`ka [Building Probabilistic Models for Natural Language]. Harvard university.
-
Datiev M.K., Kulay A.Y., Datiev K.M. (2013) Novy`i` metod sglazhivaniia veroiatnostei` [The new method in probability smoothing]. Trudi molodih uchenih. Vladikavkaz.
-
Rosenfeld R. (1996) Dva desiatiletiia statisticheskogo iazy`kovogo modelirovaniia. Kuda nam idti? [Two decades of statistical language modeling: where do we go from here?]. Carnegie Mellon University, Pittsburgh, USA.
-
Sleator D., Temperley D. (1991) Razbor anglii`skogo iazy`ka pri pomoshchi grammatiki sviazei` [Parsing English with a link grammar. Technical Report CMU-CS-91-196]. Carnegie Mellon University, Pittsburgh, USA.