Национальный цифровой ресурс Руконт - межотраслевая электронная библиотека (ЭБС) на базе технологии Контекстум (всего произведений: 635165)
Контекстум
Руконтекст антиплагиат система
0   0
Первый авторKudinov
Страниц11
ID576553
АннотацияStandard version of recurrent neural network language model (RNNLM) has shown modest results in language modelling of Russian. In this paper we present a special modifi cation of RNNLM making separate predictions of lemmas and morphology. New model shows superior results compared to Knesser-Ney language model both in perplexity and in ranking experiment. At the same time morphology integration has not shown any improvement.
УДК004.934.2
Kudinov, MikhailS. ON APPLICABILITY OF RECURRENT NEURAL NETWORKS TO LANGUAGE MODELLING FOR INfl ECTIVE LANGUAGES / MikhailS. Kudinov // Журнал Сибирского федерального университета. Техника и технологии. Journal of Siberian Federal University. Engineering & Technologies .— 2016 .— №8 .— С. 153-163 .— URL: https://rucont.ru/efd/576553 (дата обращения: 08.05.2024)

Предпросмотр (выдержки из произведения)

Engineering & Technologies, 2016, 9(8), 1291-1301 ~ ~ ~ УДК 004.934.2 On Applicability of Recurrent Neural Networks to Language Modelling for Infl ective Languages Mikhail S. Kudinov* Samsung R&D Center Russia 1 corp., 12, Dvintsev, Moscow, 127018, Russia Received 20.04.2016, received in revised form 09.06.2016, accepted 12.09.2016 Standard version of recurrent neural network language model (RNNLM) has shown modest results in language modelling of Russian. <...> In this paper we present a special modifi cation of RNNLM making separate predictions of lemmas and morphology. <...> Keywords: language models, recurrent neural network, infl ected languages, speech recognition. <...> On applicability of recurrent neural networks to language modelling for infl ective languages, J. <...> О применимости рекуррентных нейронных сетей к задаче статистического моделирования русского языка М.С. Кудинов ООО «Исследовательский центр Samsung» Россия, 127018, Москва, ул. <...> 1 В статье представлены данные экспериментов по использованию рекуррентных нейронных сетей для языкового моделирования русского языка. <...> Ранее уже была продемонстрирована невысокая эффективность стандартной архитектуры рекуррентной нейронной сети для моделирования русского языка. <...> В данной статье рассматривается модель, осуществляющая предсказание леммы и морфологии последующего слова отдельно. <...> Показано, что модель, использующая только леммы, превосходит n-граммную модель Кнессера-Нея как по перплексии, так и в простом эксперименте по ранжированию гипотез в распознавании речи. <...> В то же время попытки внедрения морфологии в обучение нейронной сети не приводят к улучшениям. <...> Ключевые слова: языковые модели, рекуррентная нейронная сеть, флективные языки, распознавание речи. <...> All rights reserved * Corresponding author E-mail address: mikhailkudinov@gmail.com # 1291 # Mikhail S. Kudinov. <...> On Applicability of Recurrent Neural Networks to Language Modelling for Infl ective Languages Введение Известно, что проблема статистического моделирования флективных языков представляет большую сложность, чем английского языка [1]. <...> Обе проблемы в результате усиливают разреженность данных и снижают <...>