Искусственный интеллект для .NET: речь, язык и поиск. Конструирование умных приложений с использованием Microsoft Cognitive Services APIs (4000,00 руб.)

Стр.5

Стр.8

Стр.9

Стр.10

Стр.11

Стр.12

УДК 004.8 ББК 32.813 П20 П20 Искусственный интеллект для .NET: речь, язык и поиск / пер. с анг. А. В. Логунова. – М.: ДМК Пресс, 2018. – 298 с.: ил. Нишит Патак ISBN 978-5-97060-605-6 Издание рассказывает о применении когнитивных служб компании Microsoft и применении на практике набора простых API. В доступной форме описано создание приложений на основе искусственного интеллекта в среде разработки Visual Studio, создание разговорного интерфейса, применение API для обработки распознавания и интерпретации устной речи. Описаны различные модели языка в искусственном интеллекте. Предназначена для широкого круга читателей, интересующихся искусственным интеллектом и возможностями его практического применения, знающих на уровне пользователя базовые сервисы Microsoft. УДК 004.8 ББК 32.813 Original English language edition published by Apress, Inc. USA. Copyright © 2017 by Apress, Inc. Russian-language edition copyright © 2018 by DMK Press. All rights reserved. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978-1-4842-2948-4 (анг.) ISBN 978-5-97060-605-6 (рус.) Copyright © 2017 by Nishith Pathak © Оформление, издание, перевод, ДМК Пресс, 2018

Стр.5

Содержание Об авторе ................................................................................................................13 О соавторе ..............................................................................................................14 О техническом рецензенте .............................................................................15 Признательности .................................................................................................16 Введение .................................................................................................................17 Примечания переводчика ...............................................................................20 Глава 1. Начало работы с основами ИИ .....................................................21 Правда и вымысел .....................................................................................................22 История и эволюция ..................................................................................................23 Нынешнее состояние дел ......................................................................................25 Превращение ИИ в товар ......................................................................................26 Microsoft и ИИ ............................................................................................................27 Фундаментальные понятия ......................................................................................28 Машинное обучение ..............................................................................................30 Язык ........................................................................................................................33 Когнитивные службы Microsoft ................................................................................39 Зрение ....................................................................................................................40 Речь .........................................................................................................................41 Язык ........................................................................................................................41 Знание ....................................................................................................................42 Поиск ......................................................................................................................43 Резюме ........................................................................................................................43 Глава 2. Создание приложения с поддержкой ИИ в среде Visual Studio ..........................................................................................45 Необходимые условия для использования когнитивных служб ............................46 Подготовка среды разработки ..................................................................................46 Получение ключа подписки Azure для когнитивных служб ...................................47 Шаг 1. Зарегистрировать учетную запись Azure ..................................................47 Шаг 2. Создать новую учетную запись когнитивных служб ...............................50 Шаг 3. Получить ключ (ключи) подписки.............................................................52 Речь .............................................................................................................................35 Компьютерное зрение ...........................................................................................36 Тестирование API .......................................................................................................53 Что вы хотите сделать ...........................................................................................54 Как это сделать .......................................................................................................54 Создание первого ИИ-ориентированного приложения .........................................57

Стр.8

8  Содержание Исходный код .........................................................................................................58 Пошаговый анализ ................................................................................................59 Результат ................................................................................................................63 Более интересный вариант приложения .................................................................63 Извлечение текста из изображений .....................................................................63 Исходный код .........................................................................................................64 Пошаговый анализ ................................................................................................66 Результат ................................................................................................................66 Резюме ........................................................................................................................67 Глава 3. Конструирование разговорного интерфейса с применением технологий Microsoft .........................................................68 Что такое разговорный интерфейс пользователя? .................................................70 Краткая история ........................................................................................................70 В самом начале: интерфейс командной строки ..................................................71 И затем появился графический интерфейс пользователя .................................72 Очередная эволюция: разговорный интерфейс пользователя .........................74 Роль ИИ в разговорном интерфейсе пользователя .............................................77 Ловушки разговорного интерфейса пользователя .............................................78 Будущее может быть за гибридным интерфейсом пользователя (разговорный + графический) ..............................................................................80 Принципы разработки ..............................................................................................81 Инфраструктура Microsoft Bot Framework ................................................................82 Создание приложения с разговорным интерфейсом в среде Bot Framework .......83 Шаг 0. Подготовка среды разработки ...................................................................84 Шаг 1. Создание нового проекта приложения Bot Framework ............................84 Шаг 2. Первое сообщение и сообщение по умолчанию ......................................85 Шаг 3. Выполнение, тестирование и отладка вашего бота .................................87 Шаг 4. Планирование визита к врачу ...................................................................90 Шаг 5. Обработка системных сообщений ............................................................93 Следующие шаги ...................................................................................................94 Резюме ........................................................................................................................94 Глава 4. Применение технологии понимания естественного языка ..........................................................................................95 Что такое понимание ЕЯ? .........................................................................................96 История развития методов понимания естественного языка ...............................99 Почему машины с трудом понимают естественный язык ..................................102 Сложности естественного языка ........................................................................102 Статистические модели в качестве решения недостаточны ............................104 Многообещающее будущее .................................................................................106 Облачная служба LUIS .............................................................................................107 Архитектура программного приложения на основе LUIS ...............................108 За кадром .............................................................................................................111 Масштабная тренировка – основа всему ...........................................................112 Получение подписки Azure для облачной службы LUIS .......................................114

Стр.9

Содержание  9 Демонстрационный пример: приложение DefinitionApp ....................................116 Примечания .........................................................................................................118 Резюме ......................................................................................................................119 Глава 5. Исследование когнитивной модели языка ...........................120 API Bing проверки орфографии .............................................................................120 Что это такое? ......................................................................................................123 Как его использовать ...........................................................................................124 Интеграция с облачной службой LUIS ................................................................127 API анализа текста ..................................................................................................129 Идентификация языка ........................................................................................129 Выделение ключевых фраз .................................................................................133 Анализ тональности текста .................................................................................135 Идентификация темы .........................................................................................137 Идеи использования............................................................................................140 API веб-модели языка (WebLM) .............................................................................141 Разбиение на слова ..............................................................................................143 Совместная вероятность .....................................................................................144 Условная вероятность ..........................................................................................145 Предсказание следующего слова ........................................................................147 API лингвистического анализа ..............................................................................148 Разбиение на предложения и лексемизация .....................................................149 Частеречная разметка .........................................................................................152 Синтаксический анализ на основе грамматики составляющих ......................154 Резюме ......................................................................................................................156 Глава 6. Потребление и применение облачной службы LUIS .........157 Планирование своего приложения ........................................................................158 Что бот должен уметь делать? ............................................................................158 Какая информация нужна боту от пользователя? .............................................159 Что должно быть сделано в облачной службе LUIS?..........................................159 Что должно быть сделано в Bot Framework? ......................................................160 Создание приложения с поддержкой LUIS ............................................................161 Добавление намерений ...........................................................................................162 Добавление/разметка высказываний ....................................................................162 Публикация своего приложения .............................................................................164 Добавление сущностей ............................................................................................166 Простые сущности ...............................................................................................168 Составные сущности ...........................................................................................170 Иерархические сущности ....................................................................................173 Предварительно подготовленные сущности .....................................................175 Добавление списка фраз .........................................................................................176 Рекомендуемые последующие шаги ......................................................................177 Активное обучение посредством рекомендованных высказываний ..............177 Использование API LUIS для автоматизации ....................................................178 Интеграция LUIS со средой Bot Framework ............................................................178

Стр.10

10  Содержание Создание проекта в Visual Studio .......................................................................179 Обработка намерения без сущностей ................................................................180 Подготовка своего бота для использования HealthCheckupDialog ..................180 Тестирование бота в эмуляторе ..........................................................................181 Обработка намерения с полным комплектом сущностей ................................181 Обработка намерения с составными сущностями ............................................183 Обработка намерения None ................................................................................185 Добавление бота в Skype .........................................................................................186 Публикация своего бота ......................................................................................186 Регистрация своего бота .....................................................................................186 Резюме ......................................................................................................................188 Глава 7. Взаимодействие с API обработки речи ...................................189 Способы взаимодействия с речью ..........................................................................190 API когнитивного поиска ....................................................................................191 Распознавание речи ............................................................................................191 Начало работы .........................................................................................................192 Сначала получение JWT-токена .............................................................................192 API персонализированной обработки речи ...........................................................194 Синтез речи ..............................................................................................................195 Механизм распознавания речи ..........................................................................198 Служба персонализированной обработки речи ....................................................199 Персонализированная акустическая модель .....................................................199 Персонализированная модель языка .................................................................209 Данные произношения .......................................................................................211 Персонализированная конечная точка преобразования речи в текст ............212 Распознавание говорящего .....................................................................................215 Верификация говорящего против идентификации говорящего .....................215 Регистрация для верификации говорящего ......................................................216 Верификация говорящего ...................................................................................219 Регистрация для идентификации говорящего ..................................................219 Идентификация говорящего ..............................................................................221 Состояние операции ............................................................................................221 Резюме ......................................................................................................................222 Глава 8. Применение поисковых предложений ...................................223 Поиск повсюду .........................................................................................................224 Повсеместность, предсказательность, проактивность (три «П» поиска) ............224 История Bing ............................................................................................................226 В чем уникальность Bing? .......................................................................................228 API поиска ................................................................................................................228 API Bing автозаполнения ....................................................................................228 Как использовать API Bing автозаполнения .....................................................229 API Bing поиска изображений ................................................................................233 Как использовать API Bing поиска изображений ..............................................234 API Bing поиска новостей .......................................................................................239

Стр.11

Содержание  11 API Bing поиска видео ............................................................................................242 Как использовать API Bing поиска видео ..............................................................242 API Bing поиска в сети ............................................................................................246 Как использовать API Bing поиска в сети ..........................................................246 Резюме ......................................................................................................................250 Глава 9. Работа с рекомендациями ............................................................251 Понимание основ ....................................................................................................252 Рекомендация товаров, часто приобретаемых вместе .........................................253 Рекомендация «от предмета к предмету» ..............................................................254 Рекомендация на основе предыстории .................................................................255 Как эти рекомендации работают? ..........................................................................255 Модели и типы рекомендаций ...............................................................................260 Сборка обычной модели рекомендаций ...............................................................261 Сборка модели рекомендации на основе FBT ......................................................264 Сборка модели рекомендаций на основе ранжирования .....................................267 Сборка модели рекомендации на основе SAR ......................................................269 Установление правил в сборке ...............................................................................272 Офлайновое оценивание ........................................................................................272 Веб-интерфейс API рекомендаций.........................................................................273 Резюме ......................................................................................................................277 Глава 10. ИИ в ближайшем будущем ........................................................278 Почему ИИ имеет такую популярность? ................................................................279 Рост вычислительной мощности ............................................................................279 Открытия в алгоритмах ИИ ....................................................................................280 Данные – это новая валюта .....................................................................................281 Возникновение облачных вычислений..................................................................282 Службы против решений? .......................................................................................283 Когнитивные категории ..........................................................................................283 Проблемы и будущее понимания ЕЯ ......................................................................284 Проблемы и будущее обработки речи ....................................................................285 Проблемы и будущее поиска ..................................................................................286 Проблемы и будущее рекомендаций .....................................................................286 Прежде всего ИИ ......................................................................................................287 Интеллектуальная периферия ................................................................................287 Устранение задач, а не рабочих мест .....................................................................288 Так куда же мы катимся? ........................................................................................291 Тематический указатель .................................................................................293

Стр.12