Данные.Манипулирование данными. Система управления базами данных (СУБД)

В книге рассматриваются актуальные вопросы защиты данных при создании распределенных информационных систем масштаба предприятия, приводятся подробные описания принципов применения современных криптографических средств, имеющихся на рынке («Криптон», «Верба», «Шип», «Игла» и др.). Значительное место уделяется проблемам сохранения тайны при финансовых обменах через Internet, а также электронной коммерции. Завершают книгу приложения, посвященные практическим рекомендациям по самым острым вопросам обеспечения защиты информации.

Цель данной книги – дать общее представление о технической структуре и архитектуре сети интернет. Подробно описываются разные уровни сетевой модели TCP/IP (канальный, сетевой, транспортный и прикладной); особое внимание уделяется безопасности транспортного уровня. Рассмотрена система доменных имен. В заключительной главе представлена семиуровневая модель взаимодействия открытых систем (OSI) в сравнении с моделью TCP/IP. В конце каждой главы приводятся глоссарий по теме и контрольные вопросы, позволяющие читателям проверить свои знания.

Дата-грамотность, то есть способность ориентироваться в мире данных, — ключевой навык сегодняшнего дня. Ежедневно в соцсетях публикуются миллиарды сообщений, электронные почтовые ящики по всей планете гудят от писем, а каждый подключенный к интернету автомобиль производит терабайты данных, не говоря уже об онлайн магазинах, платежных системах и государственных цифровых сервисах. Однако работать с данными, анализировать их и использовать их для бизнеса по-прежнему умеет меньшинство, а специалистов катастрофически не хватает. Для тех, кто хочет научиться говорить на языке данных уверенно, признанный эксперт в области дата-грамотности Джордан Морроу и написал свою книгу. Это практическое руководство позволит даже неспециалисту освоить четыре базовых уровня аналитики и узнать, как принимать эффективные решения на основе данных, чтобы извлекать максимум из информации и быть успешными в быстро меняющемся цифровом мире.

Главная задача настоящей книги состоит в том, чтобы предоставить способы применения мощных методов машинного обучения с открытым исходным кодом в крупномасштабных проектах без привлечения дорогостоящих корпоративных решений или больших вычислительных кластеров. Описаны масштабируемое обучение в Scikit-learn, нейронные сети и глубокое обучение с использованием Theano, H2O и TensorFlow. Рассмотрены классификационные и регрессионные деревья, а также обучение без учителя. Охвачены эффективные методы машинного обучения в вычислительной среде MapReduce на платформах Hadoop и Spark на языке Python.

Настоящее учебно-методическое пособие посвящено финансовой математике для задач в условиях определенности (так называемая классическая финансовая математика).

Рассматриваются основные элементы работы в электронной таблице на примере MS Excel 2003. Приводятся как базовые возможности работы с табличными данными, такие как: редактирование, форматирование данных, работа с формулами, так и функции, выполняющие сложные расчеты или решающие различные оптимизационные задачи. Также рассматриваются базовые элементы среды разработки программ, основанные на конструкциях алгоритмического языка Visual Basic for Application.

Рассматриваются вопросы анализа данных. Приводятся некоторые из основополагающих методик анализа данных, такие как: регрессионный анализ, корреляция, дисперсионный анализ и др. Отражены вопросы интеллектуального анализа данных, с помощью которого можно выявить ранее неизвестные, нетривиальные закономерности в данных.

Постановка проблемы: одной из важных проблем в области управления данными является их неполное (нечеткое) дублирование, ведущее к снижению качества, в частности к ошибочной интерпретации информационной системой одного и того же объекта как нескольких разных. Реляционная модель данных, а также промышленные СУБД на осно- ве реляционной модели, позволяют исключить ситуации полного дублирования данных, но не имеют механизмов для распознавания и предотвращения появления нечетких дубликатов. Целью работы является разработка такого способа обнаружения нечетких дубликатов, который мог бы быть реализован в реляционной модели данных и промышленной реляционной СУБД. Результаты: рассмотрена общая для информационных систем проблема нечеткого дублирования, предложены пути внесения смысловой дублирующей информации в реляционную базу данных. Определено, что для решения проблемы неполного дублирования следует использовать механизмы нечеткого сравнения строк с учетом их семантики. Приведен пример практической реализации способа для СУБД PostgreSQL с использованием реляционных механизмов обработки данных. Практическая значимость: разработанный способ позволяет автоматически обнару- живать дубликаты, исключив вмешательство человека-оператора, и тем самым повысить качество данных информаци- онной системы. Пример практической реализации для промышленной СУБД позволяет непосредственно использовать предложенный способ в инженерной практике разработки информационных систем. Данный способ также был исполь- зован авторами при разработке коммерческой автоматизированной информационной системы.