Данные.Манипулирование данными. Система управления базами данных (СУБД)

Излагается опыт автоматизации применения рубрикаторов, которые лежат в основе классификации документальных ресурсов и в информационной технологии становятся важным инструментом навигации по реферативным и полнотекстовым базам данных.

В книге рассказывается о специфике работы служб эксплуатации центров обработки данных и о людях, которые занимаются жизнеобеспечением всех систем этих центров. Именно от нескольких человек, находящихся в ночь с субботы на воскресенье на площадке, полностью зависит работа крупного банка, заказ еды или такси, доставка сообщений в мессенджерах, прогноз погоды... Трудно даже примерно оценить тот объем информационного потока, который проходит через дата-центры. Именно службе эксплуатации посвящены страницы данной книги.

В Вестнике РосНОУ (Серия: Сложные системы: модели, анализ и управление) подлежат публикации материалы, содержащие результаты теоретических и прикладных научных исследований, соответствующие темам выпусков. Вестник РосНОУ предназначается для профессорско-преподавательского состава высших учебных заведений, научных работников, специалистов-практиков, аспирантов и студентов.

В пособии описываются компоненты и функциональные возможности современных систем управления базами данных, рассматриваются: устройство индексов, оптимизатора запросов, системы безопасности, вопросы резервного копирования и восстановления.

Учебник предназначен для изучения информатики на базовом и углублённом уровнях в 11 классах общеобразовательных организаций. Содержание учебника является продолжением курса 10 класса и опирается на изученный в 7–9 классах курс информатики для основной школы. Рассматриваются вопросы передачи информации, базы данных, разработка веб-сайтов, компьютерное моделирование, алгоритмизация и программирование, методы объектно-ориентированного программирования, компьютерная графика и анимация. Учебник входит в учебно-методический комплект, включающий также учебник для 10 класса, методическое пособие и задачник. Соответствует Федеральному государственному образовательному стандарту среднего общего образования и Примерной основной образовательной программе среднего общего образования.

Из книги вы узнаете, как проектировать и реализовывать приложения, основанные на графовых базах данных, привносящих мощь графов в широкий круг прикладных областей. Если вам необходимо уменьшить время выполнения запросов пользователей или создать базу данных, способную приспосабливаться под быстро развивающийся бизнес, эта книга продемонстрирует вам практическое применение графовых моделей. Второе издание книги содержит обновленные примеры кода и схемы, соответствующие актуальному синтаксису графовой базы данных Neo4j, а также информацию о новом функционале Neo4j. Издание предназначено для программистов, желающих изучить работу графовых баз данных и научиться максимально использовать их мощь в своей работе.

В этой книге представлены полезные методики программирования, имеющие практическую ценность. Опираясь на свой многолетний опыт, авторы показывают, как написать надежный код, который смогут читать другие разработчики. Основной принцип обучения — составление плана решения: от определения структур данных по условиям поставленной задачи через примеры и тесты к написанию программного кода. Обсуждаются типичные ошибки программистов. Многочисленные примеры и упражнения позволяют читателям самостоятельно закрепить изученный материал на практике. Издание будет полезно студентам вузов, где преподается информатика, а также всем, кто хочет изучить современное программирование.

Эта книга написана ведущими специалистами в области технологий баз данных и веба. Благодаря популярности интернет-торговли появилось много чрезвычайно объемных баз данных, для извлечения информации из которых нужно применять методы добычи данных (data mining). В книге описываются алгоритмы, которые реально использовались для решения важнейших задач добычи данных и могут быть с успехом применены даже к очень большим наборам данных. Изложение начинается с рассмотрения технологии MapReduce — важного средства распараллеливания алгоритмов. Излагаются алгоритмы хэширования с учетом близости и потоковой обработки данных, которые поступают слишком быстро для тщательного анализа. В последующих главах рассматривается идея показателя PageRank, нахождение частых предметных наборов и кластеризация. Во второе издание включен дополнительный материал о социальных сетях, машинном обучении и понижении размерности. Издание будет в равной мере полезна студентам и программистам-практикам.

На основе аналитического обзора нормативно-технической документации и литературных источников изложен теоретический материал по алгоритмизации и проектированию структур данных в прикладном программировании, даны методические указания по выполнению расчетно-графической и лабораторных работ.

В учебно-методическом пособии содержатся указания к компьютерным практикумам по дисциплине «Операционные системы и базы данных», приводятся примеры выполнения заданий в рамках проектирования и создания электронных баз данных, разработки .bat-файлов. Представлены списки практических заданий.

Пособие посвящено рассмотрению подходов к разработке экспертной системы принятия решений для медицинских целей, с использованием больших данных для формирования требований к системе самодиагностики и оказания первой помощи. Практический аспект включает проектирование структуры БД диагнозов и разработку алгоритмы взаимодействия с ней, а так же разработку прототипа интерфейса администратора системы.

Пособие посвящено рассмотрению теоретических подходов к извлечению информации из текстов, рассмотрению и систематизации прогностических методов и моделей в маркетинге и интернет-рекламе, на основе выборки больших данных. В данном пособии рассмотрено применение машинного обучения при построении рекомендательных систем.

Представлены основные методы реализации численных методов при решении различных математических задач: нахождение корней уравнений, поиск экстремумов функций, интегрирование и дифференцирование функций и решение дифференциальных уравнений и их систем. Показаны способы реализации этих методов в среде MS Excel как средствами пакета, так и с использованием приемов программирования в VBA for Excel.

Рассмотрены возможности языка программирования Python в области программирования и решения задач вычислительной математики, таких как аппроксимация и интерполяция, численное интегрирование, оптимизация, решение уравнений и систем уравнений. Приведен теоретический материал и примеры решения задач. Для оценки уровня усвоения студентами пройденного материала предложены варианты самостоятельных работ.

Рассмотрены основы анализа и обработки данных в Python с использованием библиотеки Pandas. Приведены примеры работы с объектами Series и Data-Frame: осуществление доступа к данным, внесение изменений в DataFrame, визуализация полученных результатов, а также сортировка, фильтрация и группировка данных. Для оценки уровня усвоения студентами пройденного материала предложены варианты самостоятельных работ.

В настоящую работу включены лекции по классическим разделам курса: языки манипулирования реляционной моделью данных (язык реляционной алгебры, язык реляционного исчисления), правила написания SQL-запросов и их оптимизация, распределенные базы данных. Они помогут сформировать у студентов системное представление о реляционной модели данных и в то же время имеют прикладную ценность.

В монографии дана характеристика ключевых научно-технических направлений, которые оказывают наиболее существенное влияние на развитие цифровой среды: большие данные, искусственный интеллект, системы распределенного реестра (блокчейн), промышленный интернет, компоненты робототехники, технологии мобильной и спутниковой связи, извлечение знаний. Представлены сферы применения цифровых технологий, сопряженные с наибольшими рисками: цифровая медицина, цифровое управление городом, цифровая логистика, электронная коммерция, Индустрия 4.0, социальные сети и медиа, цифровое управление рабочим пространством и умные дома. Описаны базовые понятия информационной безопасности и основные подходы к технической обусловленности возникновения рисков при процессах цифровизации. Особое внимание уделено анализу преступлений в компьютерной сфере, предусмотренных гл. 28 УК РФ, что приводит к выводу о необходимости пересмотра терминологии УК РФ с целью адекватного парирования существующих угроз в сфере компьютерной информации. Законодательство приведено по состоянию на февраль 2022 г.

Стремительный рост объема разнородной информации, формируемой в виртуальной среде, привел к возникновению феномена, известного как «большие данные» (Big Data). Данные становятся сегодня основным ресурсом для повышения эффективности и производительности практически всех отраслей современной экономики. Ценность больших данных актуализирует вопрос о возможности и целесообразности охраны этих данных, защиты тех ресурсов, которые были затрачены на их сбор и обработку. Особенностью российского и зарубежного законодательства является возможность правовой охраны больших массивов данных смежным правом на базы данных, которое, не вводя правовой охраны данных как таковых (отдельных материалов, элементов содержания базы данных), устанавливает правовой режим использования всей совокупности данных, составляющих содержание баз данных. Не менее важным является вопрос о защите самих данных, которые, будучи весьма разнородными, могут охраняться государством по-разному. Настоящая монография посвящена в первую очередь исследованию вопроса о том, что же в целом понимается под условным термином «большие данные», какое в этой сфере существует регулирование и в каком направлении следует задуматься о его совершенствовании. Отдельно проводится анализ правового регулирования баз данных в России и за рубежом тех возможностей, которые правовая охрана баз данных предоставляет при работе с Big Data. Правовой режим данных как таковых рассматривается на примере защиты персональных данных, поскольку обработка больших данных открывает невиданные прежде возможности вмешательства в частную жизнь, неприкосновенность которой гарантирована ст. 23 Конституции Российской Федерации. Законодательство приведено по состоянию на 1 декабря 2021 г.

Что общего у аналитика данных и Шерлока Холмса? Как у Netfl ix получилось создать 100%-ный хит — сериал «Карточный домик»? Ответ кроется в правильном использовании данных. Эта книга — практическое руководство и увлекательное путешествие в науку о данных, независимо от того, хотите ли вы использовать анализ данных в своей профессии, собираетесь ли стать аналитиком данных, или уже работаете в этой области. Ее автор, основатель образовательного онлайн-портала и консультант, Кирилл Еременко просто и понятно рассказывает об основных методах, алгоритмах и приемах, которые вам помогут на любом этапе: от сбора данных и их анализа до визуализации полученных результатов. Благодаря «Работе с данными в любой сфере» вы не только узнаете, как данные влияют на нашу жизнь (и как защитить свои данные), но и сможете расширить свои карьерные возможности.

В книге описываются методики и приемы юзабилити-тестирования – процедуры оценки разнообразных продуктов (будь то устройства, сайты, мобильные приложения и т. д.) с точки зрения легкости и удобства их использования. В начальных главах читатель узнает о принципах тестирования, выборе оборудования и места для его проведения. Отдельная глава посвящена изучению пользовательских потребностей. Наконец, подробно рассказывается о том, как спланировать и провести юзабилити-тест, а затем проанализировать его результаты.

Книга поможет вам писать запросы, которые выполняются быстро и вовремя доставляют результаты. Вы научитесь смотреть на процесс написания запроса с точки зрения механизма базы данных и начнете думать, как оптимизатор базы данных. Объясняется, как читать и понимать планы выполнения запросов, какие существуют методы воздействия на них с точки зрения оптимизации производительности, и показано, как эти методы используются вместе для создания эффективных приложений.

Цель данной книги – дать общее представление о технической структуре и архитектуре сети интернет. Подробно описываются разные уровни сетевой модели TCP/IP (канальный, сетевой, транспортный и прикладной); особое внимание уделяется безопасности транспортного уровня. Рассмотрена система доменных имен. В заключительной главе представлена семиуровневая модель взаимодействия открытых систем (OSI) в сравнении с моделью TCP/IP. В конце каждой главы приводятся глоссарий по теме и контрольные вопросы, позволяющие читателям проверить свои знания.

Дата-грамотность, то есть способность ориентироваться в мире данных, — ключевой навык сегодняшнего дня. Ежедневно в соцсетях публикуются миллиарды сообщений, электронные почтовые ящики по всей планете гудят от писем, а каждый подключенный к интернету автомобиль производит терабайты данных, не говоря уже об онлайн магазинах, платежных системах и государственных цифровых сервисах. Однако работать с данными, анализировать их и использовать их для бизнеса по-прежнему умеет меньшинство, а специалистов катастрофически не хватает. Для тех, кто хочет научиться говорить на языке данных уверенно, признанный эксперт в области дата-грамотности Джордан Морроу и написал свою книгу. Это практическое руководство позволит даже неспециалисту освоить четыре базовых уровня аналитики и узнать, как принимать эффективные решения на основе данных, чтобы извлекать максимум из информации и быть успешными в быстро меняющемся цифровом мире.

Открытия, сделанные на основе анализа данных, совершили революцию в моделировании, прогнозировании поведения и управлении сложными системами. В этой книге приводятся сведения из машинного обучения, инженерной математики и математической физики с целью показать, как моделирование и управление динамическими системами сочетаются с современными методами науки о данных. Рассказывается о многих достижениях в области научных расчетов, которые позволяют применять управляемые данными методы к изучению разнообразных сложных систем, таких как турбулентность, науки о мозге, климатология, эпидемиология, финансы, робототехника и автономные системы.

Raspberry Pi – точная миниатюрная копия полноценного компьютера, наделенная аналогичными функциями. Вместе с тем Raspberry Pi представляет собой нечто большее, чем современный компьютер: с его помощью вы можете создать собственную операционную систему и соединить провода, цепи и контакты на плате. Эта книга предназначена для тех, кто приступает к освоению Raspberry Pi. Показано, как настроить оборудование; описываются интерфейс устройства, его операционная система и базовые навыки работы. Изучив примеры программирования на Scratch 3 и Python, вы сможете расширить функционал Raspberry Pi, написав собственные программы и игры. Цветные иллюстрации и удобные пошаговые инструкции упрощают обучение.

В книге рассматривается внутреннее устройство СУБД PostgreSQL: детали реализации многоверсионности и изоляции на основе снимков данных, включая процедуру очистки неактуальных версий строк; буферный кеш и журнал предзаписи; использование блокировок различных уровней; планирование и выполнение SQL-запросов; принципы расширяемости и особенности имеющихся индексных методов доступа. Большое внимание уделяется возможностям, предоставляемым для самостоятельного изучения механизмов функционирования PostgreSQL.

Учебно-методическое пособие предназначено для студентов высших учебных заведений, изучающих дисциплину «Введение в анализ больших информационных массивов», и содержит указания к выполнению пяти лабораторных работ для формирования у студентов навыков использования программного обеспечения и программных средств для структурирования больших массивов данных. Приведены краткие теоретические сведения, необходимые для выполнения лабораторных работ, контрольные вопросы и задания для подготовки к защите.

Рассмотрены методологические основы анализа рынка недвижимости и особенности системы показателей рынка, порядок формирования баз данных для анализа рынка, методология проведения мониторинга рынка недвижимости, классификации и дифференциации объектов недвижимости, основы зонирования рынка. Изложены аспекты применения методов статистического и экономического анализа при исследованиях рынка недвижимости и закономерностей его развития.

В процессе исследования был проведен анализ теоретико-методологической составляющей рассматриваемой темы: исследование структурных характеристик, социальных функций и теоретических подходов к изучению цифрового наследия. Выявлены соответствующие практики деятельности, распространенные на международном и национальном уровнях, проанализировано законодательство ряда стран, регламентирующее создание и сохранение цифрового наследия. Областью применения результатов исследования является совершенствование государственной культурной политики на различных уровнях.

Представлены четыре раздела учебного курса «Методы оптимизации». В каждом разделе изложены необходимые теоретические сведения, рассмотрены реализации алгоритмов численных методов оптимизации на примерах, приведены способы решения или проверки решений в программе Microsoft Excel.

Лабораторный практикум «Автоматизация производственных процессов: теория и практика решения задач прикладной математики» рассматривает предмет и содержание дисциплины «Прикладная математика», ее основные понятия, определения и положения, основные методы и способы решения прикладных задач сельскохозяйственного производства, для большинства из которых приведены примеры их решения на основе использования табличного процессора MS Excel. Так же имеются упражнения для самостоятельного выполнения. Соответствует актуальным требованиям Федерального государственного образовательного стандарта высшего образования по направлению подготовки 23.00.00 «Техника и технологии наземного транспорта».

Учебно-методическое пособие содержит основные положения алгоритмизации и программирования, а также разработки структур баз данных в среде Microsoft Access. Рассмотрены вопросы, связанные с введением в программирование Visual Basic for Applications, который представляет собой унифицированный язык и среду программирования и разработки.

Рассмотрены способы создания приложений для работы с базами данных, методы доступа к базам данных и применяемые в них программные интерфейсы. Также рассматривается интеграция приложений Visual C# с сервером СУБД Microsoft SQL Server 2012.

Предложено использовать динамический словарь как средство расширения стандартных структур данных языка C++. Словарь реализуется как сложная структура данных, представленная в виде класса. Использование в структуре данных статистики слов, которые разбиваются на узлы, позволяет существенно расширить спектр решаемых задач. Подход, при котором данные представляются в виде словаря и для работы с которыми используются функции словарного класса, назван автором «Словарная технология». Дается описание словарных функций и приводятся примеры решаемых на основе словарной технологии задач. Возможности словарной технологии по хранению и доступу к данным использованы для построения модели постреляционной системы управления базами данных. Дается описание постреляционной базы данных и особенностей представления информации. Предлагается язык управления данными, в основе которого лежит словарное представление. Приложения содержат описание функций словарной технологии, сервисных функций, упрощающих работу с данными, функции работы с постреляционной базой данных, язык управления и язык запросов к базе данных. Приводится программный материал по решению разнообразных задач в словарной технологии и перечень примеров по работе с постреляционной базой данных.

Рассмотрены методики, идиомы и приемы решения задач обработки динамических структур данных на языке С++. Подробно описаны вычислительные алгоритмы, реализованные с использованием нотации указателей. Приведены краткие теоретические сведения и примеры приложений по изучаемому материалу. Изложена методика выполнения лабораторных работ по рассматриваемым темам, которая используется авторами в процессе проведения практических занятий в МГТУ им. Н.Э. Баумана.

Рассмотрены требования и рекомендации по курсовому проектированию защищенных систем баз данных.

Даны необходимые пояснения и рекомендации для выполнения курсовой работы по дисциплине «Базы данных».

Рассмотрены теоретические и практические вопросы применения интеллектуальных методов обработки данных с использованием аналитической системы RapidMiner. Приведены примеры решения таких типовых задач научных исследований, как предварительная подготовка данных и заполнение пропусков, классификация и снижение размерности; большое внимание уделено вопросам представления результатов исследований в удобном виде.

В пособии приводится описание основных технологий веб-программирования, рассматриваются примеры разработки и отладки распределенных систем, содержатся практические задания.

Предлагаемое учебное пособие содержит описание широкого спектра моделей баз данных: дореляционных, реляционных, постреляционных, в том числе моделей класса NoSQL. Несмотря на то что реляционная модель в настоящее время является доминирующей, каждая из этих моделей занимает свою нишу в области информационных технологий при решении задач обработки данных.

В первой части учебника изложены научно-методологические основы исследования, управления и принятия решений в многосвязных технологических системах. Во второй части учебника рассмотрены инженерно-прикладные аспекты функционирования машин и их процессов как объектов оптимизации, описана методология экспериментальных исследований, позволяющих получить информационное обеспечение для выбранной математической модели. Третья часть учебника содержит основные методы принятия решений при реализации конкретных производственных ситуаций, соответствующих условиям определенности, риска и неопределенности.

Комплексно рассматриваются проблемы прикладной информатики, включая информационные элементы и технологии, информационные процессы, построение, функционирование и применение экономических информационных систем (фактографических, документальных, документально-фактографических), в тесной взаимосвязи с изложением новых методов и стандартов мирового уровня, поддерживаемых информационными технологиями. Особенность пособия состоит в том, что оно подготовлено в форме справочника.

Рассматриваются офисные программы, с которыми студент должен научиться работать, чтобы овладеть компетенциями по направлению подготовки «Информационные системы и технологии».

Учебно-методическое пособие подготовлено на кафедре программного обеспечения и администрирования информационных систем факультета прикладной математики, информатики и механики Воронежского государственного университета.

Учебно-методическое пособие подготовлено на кафедре программного обеспечения и администрирования информационных систем факультета прикладной математики, информатики и механики Воронежского государственного университета.

В учебном пособии описываются основы администрирования баз данных и компьютерных сетей.

Систематизированы основные сведения, необходимые администратору информационных систем (ИС). Приведена информация о функциях и задачах специалистов по управлению и сопровождению ИС, стандартах работы, организации и функциях служб администрирования ИС. Описаны стандарты работы ИС и стандартизирующие организации. Рассмотрены объекты управления ИС, модели и протоколы управления. Особое внимание уделено моделям управления, в том числе ITIL, FCAPS, ONC. Рассмотрены вопросы администрирования кабельных систем и приведены примеры их администрирования. Приведена информация о системах сетевого администрирования (NMS) и поддержки операций (OSS). Обсуждаются вопросы администрирования файловых систем; организации подсистем ввода/вывода; администрирования баз данных; практические аспекты одной из самых трудных организационных и технических задач администрирования системы – проблемы присоединения ИС к оператору связи. Во втором издании (кроме исправления неточностей и опечаток) уточнены вопросы применения технологий PON, FTTx, а также подробно рассмотрена технология RAID 6.

В учебном пособии представлены основные положения управления информационными ресурсами в научно-исследовательской работе. В первой главе рассмотрены вопросы информационных ресурсов как фактора современных знаний. Вторая глава посвящена теоретическим основам базовых компонентов процесса управления информационными ресурсами – информационными процессами и информационными технологиями. Третья глава рассматривает мировой и национальный рынок информационных ресурсов. В рамках четвертой главы подробно рассматриваются прикладные аспекты информационных ресурсов, процессов и технологий на примере образовательной и научной деятельности. Пятая глава затрагивает важную составляющую процесса управления информационными ресурсами – систему защиты информационных ресурсов. Заключительная, шестая глава посвящена одному из передовых направлений развития технологий – обработке больших объемов данных. К каждой главе приводятся вопросы и задания для самопроверки. В конце учебного пособия представлен глоссарий. Учебное пособие соответствует современным требованиям ФГОС ВО.

Учебно-методическое пособие включает материалы для подготовки к практическим занятиям и самостоятельной работе по теме «Методы и технологии обработки больших данных». Представлены возможности методов и технологий больших данных в задачах обработки информации, дан список вопросов для самоконтроля.

Пособие составлено в соответствии с требованиями ФГОС ВО, практические работы включают теоретическую часть, методические рекомендации по выполнению заданий для развития и контроля владения компетенциями, а также литературу и интернет-ресурсы.