Кроме собственно агрегирования или синтеза систем (экономических, технических, организационных) системные аналитики имеют дело с агрегированием данных. К сожалению, системных аналитиков, занятых в экономической сфере, идентифицируют именно с этим работами, забывая о том, что их функции намного шире.
Реально функционирующие системы генерируют слишком много данных, которые плохо обозримы и с которыми трудно работать. Поэтому возникает настоятельная необходимость в агрегировании данных в целях уменьшения размерности анализируемой предметной области.
В настоящее время агрегирование данных в экономических системах часто связывают с построением так называемой системы сбалансированных показателей. Эта система содержит четыре группы показателей, описывающих исследуемую систему в финансово-экономическом, клиентско-контрагентском, бизнес-процессом и образовательноквалификационном разрезах. Все группы показателей связаны между собой и направлены на реализацию единой стратегии компании. Так, повышение образовательно-квалификационного уровня сотрудников обеспечивает повышение эффективности и качества внутренних бизнес-процессов, эффективность бизнес-процессов способствуют лучшему удовлетворению запросов клиентов, а это, в свою очередь, позволяет достичь желаемых финансовых результатов и тем самым удовлетворить ожидания акционеров.
Число показателей в каждой группе на одном уровне управления не должно превышать 7-10. Следовательно, руководитель любого уровня работает с 30-40 показателями одновременно, что не составляет особого труда. Основная трудность заключается в выстраивании информационной природы показателей, где каждый последующий уровень представляет собой агрегат предыдущего. Решение этой задачи входит в круг обязанностей системного аналитика.
Важный пример агрегирования данных дает статистический анализ. Среди различных агрегатов, называемых в этом случае статистиками, т.е. функциями выборочных значений, особое место занимают такие агрегаты, которые извлекают всю полезную информацию об интересующем нас параметре из совокупности наблюдений. Наглядным примером статистического агрегирования является факторный анализ, в котором несколько переменных сводятся в один фактор. При рассмотрении реальных данных самым важным является построение модели-агрегата при отсутствии информации, необходимой для теоретического синтеза статистики. Именно поэтому эту область называют анализом данных, оставляя за математической статистикой задачи алгоритмического синтеза и анализа статистик.
Если агрегируемые данные фиксируются в числовых шкалах, то появляется возможность задать отношение на множестве данных в виде числовой функции многих переменных. Классическим примером такого агрегирования является приведение задачи многокритериальной оптимизации к однокритериальной задаче. Стоимостный анализ в экономике, в котором все существенные для исследуемого явления факторы имеют денежную оценку, а результат представляет собой их алгебраическую сумму, также следует отнести к классу задач агрегирования данных, методы решения которых входят в арсенал системных аналитиков финансово- экономической сферы.
Процедура агрегирования имеет очень широкое смысловое толкование. Кроме очевидного соединения в единое целое составляющих систему элементов, подразумевается проектирование новой системы, интегрирование информации о текущем состоянии
функционирующей системы и ее позиционирование в определенном фазовом пространстве.
Контрольные вопросы
1. Дайте определение агрегирования. Эквивалентны ли понятия «система» и «агрегат»?
2. Как проявляется внутренняя целостность агрегата? Почему при агрегировании системы в ней появляются новые свойства?
3. Приведите примеры эмерджентности системы. Почему эмерджентность считают внутренним свойством системы?
4. Какая связь существует между системообразующим фактором и эмерджентностью системы?
5. Как связаны дифференциация свойств элементов системы с ее организованностью?
6. Что лежит в основе агрегирования системы? Чем вызвана необходимость многопланового описания агрегируемой системы?
7. Что такое конфигуратор системы? Приведите примеры конфигураторов.
8. Сколько структурных описаний должна содержать агрегируемая система? Приведите примеры структурных описаний социокультурных систем.
9. В чем заключается сущность задачи агрегирования данных в экономике?
10. Что представляет собой система сбалансированных показателей?
11. В чем заключается основная задача синтетического подхода к исследованию системы?
Темы рефератов и эссе
Проблемы анализа данных в экономических приложениях.
Слияния и поглощения как примеры агрегирования экономических систем.
Проектирование новых образований.
Процедура Агрегировать данные позволяет преобразовать группы наблюдений в наблюдения, содержащие агрегированную информацию по соответствующей группе, и создавать новый - агрегированный - файл данных или создавать новые переменные в активном наборе данных, содержащие агрегированную информацию. Наблюдения агрегируются на основе значений нуля или большего числа группирующих переменных. Если группирующие переменные не заданы, то весь набор данных представляет собой единую группу для агрегирования.
Группирующие переменные. Наблюдения разбиваются на группы, на основании значений этих переменных. Каждая уникальная комбинация значений группирующих переменных определяет группу. Если создается новый, агрегированный файл данных, все группирующие переменные сохраняются в новом файле под своими прежними именами и с информацией из словаря данных. Группирующая переменная, если задана, может быть числовой или текстовой.
Агрегируемые переменные. Для создания новых переменных используются исходные переменные с функциями агрегирования. За именем агрегированной переменной идет необязательная метка переменной, имя агрегирующей функции и имя исходной переменной в скобках.
Можно изменять имена агрегируемых переменных, заданные по умолчанию, добавлять описательные метки переменных, а также изменять функции, используемые для расчета агрегированных значений. Можно также создать переменную, содержащую число наблюдений, попавших в каждую группу при агрегировании.
Как агрегировать файл данных
Данные > Агрегировать...
Дополнительно вы можете заменить имена агрегируемых переменных по умолчанию на новые имена переменных, задать описательные метки переменных и создать переменную, которая будет содержать количества наблюдений в каждой группе.
Сохранение агрегированных результатов
Вы можете добавить агрегированные переменные в активный набор данных или создать новый, агрегированный файл данных.
Параметры сортировки для больших файлов данных
Для очень больших файлов данных более эффективным может быть агрегирование предварительно отсортированных данных.
Данные уже отсортированы по группирующим переменным. Если данные уже отсортированы по значениям группирующих переменных, то этот параметр позволяет процедуре выполняться быстрее и использовать меньше памяти. Пользуйтесь этим параметром с осторожностью.
Отсортировать данные перед агрегированием. В очень редких случаях с большими файлами данных вам, возможно, потребуется отсортировать файл данных по значениям группирующих переменных до агрегирования. Использовать этот параметр не рекомендуется, пока у вас не возникнут проблемы с памятью или быстродействием.
Данные в ХД хранятся как в детализированном, так и в агрегированном виде. Данные в детализированном виде поступают непосредственно из источников данных и соответствуют элементарным событиям, регистрируемым OLTP-системами. Такими данными могут быть ежедневные продажи, количество произведенных изделий и т.д. Это неделимые значения, попытка дополнительно детализировать которые лишает их логического смысла.
Многие задачи анализа (например, прогнозирование) требуют использования данных определенной степени обобщения. Например, суммы продаж, взятые по дням, могут дать очень неравномерный ряд данных, что затруднит выявление характерных периодов, закономерностей или тенденций. Однако, если обобщить эти данные в пределах недели или месяца и взять сумму, среднее, максимальное и минимальное значения за соответствующий период, то полученный ряд может оказаться более информативным. Процесс обобщения детализированных данных называется агрегированием, а сами обобщенные данные - агрегированными (иногда - агрегатами). Обычно агрегированию подвергаются числовые данные (факты), они вычисляются и содержатся в ХД вместе с детализированными данными.
Поскольку один и тот же набор детализированных данных может породить несколько наборов агрегированных данных с различной степенью обобщения, объем ХД возрастает, иногда существенно. Например, набор, содержащий данные о продажах по дням в течение года, помимо своих 360 значений, порождает 52 значения с обобщением по неделям и 12 - по месяцам. Если при этом вычисляются все виды агрегации - сумма, среднее, максимальное и минимальное значения за соответствующий период, - то количество хранящихся агрегированных значений составит уже (52 + 12) 4 = 256. Иногда это приводит к «взрывному», неконтролируемому росту ХД и вызывает серьезные технические проблемы: хранилище «распухает», из-за того что непрерывный поток входных данных автоматически агрегируется в соответствии с настройками ХД. Однако с этим приходится мириться: если бы агрегированные данные не содержались в ХД, а вычислялись в процессе выполнения запросов, время выполнения запроса увеличилось бы в несколько раз.
Слово «метаданные» (от греч. meta и лат. data) буквально переводится как «данные о данных». Метаданные в широком смысле необходимы для описания значения и свойств информации с целью лучшего ее понимания, использования и управления ею. Любой человек, который читал книги или пользовался библиотекой, в той или иной мере имел дело с метаданными.
Пример
Всем хорошо известно, что в любой книге, помимо собственно текста, содержится значительное количество дополнительной информации. Цель ее заключается в том, чтобы, во-первых, помочь читателю быстрее ознакомиться с содержимым книги и осмыслить его, во-вторых, описать структуру книги для более эффективного поиска нужной информации. Для решения первой задачи служат такие элементы, как аннотация, комментарии, глоссарий, примечания и т.д. Для поиска нужной информации используются оглавление, названия глав, параграфов и разделов, номера страниц, колонтитулы, предметный указатель и т.д. Кроме этого, читателю могут понадобиться сведения об авторах или об издательстве. Вся эта информация, которая не является частью книги, а служит для повышения эффективности работы с ней, и представляет собой метаданные. В библиотеке метаданные применяются для поиска нужных изданий и отслеживания их перемещений, например, систематический или алфавитный каталоги, в которых используются названия книг, фамилии авторов, год издания и т.д. Таким образом, метаданные имеют очень большое значение при работе с различного рода информацией.
С точки зрения IT-технологий метаданные - любая информация, необходимая для анализа, проектирования, построения, внедрения и применения компьютерной информационной системы. Одно из основных назначений метаданных - повышение эффективности поиска. Поисковые запросы, использующие метаданные, делают возможным выполнение сложных операций по фильтрации и отбору данных.
Метаданные - высокоуровневые средства отражения информационной модели и описания структуры данных, используемой в ХД. Метаданные должны содержать описание структуры данных хранилища и структуры данных импортируемых источников. Метаданные хранятся отдельно от данных в так называемом репозитарии метаданных.
Метаданные являются ключевым фактором успеха при разработке и внедрении ХД. Они содержат всю информацию, необходимую для извлечения, преобразования и загрузки данных из различных источников, а также для последующего использования и интерпретации данных, содержащихся в ХД.
Два уровня метаданных:
технический (административный)
бизнес-уровень.
Технический уровень содержит метаданные, необходимые для обеспечения функционирования хранилища (статистика загрузки данных и их использования, описание модели данных и т.д.).
Бизнес-метаданные обеспечивают пользователю возможность концентрироваться на процессе анализа, а не на технических аспектах работы с хранилищем; они включают бизнес-термины и определения, которыми привык оперировать пользователь.
Фактически бизнес-метаданные представляют собой описание предметной области, для работы в которой создается аналитическая система или ХД. К формированию бизнес-метаданных должны активно привлекаться эксперты и аналитики, которые впоследствии и будут использовать систему для получения аналитических отчетов.
Бизнес-метаданные описывают объекты предметной области, информация о которых содержится в ХД, - атрибуты объектов и их возможные значения, соответствующие поля в таблицах и т.д. Бизнес-метаданные образуют так называемый семантический слой. Пользователь оперирует близкими ему терминами предметной области: товар, клиент, продажи, покупки и т.д., а семантический слой транслирует бизнес-термины в низкоуровневые запросы к данным в хранилище.
В данном разделе рассматривается применение в запросе агрегирующих функций- функций вычисляющих результат по набору значений группы, либо всех записей БД. Например, функция sum возвращает сумму значений заданного поля, а функция count - общее число записей.
Агрегирующая функция может применяться ко всем записям БД слоя, к выборке по заданным условиям и, кроме того, возможно группирование записей слоя в несколько групп, и применение агрегирующей функции к каждой группе («Группировка записей»).
Применяемые агрегирующие функции записываются после ключевого слова SELECT . Также допускается использовать агрегирующие функции в составе выражений, включающих функции, арифметические и побитовые операции. В одном запросе может перечисляться несколько выражений с агрегирующими функциями. Не допускается в запросе одновременно с агрегирующими функциями запрашивать значения полей записей БД, либо использовать в аргументах неагрегирующих функций обращения к полям записей БД. Например, запрос вида SELECT SQRT(Area), SUM(Perimeter) FROM Здания не допускается, поскольку аргументом функции SQRT является название поля данных.
Общая запись агрегирующих функций:
<Функция> ([DISTINCT ] <выражение> )
В качестве аргумента агрегирующей функции обычно используется название поля, над значениями которого проводятся вычисления. Также допускается в качестве аргумента использовать выражения, включающие в себя произвольную комбинацию названий полей, констант, функций и подзапросов, объединенных арифметическими и побитовыми операциями.
Остальная часть запроса задается стандартным образом.
Перед аргументом функции (кроме функций MAX и MIN )может указываться ключевое слово DISTINCT . В этом случае итоговое значение вычисляется только для различающихся значений аргумента. При использовании ключевого слова DISTINCT в качестве аргумента агрегирующей функции нельзя использовать арифметические выражения, - только названия полей.
В языке SQL используются следующие агрегирующие функции:
SUM ([DISTINCT ] <выражение>)
Выводит в итоговой таблице сумму значений для выражения по полям выборки. Выражение должно возвращать числовое значение.
AVG ([DISTINCT ] <выражение>)
Среднее значение для выражения. Выражение должно возвращать числовое значение.
COUNT ([DISTINCT ] <выражение> |*)
Подсчитывает число записей, в который выражение не имеет значение Null (поля имеют значение Null , когда никакое значение для них не задано). Выражение может возвращать произвольное значение.
При используемом формате функции COUNT (*) возвращает общее количество записей в БД слоя.
MAX (<выражение>)
Возвращает максимальное значение выражения для выборки.
MIN ( <выражение> )
Возвращает минимальное значение выражения из выборки.
Применение агрегирующих функций
Простой пример
SELECT SUM (Perimeter) FROM ЗданияВыводит сумму периметров зданий.
Одновременное применение нескольких функций
SELECT AVG (Area), Count(*) FROM ЗданияВыводит среднюю площадь здания и общее количество зданий.
Применение функций совместно с условиями отбора
SELECT SUM (Area) FROM Здания WHERE Улица="Нахимова"Возвращает сумму площадей зданий расположенных на улице Нахимова.
Применение выражений в качестве аргументов агрегирующих функций
SELECT SUM(Area/Perimeter*2) FROM ЗданияДля каждого здания рассчитывается величина равная Площадь/Периметр*2 и суммируется.
Применение агрегирующих функций в составе выражений
SELECT SQRT (SUM (Area)), "Общий периметр" + SUM (Perimeter) FROM ЗданияВозвращает квадратный корень от суммарной площади всех зданий и фразу вида «Общий периметр XXX » , где XXX - суммарный периметр всех зданий.
Использование ключевого слова DISTINCT
SELECT COUNT(DISTINCT Улица) FROM ЗданияВозвращает количество разных названий улиц в БД слоя.
Что такое агрегации и какие их виды существуют? Какова их роль в анатомии человека, информационных технологиях и социологии? Полезны ли они или нет? Об этом мы и поговорим в рамках данной статьи.
Для начала давайте ознакомимся с тем, что же собой представляет термин «агрегации». Это слово используется для обозначения процесса объединения разных элементов в одну общую систему. Это настолько общее понятие, что оно может использоваться во всех сферах, где можно наблюдать подобное. Можно даже назвать агрегацией собрание пары людей, что занимают определённое пространство. В это верится с трудом, но если ознакомиться с трудами, скажем, Эрика Берна, это не покажется выдумкой автора. Более того, агрегации - это базовое понятие в целом ряде систем классификации человеческих сообществ, что используются в психологии и социологии. В качестве альтернативы часто используют ещё такое словосочетание, как «социальная группа», которое является несколько более узнаваемым. Но это относится только к социологии и психологии. В других дисциплинах и сферах использования часто применяются иные альтернативные названия.
В последнее время часто высказывается предположение о том, что за двадцать первый век человеком было сгенерировано больше информации, чем за всю его предыдущую историю. К примеру, в Harvard Business Review провели исследование, согласно которому даже за последние несколько лет было создано такое количество данных, что они превышают всё, ранее сформулированное и представленное к нашему сведению. При этом наметилась тенденция, когда очень большие массивы качественного и интересного контента создают не профессиональные авторы, а обычные люди с помощью социальных сетей и блогов. Но такая агрегация данных имеет и негативные последствия. В первую очередь необходимо упомянуть о проблеме информационной перегрузки. Так обозначается ситуация, когда человеком получается так много данных, что становится сложно их всех воспринимать. Есть определённые проблемы и с распределением свободного времени. Так, специалисты ранее упомянутой Harvard Business Review утверждают, что сейчас человек около 1/5 своего времени тратит на поиск в Сети, из которого почти половина идёт на то, что уже было просмотрено. Из этого можно сделать заключение, что у нас есть определённые проблемы в плане как получения новых данных, так и хранения уже имеющихся.
Человеку чрезвычайно сложно жить без общества.
В той или иной мере с другими людьми контактировать приходится практически каждому. Этому способствует и агрегация интересов, и создание комфортной среды. Интересна в этом плане роль социальных сетей (особенно в плане получения информации). Так, компания ComScore провела исследование, в результате которого установила, что каждый десятый посетитель новостных сайтов перед тем как зайти на них, посетил "Фейсбук". Таким образом, можно уверенно говорить о том, что сайты подобного типа постепенно увеличивают свою роль в плане поиска и ознакомления с информацией. А сколько же данных передаётся между людьми во время простого общения? Увы, человеку это даже не по силам подсчитать. Но провести подобную агрегацию смог бы искусственный интеллект.
В общем случае агрегации - это полезный инструментарий, который помогает ориентироваться во всё возрастающем потоке информации, которая обрушивается на человека. Почему агрегация приобретает популярность? Дело в том, что почти поголовно людям нравится читать не некую абстрактную информацию, а то, что им по вкусу. И желательно тратить при этом времени по минимуму. И здесь агрегации - это настоящее откровение и спасение. Ведь они позволяют экономить время, деньги, образуют единую точку входа, разбивают информацию на категории и архивируют, а также повышают релевантность результатов поиска. И это всё является важной составляющей глобальной сети, известной также как Интернет. Агрегации позволяют избегать работы на микроуровнях (исключение - анатомия человека) и работать уже с объединёнными группами объектов.
Своё начало агрегации данного типа берут, пожалуй, со времён закладок, которые появились в первых браузерах ещё в 1993 году, и поисковых систем, которые в первоначальном виде представляли собой каталоги заранее отобранных кем-то ссылок. Постепенно это всё развивалось.
И когда сформировалась идея Web 2.0 и генерации пользователем контента, то возникли сервисы На момент их организации они были флагманами подобного движения. Многие из решений, которые возникли в то время, работают и сейчас. Сейчас подобные сервисы предлагают свои услуги в ранжировании и подборе контента. Как правило, это относится к новостным агрегатам. Но подобные механизмы используют и многие иные сервисы, вроде досок картинок, и много других. Даже упомянутые ранее социальные сети, когда предлагают новых людей для знакомства, действуют подобным образом, подбирая по интересам. Закономерное продолжение в виде идеи Web 3.0 представляет собой персонализацию информации и разработку различных способов её доставки к конечному потребителю. И благодаря росту размера информационного потока нагрузка на пользователя будет расти, а вместе с этим и улучшится качество фильтрации контента.
Продолжаем разговор об информационных технологиях. В данном случае подразумевается объединение нескольких каналов передачи данных, которые находятся параллельно в рамках сети Ethernet, в один логический. Это позволяет повысить надёжность передачи данных и увеличить пропускную способность. Хотя и существуют различные реализации со своими специфическими моментами, но в общем всё выглядит именно так. Агрегация каналов является важным моментом в создании надёжных сетей. В случае повреждения одного провода информация будет передаваться по другим.
Второе название этого процесса в данном случае - делегирование. Используется оно в объектно-ориентированном программировании. Подразумевают под этим методику создания нового класса путём включения уже существующих. Агрегирование ещё также называют отношением принадлежности. Когда создан новый класс, вложенные объекты обычно объявляют закрытыми. И для программистов, которые работают с ними, они стают недоступными. С одной стороны, это неудобно. Но с другой - создатель класса может менять объекты, и при этом не будет нарушена работа уже существующего клиентского кода. К тому же это всё позволяет делать взаимодействие более динамичным и гибким в определённых границах.
Но не едиными информационными потоками живёт это понятие. Существует ещё и агрегация тромбоцитов. Что это такое? Так называется процесс слипания (склеивания) тромбоцитов под влиянием специфических стимуляторов между собой. Это всё, что собой представляет агрегация тромбоцитов? Что это такое на микроуровне? Способствуют этому специальные индукторы: серотонин, адреналин, тромбоксан А2, АДФ, нестабильные простагландины и тромбоцитоактивирующий фактор. Когда же и как всё будет происходить, определяют гликопротеины мембран тромбоцитов IIb/IIIa, когда они взаимодействуют между собой вместе с фибриногеном. Может ли быть такое, что будет нарушена агрегация тромбоцитов? Что это такое в перспективе? В подобном случае у человека наблюдается кровоточивость. При более детальном обследовании ему ставят диагноз болезни, в основе которой лежит недостаточность (как правило, врождённая) гликопротеинов или фибриногена.
Эта тема в биологии рассматривается немного отдельно от случая с тромбоцитами. Но в общем агрегация и здесь собой представляет слипание клеток. Подобное явление может наблюдаться только в многоклеточных образованиях. Сам данный процесс представляет собой «сортировку», во время которой однотипные слипаются, тогда как разнотипные остаются работать разобщенно. Агрегация клеток наблюдается и в искусственных, и в естественных условиях. То, с какой интенсивностью протекает данный процесс, зависит от ионного состава среды и температуры. Само это явление может быть и позитивным, и негативным. Хорошим примером второго случая является агрегация эритроцитов. Под этим понимают образование агломерации кровяных тел разной плотности и величины при нарушении микроциркуляции. А это уже вызывает негативные последствия. Самыми значимыми является ухудшение крови. Это можно наблюдать в тех случаях, когда человек заболевает малярией, пневмонией или же у него наблюдается шоковое состояние.
