1.4.2 Технология корреляционного-регресионного анализа
Корреляционно-регрессионный анализ как общее понятие включает в себя измерение тесноты, направления связи и установления аналитического  выражения связи.
Корреляция – это статистическая зависимость между случайными величинами, не имеющими строго функционального характера, при которой изменение одной из случайных величин приводит к изменению математического ожидания другой.
В статистике принято различать следующие варианты зависимостей:
1. Парная корреляция – связь между двумя признаками (результативным и факторным или двумя факторными).
2. Частная корреляция – зависимость между результативным и одним факторным признаками при фиксированном значении других факторных признаков.
3. Множественная корреляция – зависимость результативного и двух или более факторных признаков, включенных в исследование. [6]
Корреляционный анализ имеет своей задачей количественное определение тесноты связи между двумя признаками (при парной связи) и между результативным и множеством факторных признаков (при многофакторной связи).
Теснота связи количественно выражается величиной коэффициентов корреляции. Коэффициенты корреляции, представляя количественную характеристику тесноты связи между признаками, дают возможность определять полезность факторных признаков при построении уравнений множественной регрессии. Величина коэффициента корреляции служит также оценкой соответствия уравнения регрессии выявленным причинно-следственным связям.
Регрессионный анализ заключается в определении аналитического выражения связи, в котором изменение одной величины (называемой зависимой или результативным признаком) обусловлено влиянием одной или нескольких независимых величин (факторов), а множество всех прочих факторов, также оказывающих влияние на зависимую величину, принимается за постоянные и средние значения. Регрессия может быть однофакторной (парной) и многофакторной (множественной). 
По форме зависимости различают:
a) линейную регрессию, которая выражается уравнением прямой (линейной функцией) вида:  
b) нелинейную регрессию, которая выражается уравнениями вида:
парабола – 
гипербола –   и т. д.
По направлению связи различают:
a) прямую регрессию (положительную), возникающую при условии, если с увеличением или уменьшением независимой величины значения зависимой также соответственно увеличиваются или уменьшается;
b) обратную (отрицательную) регрессию, появляющуюся при условии, что с увеличением или уменьшением независимой величины зависимая соответственно уменьшается или увеличивается.
Все явления и процессы, характеризующие социально-экономические развитие и составляющие единую систему национальных счетов, тесно взаимосвязаны и взаимозависимы между собой.
В статистике показатели, характеризующие эти явления, могут быть связаны либо корреляционной зависимостью, либо быть независимыми.
Корреляционная зависимость является частным случаем стохастической зависимости, при которой изменение значений факторных признаков ( ) влечет за собой изменение среднего значения результативного признака.
Корреляционная зависимость исследуется с помощью методов корреляционного и регрессионного анализов.
Корреляционный анализ изучает взаимосвязи показателей и позволяет решить следующие задачи:
1. Оценка тесноты связи между показателями с помощью парных, частных и  множественных коэффициентов корреляции.
2. Оценка уравнения регрессии.
Основной предпосылкой применения корреляционного анализа является необходимость подчинения совокупности значений всех факторных ( ) и результативного (Y) признаков k – мерному нормальному закону распределения или близость к нему. Если объем исследуемой совокупности достаточно большой (n>50), то нормальность распределения может быть подтверждена на основе расчета и анализа критериев Пирсона, Ястремского, Боярского, Колмогорова и т. д. если n<50, то закон распределения исходных данных определяется на базе построения и визуального анализа поля корреляции. При этом если в расположении точек имеет место линейная тенденция, то можно предположить, что совокупность исходных данных (Y, ) подчиняется нормальному распределению.
Целью регрессионного анализа является оценка функциональной зависимости условного среднего значения результативного признака (Y) от факторных ( ).
Основной предпосылкой регрессионного анализа является то, что только результативный признак (Y) подчиняется нормальному закону распределения, а факторные признаки   могут иметь произвольный закон распределения. В анализе динамических рядов в качестве факторного признака выступает время t. При этом в регрессионном анализе заранее подразумевается наличие причинно-следственных связей между результативным (Y) и факторными ( ) признаками.
Уравнение регрессии, или статистическая модель связи социально-экономических явлений, выражаемая функцией   является достаточно адекватным реальному моделируемому явлению или процессу в случае соблюдения следующих требований их построения:
1. Совокупность исследуемых исходных данных должна быть однородной и математически описываться непрерывными функциями.
2. Возможность описания моделируемого явления одним или несколькими уравнениями причинно-следственных связей.
3. Все факторные признаки должны иметь количественное выражение.
4. Наличие достаточно большого объема исследуемой выборочной совокупности.
5. Причинно-следственные связи между явлениями и процессами следует описывать линейной или приводимой к линейной формами зависимости.
6. Отсутствие количественных ограничений на параметры модели связи.
7. Постоянство территориальной и временной структуры изучаемой совокупности.
1.4.3 Технология решения оптимизационных задач
Управление любой системой реализуется как процесс, подчиняющийся определенным закономерностям. Их знание помогает определить условия, необходимые и достаточные для осуществления данного процесса. Для этого все параметры, характеризующие процесс и внешние условия, должны быть количественно определены, измерены.
Решение конкретной задачи управления предполагает:
1. Построение экономических и математических моделей для задач принятия решений в сложных ситуациях или в условиях неопределенности;
2. Изучение взаимосвязей, определяющих впоследствии принятие решений, и установление критериев эффективности, позволяющих оценивать преимущество того или иного варианта действия. [1, 5]
Во всех задачах управления есть общие черты: в каждом случае речь идет о каком-либо управляемом мероприятии (операции), преследующем определенную цель. В каждой задаче заданы некоторые условия проведения этого мероприятия, в рамках которого следует принять решение – такое, чтобы мероприятие принесло определенную выгоду. К числу таких условий могут быть отнесены финансовые средства, которыми предприятие располагает, время, оборудование, технологии и т.д.
Для применения количественных методов исследования требуется построить математическую модель операции. При построении модели операция, как правило, упрощается, схематизируется, и схема операции описывается с помощью того или иного математического аппарата. Модель операции – это достаточно точное описание операции с помощью математического аппарата (различного рода функций, уравнений, систем уравнений и неравенств и т.п.).
Эффективность операции – степень ее приспособленности к выполнению задачи – количественно выражается в виде критерия эффективности – целевой функции. Выбор критерия эффективности определяет практическую ценность исследования.
Технология построения моделей задач.
Все факторы, входящие в описание операции, можно разделить на две группы:
Постоянные факторы (условия проведения операции);
Зависимые факторы (элементы решения).
Критерий эффективности, выражаемый некоторой функцией, называемой целевой, зависит от факторов обеих групп.
Все математические модели могут быть классифицированы в зависимости от природы и свойств операции, характера решаемых задач, особенностей применяемых математических методов.
Следует отметить, прежде всего, большой класс оптимизационных моделей. Такие задачи возникают при попытке оптимизировать планирование и управление сложными системами, в первую очередь экономическими системами. Оптимизационную задачу можно сформулировать в следующем виде: найти переменные, удовлетворяющие заданной системе неравенств (уравнений) и обращающих в максимум (или минимум) целевую функцию.
В тех случаях, когда целевая функция хотя бы дважды дифференцируема, можно применять классические методы оптимизации. Однако применение этих методов весьма ограничено, так как задача определения условного экстремума функции n переменных технически весьма трудна: метод дает возможность определить локальный экстремум, а из-за многомерности функции определение ее максимального (или минимального) значения (глобального экстремума) может оказаться весьма трудоемким – тем более, что этот экстремум возможен на границе области решений. Классические методы вовсе не работают, если множество допустимых значений аргумента дискретно или целевая функция задана таблично. В этих случаях для решения задач управления применяются методы математического программирования.
Если критерий эффективности представляет линейную функцию, а функции в системе ограничений также линейны, то такая задача является задачей линейного программирования. Если, исходя из содержательного смысла, ее решения должны быть целыми числами, то эта задача целочисленного линейного программирования. Если критерий эффективности и (или) система ограничений задаются нелинейными функциями, то имеем задачу нелинейного программирования. В частности, если указанные функции обладают свойствами выпуклости, то полученная задача является задачей выпуклого программирования.
Если в задаче математического программирования имеется переменная времени и критерий эффективности выражается не в явном виде как функция переменных, а косвенно – через уравнения, описывающие протекание операций во времени, то такая задача является задачей динамического программирования.
Если целевая функция и (или) функции-ограничения зависят от параметров, то получаем задачу параметрического программирования, если эти функции носят случайный характер, - задачу стохастического программирования. Если точный оптимум найти алгоритмическим путем невозможно из-за чрезмерно большого числа вариантов решения, то прибегают к методам эвристического программирования, позволяющим существенно сократить просматриваемое число вариантов и найти если не оптимальное, то достаточно хорошее, удовлетворительное с точки зрения практики, решение.
Из перечисленных методов математического программирования наиболее распространенным и разработанным является линейное программирование. В его рамки укладывается широкий круг оптимизационных задач.
По своей содержательной постановке множество других, типичных задач может быть разбито на ряд классов.
Задачи сетевого планирования и управления рассматривают соотношения между сроками окончания крупного комплекса операций и моментами начала всех операций комплекса. Эти задачи состоят в нахождении минимальных продолжительностей комплекса операций, оптимального соотношения величин стоимости и сроков их выполнения.
Задачи массового обслуживания посвящены изучению и анализу систем обслуживания с очередями заявок или требований и состоят в определении показателей эффективности работы систем, их оптимальных характеристик, например, в определении числа каналов обслуживания, времени обслуживания и т.п.
Задачи управления запасами состоят в отыскании оптимальных значений уровня запасов (точки заказа) и размера заказа. Особенность таких задач заключается в том, что с увеличением уровня запасов, с одной стороны, увеличиваются затраты на хранение, но с другой стороны, уменьшаются потери вследствие возможного дефицита запасаемого продукта.
Задачи распределения ресурсов возникают при определенном наборе операций (работ), которые необходимо выполнять при ограниченных наличных ресурсах, и требуется найти оптимальные распределения ресурсов между операциями или состав операций.
Задачи ремонта и замены оборудования актуальны в связи с износом и старением оборудования и необходимостью его замены с течением времени. Задачи сводятся к определению оптимальных сроков, числа профилактических ремонтов и проверок, а также моментов замены оборудования модернизированным.
Задачи составления расписания (календарного планирования) состоят в определении оптимальной очередности выполнения операций (например, обработки деталей) на различных видах оборудования.
Задачи планировки и размещения состоят в определении оптимального числа и места размещения новых объектов с учетом их взаимодействия с существующими объектами и между собой.
Задачи выбора маршрута, или сетевые задачи, чаще всего встречаются при исследовании разнообразных задач на транспорте и в системе связи и состоят в определении наиболее экономичных маршрутов.
Среди оптимизационных моделей особо выделяют модели принятия оптимальных решений в конфликтных ситуациях, изучаемые теорией игр. К конфликтным ситуациям, в которых сталкиваются интересы двух (или более) сторон, преследующих разные цели, можно отнести ряд ситуаций в области экономики, права, военного дела и т.п. В задачах теории игр необходимо выработать рекомендации по разумному поведению участников конфликта, определить их оптимальные стратегии.
На практике в большинстве случаев успех операции оценивается не по одному, а сразу по нескольким критериям, один из которых следует максимизировать, а другие – минимизировать. Математический аппарат может принести пользу и в случаях многокритериальных оптимизационных задач, по крайней мере, помочь отбросить заведомо неудачные варианты решения.
Основные этапы работы с оптимизационными задачами:
1. Постановка задачи, т.е. ее содержательная формулировка с точки зрения и заказчика, и разработчика.
2. Построение математической модели, т.е. переход к формализованному представлению.
3. Нахождение решения или решений.
4. Проверка модели и полученного с ее помощью решения. Это – необходимый этап, так как модель лишь частично отображает действительность. Хорошая модель должна точно предсказывать влияние изменений в реальной системе на общую эффективность решений.
5. Построение процедуры подстройки модели, поскольку в модели могут изменяться какие-либо неуправляемые переменные.
6. Выбор вариантов, если есть несколько конкурирующих вариантов.
7. Осуществление решения.
Как правило, перечисленные этапы перекрываются, идут параллельно или несколько раз циклически повторяются. 
1.4.4 Технология анализа и прогнозирования на основе трендов
1.4.5 Технология экспертных систем
Экспертная система – это сложный программный комплекс, аккумулирующий знания специалистов в конкретной предметной области и тиражирующий этот эмпирический опыт для консультаций менее квалифицированных пользователей.
Условно процесс разработки экспертной системы можно разбить на 6 этапов:
1. Выбор подходящей проблемы. Включает деятельность, предшествующую решению задачи:
• Определение предметной области и задач
• Нахождение эксперта, желающего сотрудничать и назначение разработчиков
• Определение предварительного подхода к решению проблемы
• Анализ расходов и прибыли от разработки
• Разработка подробного плана.
Правильный выбор проблемы – основное на этом этапе, поскольку неподходящая проблема может привести к созданию системы, которая стоит намного дороже, чем она экономит.
Следует учитывать, что если знания, необходимые для решения задач постоянны, четко формулируемы и связаны с вычислительной обработкой, то самыми подходящими будут являться  традиционные алгоритмические языки.
Обычно экспертная система разрабатывается путем получения специфических знаний от эксперта и ввода их в систему. Поэтому здесь могут накладываться особенности отдельного индивида.
В процессе разработки и расширения системы эксперт и инженер по знаниям работают вместе, поскольку инженер структурирует знания, полученные от эксперта.
Предварительный подход программной реализации задачи определяется исходя их характеристики задачи и ресурсов для ее решения.
Расходы, связанные с разработкой экспертной системы: затраты на оплату труда, стоимость приобретенного программного инструментария.
Прибыль возможна за счет снижения цены продукции, производительности труда, расширения номенклатуры продукции или услуг.
Расходы и прибыль определяются относительно времени, в течение которого возвращаются средства, вложенные в разработку.
2. Прототипная система является усеченной версией экспертной системы, спроектированной для проверки правильности кодирования фактов, связей и стратегий рассуждений экспертов. Она дает возможность привлечь экспертов к участию в разработке экспертной системы и, следовательно, принятию им обязательств по созданию системы в полном объеме.
Объем прототипа – примерно несколько десятков правил, фреймов или примеров.
Можно выделить 6 стадий разработки прототипа и минимальный коллектив разработчиков на каждой стадии.
Идентификация проблемы – уточняется задача, планируется ход разработки прототипа, определяются необходимые ресурсы (время, люди, ЭВМ), источники знаний (книги и т.д.), имеющиеся аналогичные экспертные системы, цели, классы задач. Т.е. это стадия знакомства и обучения коллектива разработчиков и создание неформальной формулировки проблемы. Средняя продолжительность – 1-2 недели. Коллектив разработчиков – эксперт, инженер по знаниям, пользователь.
Получение знаний. Происходит перенос компетенции экспертов на инженеров по знаниям с использованием различных методик. Т.е. это получение инженером по знаниям наиболее полного представления о предметной области и способах принятия решения о них. Средняя продолжительность – 1-3 месяца. Коллектив разработчиков – эксперт, инженер по знаниям.
Структурирование (концептуализация) знаний. Выявляется структура полученных знаний, т.е. определяется терминология, список основных понятий и их атрибутов, отношения между понятиями, структура входной и выходной информации, стратегия принятия решения, ограничения стратегии. Т.е. это получение знания предметной области в виде графа, таблицы, диаграммы или текста, который отражает основные концепции и взаимосвязи между понятиями предметной области. Это называется полем знаний. Средняя продолжительность 2-4 недели. Коллектив разработчиков – инженер по знаниям.
Формализация. Здесь строится формализованное представление концепции предметной области на основе выбранного языка представления знаний. Традиционно используются логические методы, продукционные модели, семантические сети, фреймы, языки объектно-ориентированного программирования. Т.е. это разработка базы знаний на языке, который с одной стороны соответствует структуре поля знаний, а с другой позволяет реализовывать прототип системы на следующей стадии программной реализации. Средняя продолжительность – 1-2 месяца. Коллектив разработчиков – инженер по знаниям, программист.
Реализация. Создается прототип экспертной системы, включая базу знаний и другие блоки. Т.е. это разработка программного комплекса, демонстрирующего жизнеспособность подхода в целом. Средняя продолжительность – 1-2 месяца. Коллектив разработчиков – программист.
Тестирование. Оценивается и проверяется работа программного прототипа с целью приведения в соответствие с реальными запросами пользователей.
Прототип проверяется на удобство и адекватность интерфейсов ввода-вывода, на эффективность стратегии управления, на качество проверочных примеров и на корректность базы знаний.
Т.е. это выявление ошибок в подходе и реализации прототипа. И, кроме того, выработка рекомендаций по доводке системы до промышленного варианта. Средняя продолжительность – 1-2 недели. Коллектив разработчиков – эксперт, инженер по знаниям, пользователь, программист.
3. Развитие прототипа до промышленной экспертной системы.
При неудовлетворительном функционировании прототипа, эксперт и инженер по знаниям имеют возможность определить, что именно будет включаться в разработку окончательного варианта системы. Если первоначально выбранные объекты или свойства окажутся неподходящими, их необходимо изменить.
Можно сделать оценку общего числа эвристических правил, необходимых для создания окончательного варианта. Иногда выделяют дополнительные этапы для перехода к промышленному варианту. Это демонстрационный прототип (система решает часть задач, демонстрирую жизнеспособность подхода – несколько десятков правил или понятий); исследовательский прототип (система решает большинство задач, но неустойчива в работе и не полностью проверена – несколько сотен правил или понятий); действующий прототип (система надежно решает все задачи на демонстрационных примерах, но для сложной задачи требуется много времени и памяти).
Промышленная система обеспечивает высокое качество системы при минимизации времени и памяти, переписывается с использованием более эффективных средств представления знаний.
Если программный инструментарий выбран удачно, то необязательна перепись с другими программными средствами.
Кроме того, существуют коммерческие системы – это промышленная система, пригодная к продаже, т.е. хорошо документированная и снабженная сервисом.
Основное на этом этапе – это добавление большого числа дополнительных эвристик, т.е. увеличение глубины системы. В то же время эксперт и инженер по знаниям расширяют охват системы, включая правила, управляющие дополнительными подзадачами или дополнительными аспектами экспертной задачи.
После установления основной структуры системы инженер по знаниям приступает к разработке и адаптации интерфейсов для общения с пользователем и экспертом. Система должна обеспечивать пользователю возможность и удобства работы. Здесь могут оказаться полезными графические представления. Большинство экспертов на этом этапе достаточно узнают о вводе правил и могут сами заниматься вводом правил.
4. Оценка системы.
После завершения этапа разработки необходимо провести тестирование системы в отношении критериев ее эффективности. Оценка производится главным образом для того, чтобы проверить точность работы программы и ее полезность.
Оценку можно производить исходя из различных критериев, которые можно сгруппировать следующим образом:
• Критерий пользователя (понятность, удобство интерфейса и т.д.)
• Критерий приглашенных экспертов
• Критерий коллектива разработчиков (эффективность реализации, дизайн, время отклика)
5. Стыковка системы.
На этом этапе осуществляется стыковка системы с другими программными средствами в той среде, в которой будет система функционировать. Иногда это означает внесение существенных изменений. Это может потребовать вмешательство инженера по знаниям или какого-либо другого специалиста, который может модифицировать систему.
Подразумевается также разработка связей между системой и средой, в которой она действует. Когда система уже готова, инженер по знаниям должен убедиться в том, сто эксперты, пользователи и персонал знают как ею пользоваться и обслуживать. Для подтверждения полноценности системы важно предоставить возможность поставить перед системой реальные задачи и проследить, как она их выполняет.
Стыковка включает обеспечение связей системы с существующими базами данных и улучшение системных факторов, действующих во времени, чтобы можно было обеспечить ее эффективную работу.  И если система работает в необычной среде, улучшить характеристики ее технических средств.
6. Поддержка системы.
При перекодировании системы на язык, подобный C, повышается ее быстродействие и увеличивается ее переносимость, но уменьшается гибкость. Это приемлемо только в том случае, если система сохраняет все знания предметной области, и знания не будут изменяться в ближайшем будущем.
Однако, если система создана именно из-за того, проблемная область изменяется, то необходимо поддерживать систему в инструментальной среде разработки.
Характеристика и назначение
Наибольший прогресс среди компьютерных информационных систем отмечен в области разработки экспертных систем, основанных на использовании искусственного ин¬теллекта. Экспертные системы дают возможность менеджеру или специалисту получать консультации экспертов по любым проблемам, о которых этими системами накоплены знания.
Под искусственным интеллектом обычно понимают способности ком¬пьютерных систем к таким действиям, которые назывались бы интеллектуальными, если бы исходили от человека. Чаще всего здесь имеются в виду способности, связанные с челове¬ческим мышлением. Работы в области искусственного интеллекта не ограничиваются экс¬пертными системами. Они также включают в себя создание роботов, систем, моделирующих нервную систему человека, его слух, зрение, обоняние, способность к обу¬чению.
Сходство информационных технологий, используемых в экспертных системах и сис¬темах поддержки принятия решений, состоит в том, что обе они обеспечивают высокий уровень поддержки принятия решений. Однако имеются три существенных различия. Пер¬вое связано с тем, что решение проблемы в рамках систем поддержки принятия решений отражает уровень ее понимания пользователем и его возможности получить и осмыслить решение. Технология экспертных систем, наоборот, предлагает пользователю принять ре¬шение, превосходящее его возможности. Второе отличие указанных технологий выражается в способности экспертных систем пояснять свои рассуждения в процессе получения реше¬ния. Очень часто эти пояснения оказываются более важными для пользователя, чем само решение. Третье отличие связано с использованием нового компонента информационной технологии — знаний.
Основные компоненты
Основными компонентами информационной технологии, используемой в экспертной систе¬ме, являются: интерфейс пользователя, база знаний, интерпретатор, модуль со¬здания системы.
ИНТЕРФЕЙС ПОЛЬЗОВАТЕЛЯ. Менеджер (специалист) использует интерфейс для ввода информации и команд в экспертную систему и получения выходной информации из нее. Команды включают в себя параметры, направляющие процесс обработки знаний. Информа¬ция обычно выдается в форме значений, присваиваемых определенным переменным.
БАЗА ЗНАНИЙ. Она содержит факты, описывающие проблемную область, а также логи¬ческую взаимосвязь этих фактов. Центральное место в базе знаний принадлежит правилам. Правило определяет, что следует делать в данной конкретной ситуации, и состоит из двух частей: условия, которое может выполняться или нет, и действия, которое следует про¬извести, если условие выполняется.
ИНТЕРПРЕТАТОР. Это часть экспертной системы, производящая в определенном поряд¬ке обработку знаний (мышление), находящихся в базе знаний. Технология работы интер¬претатора сводится к последовательному рассмотрению совокупности правил (правило за правилом). Если условие, содержащееся в правиле, соблюдается, выполняется определен¬ное действие, и пользователю предоставляется вариант решения его проблемы.
Кроме того, во многих экспертных системах вводятся дополнительные блоки: база данных, блок расчета, блок ввода и корректировки данных. Блок расчета необходим в си¬туациях, связанных с принятием управленческих решений. При этом важную роль играет база данных, где содержатся плановые, физические, расчетные, отчетные и другие постоян¬ные или оперативные показатели. Блок ввода и корректировки данных используется для оперативного и своевременного отражения текущих изменений в базе данных.
МОДУЛЬ СОЗДАНИЯ СИСТЕМЫ. Он служит для создания набора (иерархии) правил. Су¬ществуют два подхода, которые могут быть положены в основу модуля создания системы: использование алгоритмических языков программирования и использование оболочек экс¬пертных систем.
ОБОЛОЧКА ЭКСПЕРТНЫХ СИСТЕМ представляет собой готовую программную среду, которая может быть приспособлена к решению определенной проблемы путем созда¬ния соответствующей базы знаний. В большинстве случаев использование оболочек позво¬ляет создавать экспертные системы быстрее и легче в сравнении с программированием.