Новости
12.04.2024
Поздравляем с Днём космонавтики!
08.03.2024
Поздравляем с Международным Женским Днем!
23.02.2024
Поздравляем с Днем Защитника Отечества!
Оплата онлайн
При оплате онлайн будет
удержана комиссия 3,5-5,5%








Способ оплаты:

С банковской карты (3,5%)
Сбербанк онлайн (3,5%)
Со счета в Яндекс.Деньгах (5,5%)
Наличными через терминал (3,5%)

МЕТОДЫ ОЦЕНКИ КАЧЕСТВА ИНФОРМАЦИОННО-ПРОГРАММНЫХ СРЕДСТВ

Авторы:
Город:
Москва
ВУЗ:
Дата:
26 февраля 2016г.

Конкурентоспособность продукции на международном и российском рынке обеспечивается комплексом мероприятий по повышению уверенности заказчиков и потенциальных потребителей в ее безопасности и приемлемом уровне качества. Обеспечение качества можно рассматривать как взаимосвязанный процесс разработки требований, контроля и действий по поддержанию уровня соответствия продукции установленным требованиям.

Соблюдение гарантий качества информационно-программных средств имеет ряд особенностей. Эти особенности обусловлены их сложностью и наукоемкостью, спецификой разработки и эксплуатации, свойствами и характеристиками качества, методами оценки соответствия требованиям.

Информационно-программные средства – это достаточно широкий спектр номенклатуры продукции, имеющей в своей основе информационное наполнение и программную составляющую, которые позволяют выполнять определенные функции или комплекс функций по реализации и сопровождению прикладных специфических процессов в различных сферах экономики (техносфера, банковский сектор, энергетика, медицина, образование и др.). К информационно-программным средствам могут быть отнесены: корпоративные информационные и управляющие среды и системы; базы данных; сетевые информационные ресурсы (Web-сайты и информационные порталы, средства электронной коммерции, системы электронного взаимодействия; электронные библиотечные системы и др.); встроенные программные средства систем, в том числе реального времени, и другая программная продукция.

О качестве информационно-программных средств необходимо задумываться на самых ранних стадиях их жизненного цикла, начиная с анализа и разработки требований, создания детального проекта. Необходимо осуществлять контроль и корректирующие действия на последующих стадиях их жизненного цикла, в том числе, при кодировании и тестировании, интеграции, квалификационных испытаниях, поставке заказчику или коммерческой реализации, в процессе функционирования. Качество информационно-программных средств существенным образом зависит уровня и полноты разработанных требований.

Требования к программной реализации информационно-программных средств необходимо разрабатывать на основе различных нормативно-технических документов, международных и национальных стандартов, стандартов организаций, сводов правил, документов содержащих требования к программной продукции (например, технических заданий при заключении договоров разработчика и заказчика программного продукта, документов систем сертификации и др.). На основе этих документов может быть сформирован стандартизованный профиль требований к создаваемому программному продукту. Потребности заказчика или потенциальных пользователей, характеристики аналогов определяют специфические требования к программному продукту. Предварительная оценка соответствия требований потребителей, а также их перевод в конкретные технические характеристики программной продукции может быть обеспечен технологией развертывания функций качества (Quality Function Deployment, QFD) [3].

В отличие от общих требований, требования к качеству программного продукта можно определить как взаимосвязанный набор требований, позволяющий определить его качество или его уровень качества в соответствии со стандартизованными моделями качества (ISO/IEC 25010:2011; ISO/IEC 9126-2,3,4-2003-2004).

Требования предложено разрабатывать в терминах характеристик качества (в рамках структур моделей требований к качеству система/программный продукт [6]), что позволяет обеспечить исчерпывающую классификацию и распределение требований в рамках соответствующих характеристик моделей качества. Применение этого условия позволит существенно снизить фактор недостаточности или избыточности требований, предъявляемых к программному продукту, а также обеспечить их локализацию относительно требований к характеристикам качества, что необходимо для последующей промежуточной и окончательной оценки соответствия этим требованиям на этапах верификации, валидации и функционирования в жизненном цикле программной продукции.

Разработка нормативно-технических требований к информационно-программным средствам является необходимой, но достаточно сложной и трудоемкой задачей. В Российской Федерации такие требования разрабатываются в рамках деятельности технических комитетов по стандартизации. Например, в системе образования такая работа ведется Техническим комитетом по стандартизации № 461 «Информационно- коммуникационные технологии в образовании (ИКТО)» [4].

Информационно-программные средства, кроме программной составляющей, содержат информационные ресурсы, поэтому при их разработке необходимо учитывать требования не только к программной реализации, но и к их информационному содержанию (контенту). К таким требованиям, например, может быть отнесено: соответствие предметного  содержания конкретной области знаний, а также законодательству и стандартам; выполнение организационных и методических особенностей формирования информационного наполнения информационно-программных средств и др. Например, для электронных ресурсов в сфере образования необходимо применение психолого-педагогической стратегии и дидактических приемов [8].

На основе разработанного профиля требований, для последующего количественного оценивания программной реализации информационно-программных средств следует разрабатывать специальные формализованные модели требований и оценки [6], основанные на стандартизованной модели качества (ISO/IEC 25010:2011). Например, модели требований к безопасности и качеству, внутреннему, внешнему качеству, качеству в использовании, модели, построенные по принципу от атрибутов качества или от элементов программного продукта. Структура модели требований может претерпевать изменения в сторону уменьшения или увеличения компонент относительно стандартизованной модели качества в соответствии со спецификой разрабатываемого программного продукта [6]. Модели требований и оценки качества должны служить основой для последующего контроля информационно-программных средств.

В целях обеспечения качества должна осуществляться регулярная, поэтапная оценка степени соответствия характеристик разрабатываемых программных решений требованиям (верификация, валидация и оценка при функционировании) на основе непрерывного сбора данных, в целях своевременного принятия корректирующих и предупреждающих действий, направленных на снижение ресурсных рисков (временных и денежных), на достижение запланированной результативности и удовлетворенности потребителей.

Поскольку верификация и валидация – процессы, определенные рамками процессов реализации жизненного цикла программных средств (ГОСТ Р ИСО/МЭК 12207-2010), то качество информационно- программных средств обеспечивается этими процессами только до их поставки потребителям. В целях повышения конкурентоспособности информационно-программных средств после поставки, а также подобных проектов ее создания в будущем, необходимо оценивать их качество в процессе функционирования.

В целях оперативного реагирования на изменяющееся качество в жизненном цикле информационно- программных разработок предложено оценку их качества осуществлять поэтапно в запланированных контрольных точках верификации, валидации и функционирования. А сбор данных для оценки качества информационно-программных средств осуществлять непрерывно в процессе их статического и динамического тестирования, мониторинга потребителей при их использовании и социологических исследований их применения.

К методам статического тестирования (статической экспертной оценки) может быть отнесена инспекционная проверка, формальный и неформальный обзор [1], а динамического тестирования – формальное и неформальное тестирование,  a, b-тестирование, функциональное, исследовательское, мутационное, регрессионное, системное, инкрементное интеграционное тестирование, тестирование под нагрузкой, тестирование методом белого и черного ящика и др. [1, 2]. При мониторинге потребителей и социологических исследованиях могут использоваться, например: наблюдение за пользователями при работе с информационной системой, оценки квалифицированных экспертов и анкетный опрос потребителей.

Процессы верификации, валидации и оценка при функционировании должны быть адаптированы к стандартизованным категориям качества, которые определены в международном стандарте ISO/IEC 25010:2011.

Для получения обобщенных (комплексных) значений показателей качества информационно-программных средств может быть взят за основу комплексный метод квалиметрии [9]. Комплексные значения показателей качества (комплексные оценки характеристик и подхарактеристик качества) можно определить на основе известных значений метрических показателей качества (оценок атрибутов, представляющих последний уровень декомпозиции свойств в модели оценки качества) с использованием соответствующих весовых коэффициентов. Весовые коэффициенты могут быть определены при разработке моделей требований и оценки качества информационно-программных средств на основе известных методов экспертной оценки. В зависимости от жесткости требований и степени разброса значений весовых коэффициентов комплексные показатели качества предлагается определять средневзвешенным арифметическим, геометрическим или гармоническим способом [9].

Степень соответствия требованиям может быть полной, и тогда мы можем говорить о высоком уровне качества информационно-программных средств. Однако в большинстве случаев степень соответствия требованиям может быть не полной, что предполагает введение в модель требований некоторых нормативных значений показателей качества, представляющих собой допустимые уровни соответствия подхарактеристикам, характеристикам и программного продукта в целом. Сравнение вычисленных показателей качества с установленными допустимыми уровнями соответствия в модели требований позволяют определить приемлемый уровень соответствия исследуемого информационно-программного средства. В нормативных документах могут устанавливаться нормативные уровни качества, отражающие степень достижения требований. Сравнение вычисленных показателей качества с установленными нормативными уровнями качества, позволяет определить приемлемый уровень качества. В связи с изложенным, качество информационно-программных средств будет определяться как степень соответствия этим требованиям (ГОСТ ISO 9000-2011), а уровень качества как проекция степени соответствия требованиям на установленную шкалу уровней качества.

Для оценки качества на промежуточных этапах необходимо в соответствующих точках жизненного цикла установить планируемые нормативные значения уровня качества информационно-программного средства и определить объем собираемых данных, достаточный для оценки уровня качества на соответствующих этапах верификации, валидации и функционирования. Планируемые промежуточные нормативные значения можно установить экспертным путем или попытаться спрогнозировать качество на различных этапах создания программного продукта с учетом выполнения подобных проектов в прошлом, в том числе другими организациями и специалистами. Классическое прогнозирование качества на основе многофакторного регрессионного анализа предполагает существенные трудности, связанные  со сбором необходимых статистических данных и определением функциональных факторных зависимостей. Авторами предложен метод прогнозирования качества на основе соотношений трудоемкостей работ, направленных на достижение качества и общего объема работ по созданию информационно-программных средств. Метод предусматривает в качестве исходных данных использование результатов исследований и опыта ведущих специалистов в области разработки программного обеспечения [1].

Достижение на промежуточных стадиях соответствующих категорий качеств может рассматриваться как сигнал прекращения процессов нижнего уровня верификации, валидации и оценки при функционировании, т.е. статического, динамического тестирования, мониторинга потребителей и социологических исследований для соответствующих точек оценки промежуточного качества. Сэкономленные ресурсы могут быть задействованы для достижения запланированного качества на следующих этапах оценки качества программного продукта.

Оценка качества информационно-программных средств перед поставкой и в начале функционирования может обеспечиваться в процессе сертификации, когда контроль соответствия программной продукции требованиям нормативных документов осуществляется специально аккредитованными органами по сертификации и компетентными испытательными лабораториями. Оценка качества в процессе сертификации средств информационно-программных средств обеспечиваться на основе методических принципов построения оригинальных моделей оценки [5, 7], тестирования и оценки соответствия, разработанных с учетом метода анализа иерархий и комплексного метода квалиметрии, а также на основе функциональных моделей создания типовых нормативно-методических документов, представляющих собой взаимосвязанные процессы разработки моделей оценки, методик и протоколов испытаний, методик оценки соответствия, а также необходимых форм регистрации результатов и отчетности [7].

 

Список литературы

1.      Дональд Ф. Шафер, Роберт Т. Фастрелл, Линда И. Шафер. Управление программными проектами: достижение оптимального качества при минимуме затрат [Текст]: пер. с англ. – М.: Издательский дом «Вильямс», 2003. – 1136 с.: ил.

2.      Липаев В.В. Тестирование компонентов и комплексов программ. Учебник. – М.: СИНТЕГ, 2010. – 400 с.

3.      Мазур И.И., Шапиро В.Д.. Управление качеством: учеб. пособие для студентов вузов, обучающихся по специальности управление качеством. – 8-е изд., стер. – М.: Издательство «Омега-Л», 2011. – 400 с.: ил., табл. – (Высшая школа менеджмента).

4.      Позднеев Б.М. Разработка национальных и международных стандартов в области электронного обучения // Информатизация образования и науки. 2009. № 2. - С. 3-11.

5.      Поляков С.Д. Методические принципы разработки моделей оценки соответствия для сертификации программной продукции / Научно-практический журнал «Методы оценки соответствия» №5. – М: ООО РИА «Стандарты и качество», 2008 г. С. 33 – 37.

6.      Поляков С.Д. Применение стандартизованных моделей качества при разработке требований к компьютерным системам / теоретический и прикладной научно-технический журнал «Информационные технологии», № 6, – М.: Издательство «Новые технологии», 2013. –С. 22-26

7.      Поляков С.Д. Сертификация программной продукции. Методология оценки соответствия — М.: МГТУ «Станкин», 2011. — 295 с.

8.      Соловов А.В. Электронное обучение: проблематика, дидактика, технология. – Самара: «Новая техника», 2006. – 464 с.: ил.

9.      Федюкин В.К. Квалиметрия. Измерение качества промышленной продукции: Учебное пособие  — М.: КНОРУС, 2010. — 320 с.