24 декабря 2016г.
В ходе наших исследований нами была определена информационная модель экспертной системы расчета объемов первичной медико-санитарной помощи, создана база знаний данной экспертной системы, включая все необходимые решающие правила, наполнена база данных этой системы, а также реализован исследовательский прототип системы [1] и проведена его опытная эксплуатация в Тверской области на базе Медицинского Информационно-Аналитического центра (МИАЦа).
Основываясь на результатах исследований Берсеневой Е.А. [2,3,4], нами было решено использовать сокращенную анкету для оценки удовлетворенности системой (рис. 1), т.к. она позволяет сделать полноценные выводы об эффективности использования системы, при этом не загружая пользователей. А в нашем случае в качестве анкетированных пользователей выступили руководящие сотрудники МИАЦ Тверской области и Минздрава Тверской области, поэтому фактор экономии времени имел существенное значение.
С помощью данной анкеты нами были анонимно проанкетированы 17 сотрудников.
Первое, что необходимо заметить, ни один из респондентов не заполнил произвольно формируемые поля: перечень наиболее негативных моментов и перечень наиболее позитивных моментов, что подтверждает правильность нашего исходного предположения о выборе сокращенной анкеты и крайне важном для данных сотрудников факторе времени.
Экспресс-вопросник по оценке информационной системы
Необходимо заполнить все позиции в таблице ответами. Цифрами обозначается градация от «абсолютно несогласен» - 1 до «абсолютно согласен»- 7. Если Вы затрудняетесь ответить – сделайте отметку в столбце
«затрудняюсь ответить».
Отделение: ФИО (при желании):
Должность: Дата:
|
№
|
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
Затрудняюсь ответить
|
|
1
|
В системе обеспечивается легкий поиск
необходимой информации, также как легкость понимания предоставляемой информации
|
|
|
|
|
|
|
|
|
|
2
|
Система помогает быстрее и
эффективнее выполнять мою профессиональную деятельность
|
|
|
|
|
|
|
|
|
|
3
|
Сообщения об ошибках, выдаваемые
системой, легко понимаются и ошибки исправляются легко и быстро
|
|
|
|
|
|
|
|
|
Перечень наиболее негативных моментов:
Перечень наиболее позитивных моментов:
Рис. 1. Предлагаемый экспресс-вопросник по оценке информационной системы.
Для оценки результатов сначала была проведена описательная статистика. Результаты приведены в таблице 1.
Таблица 1.
|
|
N
|
m
|
95% -
доверительный интервал
|
Min
|
Max
|
s
|
|
Критерий 1
|
17
|
6,06
|
5,67 - 6,44
|
5
|
7
|
0,75
|
|
Критерий 2
|
17
|
6,76
|
6,54 - 6,99
|
6
|
7
|
0,44
|
|
Критерий 3
|
17
|
6,88
|
6,71 - 7,05
|
6
|
7
|
0,33
|
Как видно из табл. 2. по каждому из критериев анкетируемыми выставлены достаточно высокие оценки. При этом наиболее низкое среднее значение - 6,06 наблюдается для критерия 1 - "В системе обеспечивается легкий поиск необходимой информации, также как легкость понимания предоставляемой информации". При этом для критерия 2 - " Система помогает быстрее и эффективнее выполнять мою профессиональную деятельность" и для критерия 3 - "Сообщения об ошибках, выдаваемые системой, легко понимаются и ошибки исправляются легко и быстро".
Для оценки различия в оценках различных критериев нами вначале был проведен однофакторный дисперсионный анализ. Результаты его представлены в таблице 2.
Таблица 2.
|
|
SS
|
Degr. of Freedom
|
MS
|
F
|
p
|
|
Intercept
|
2200,490
|
1
|
2200,490
|
7673,504
|
0,000000
|
|
Критерий
|
6,745
|
2
|
3,373
|
11,761
|
0,000070
|
|
Error
|
13,765
|
48
|
0,287
|
|
|
Как видно из таблицы 2 дисперсионный анализ выявил значимые различия. Для того, чтобы определить между какими критериями имеются различия нами был далее проведен сравнительный анализ с использованием t-критерия Стьюдента, с учетом поправки Бонферрони. Результаты этого сравнительного анализа приведены в таблице 3.
Таблица 3.
|
Сравниваемые
группы
|
M1
|
M2
|
t-value
|
df
|
p
|
N1
|
N2
|
s1
|
s2
|
|
Критерий 1 и 2
|
6,058824
|
6,764706
|
-3,36067
|
32
|
0,002025
|
17
|
17
|
0,747545
|
0,437237
|
|
Критерий 1 и 3
|
6,058824
|
6,882353
|
-4,15100
|
32
|
0,000229
|
17
|
17
|
0,747545
|
0,332106
|
|
Критерий 2 и 3
|
6,764706
|
6,882353
|
-0,883452
|
32
|
0,383581
|
17
|
17
|
0,437237
|
0,332106
|
Как видно из таблицы 3 между оценками критерия 1 и критерия 2 наблюдаются высокозначимые достоверные различия (p<0,01), также как и между оценками критерия 1 и 3 (p<0,01): оценки критерия 1 респондентами достоверно ниже оценок по второму и третьему критериям. А вот между оценками критериев 2 и 3 не наблюдается достоверных различий (p>0,05).
Выявленные различия между оценками первого и других критериев связаны с тем, что система новая, а при освоении новой системы в начале всегда возникает недопонимание у пользователей, кроме того, оценивался исследовательский прототип с еще не конечным вариантом интерфейсов, дизайн которых еще специальным образом не отрабатывался. На стадии промышленного прототипа ожидаются более высокие оценки по критерию 1. Вместе с тем необходимо отметить, что по всем критериям, включая первый наблюдаются достаточно высокие оценки по результатам анкетирования, что подтверждает гипотезу об эффективности использования созданной системы.
Список литературы
1. Берсенева Е.А., Лалабекова М.В., Черкасов С.Н., Мешков Д.О. Актуальные вопросы создания автоматизированной системы расчета объемов первичной медико-санитарной помощи в Тверской области. // Вестник современной клинической медицины. – 2016. – Том 9. – Выпуск 4. – С. 15-20.
2. Берсенева Е.А. Берсенева Е.А. Методология создания и внедрения комплексных автоматизированных информационных систем в здравоохранении. – М.: РИО ЦНИИОИЗ, 2005. – 352 с.
3. Берсенева Е.А., Седов А.А., Голухов Г.Н. Актуальные вопросы создания автоматизированной системы лексического контроля медицинских документов. // Врач и информационные технологии. – 2014. - № 1. – С. 11-17.
4. Удовиченко О.В., Берсенева Е.А. Эффективность амбулаторного лечения синдрома диабетической стопы в повседневной практике кабинета "Диабетическая стопа": когортное исследование. // Сахарный диабет. - 2014. - № 3. - С. 107-112.
