Критерии оценки ЭС
Надежность процессов рассуждений ЭС является определяющим фактором для оценки самой ЭС. Трудность выбора показателей оценки БЗ и ЭС связана с множеством критериев, которые необходимо рассмотреть при решении этой проблемы. ЭС должна гарантировать точность своих ответов в режиме консультации, т.е. нужно рассмотреть критерий работоспособности ЭС с точки зрения истинности вырабатываемых ей утверждений. Очень важным является момент сопоставления соответствия прикладных знаний, заложенных в БЗ, и экспертных знаний, а также оценка эквивалентности механизма рассуждений человека-эксперта и ЭС. Следующий немаловажный критерий оценки ЭС связан с организацией диалога, т.е. должны быть проанализированы проблемы организации интеллектуального интерфейса, механизма объяснений, сервисные функции ЭС, позволяющие оказывать необходимую помощь пользователю в сложных ситуациях.
Критерий продуктивности ЭС позволяет оценить производительность системы, т.е. необходимо проанализировать технические аспекты работы системы: производительность центрального процессора, время поиска решения (скорость работы ЭС), организацию поиска информации на диске и т.д. Фактически ставится задача определения коэффициента использования машинных ресурсов, что существенно влияет на соотношение стоимость – эффективность. Необходимо отметить, что выбор аппаратных средств оказывает основное влияние на продуктивность ЭС.
Критерий стоимость – эффективность позволяет оценить эффект использования ЭС по сравнению с другими средствами, применяемыми для решения тех же задач.
Решая вопрос, какие характеристики ЭС надо оценивать, необходимо рассматривать следующие аспекты: функциональное назначение; стоимость; время, в течение которого система данного размера и сложности может быть реализована; продуктивность системы (скорость работы и т.п.); качество решений и рекомендаций, вырабатываемых системой (достоверность, значимость получаемых результатов); правильность используемых стратегий поиска решений; качество человеко-машинного взаимодействия по его содержанию, интеллектуальности диалога, техническим решениям; сложность освоения; функциональную полноту; возможные ограничения (например, на размер базы знаний).
Функциональная полнота системы должна быть рассмотрена и оценена на всех этапах разработки ЭС.
Необходимо оценить наличие в системе таких элементов, как механизм объяснения, механизм обучения, механизм исправления ошибок, справочный словарь (для слов, используемых в вопросах и ответах, генерируемых системой), управление выводом (организация метауровня знаний), контроль на непротиворечивость и полноту БЗ, возможность трассировки, развитый пользовательский и программный интерфейс.
Требования, предъявляемые со стороны пользователя, являются определяющими при формировании показателей, позволяющих оценить эффективность ЭС и в частности БЗ, используемые методы поиска и вывода, а также удобства работы с системой.
