Формирующее оценивание обычно выполняется итеративно на протяжении всех процессов проектирования и разработки изделия, с целью обеспечения руководства разработкой пользовательского интерфейса. Этот шаг используется для выявления ошибок использования изделия, которые могут привести к неприемлемому риску. Итеративное тестирование должно проводиться по всем аспектам проекта.
Эти исследования следует проводить на участниках, которые имеют соответствующие характеристики предполагаемых пользователей. Обоснование количества пользователей, участвующих в тестировании, должно быть задокументировано, обоснование должно учитывать разнообразие пользователей и количество поддерживаемых задач. Ошибки использования, выявленные в исследованиях, должны быть проверены и добавлены к оценке риска использования на предмет их серьезности, а также потенциального причинения вреда и определения их приемлемости.
Проверка инструкций по применению и сопроводительной документации/информации инструкции и сопроводительная документация являются важной частью пользовательского интерфейса, поскольку они сообщают важную информацию о безопасности и о том, как использовать изделие по назначению. Содержание и формат руководства должны быть согласованы с предполагаемыми пользователями. Формат тестирования будет включать в себя обеспечение того, чтобы пользователи могли следовать соответствующим инструкциям для правильного применения продукта и понимания информации, предоставленной для их безопасности. Исследование должно проводиться в том же формате, что и итоговый тест, и на материалах, репрезентативных для окончательного текста и макета.
Исследования и улучшения разработки следует проводить до тех пор, пока не будет уверенности в том, что дизайн безопасен и эффективен (что неприемлемый риск был снижен), чтобы перейти к итоговой оценке. Эффективная оценка приведет к хорошей эффективности в последующем пользовательском итоговом тестировании, сводя к минимуму проблемы проектирования на поздних стадиях разработки.
5.5.5.2 Итоговое оценивание
После завершения разработки и минимизации рисков, выявленных в ходе итеративного тестирования, следует приступить к итоговому исследованию. Это проверка проекта для тех задач, с выявленной потенциальной ошибкой использования, которая может повлиять на безопасность и эффективность изделия и иметь связанный с ним контроль рисков пользовательского интерфейса, включая информацию об изделии для обеспечения безопасности. Это тестирование должно проводиться на образце запускаемого изделия.
Исследование должно:
– Включать представителей всех выявленных групп пользователей (согласно Faulkner 20036
, 15 участников из каждой группы идентифицируют в среднем 97 % всех ошибок использования).– Включать все задачи / характеристики с выявленной потенциальной ошибкой использования, которая может повлиять на безопасность и эффективность изделия.
– Включать задачи, необходимые для работы изделия.
– Выполняться в реалистичной смоделированной среде или в условиях реальной среды, если моделирование не может обеспечить реалистичную среду, на готовом изделии (или изделии, репрезентативном для готового изделия).
– Не включать подсказки или просьбы просмотреть руководство во время исследования.
– Способствовать оценке выполнения задач и сбору субъективных данных о безопасности и простоте использования изделия.
При разработке и тестировании следует учитывать навыки и знания пользователей, включая характер и содержание требуемой подготовки; когда и как будет проводиться это обучение и являются ли предположения, сделанные в отношении проведения обучения, разумными и эффективными. Например, медсестры, работающие в незнакомой обстановке, могут быть экспертами в определенной диагностике или терапии, но иметь ограниченный доступ к обучению работе с незнакомым изделием. Необходимо четко сформулировать и обосновать свои ожидания / требования к обучению, в том числе продемонстрировать, что требования являются разумными для предполагаемых условий использования.
После итогового оценивания все выявленные ошибки использования должны быть рассмотрены на предмет первопричины и оценены на предмет остаточного риска. Также следует учитывать закрытые вызовы, трудности, связанные с использованием, и субъективные отзывы. Ошибки использования, возникающие в задачах, которые были определены как критические (связанные с безопасностью), должны быть тщательно рассмотрены на предмет их приемлемости. Эти ошибки использования, приводящие к неприемлемому риску, потребуют дальнейших действий по управлению рисками использования изделия и дальнейшего тестирования. удобства его использования, чтобы подтвердить, что проблемы устранены.
Любые новые обнаруженные ошибки должны быть добавлены к оценке риска использования изделия, а ошибка использования и остаточный риск оцениваются на предмет приемлемости.
5.5.6 Сводный отчет о человеческом факторе