Также с самого начала пользователи ПАУ постоянно жалуются на то что документы постоянно приходится дорабатывать “напильником”. Несколько раз происходили даже довольно нервные разборки в социальных сетях на эту тему. В 2016 году известный АУ Пустошилов написал даже в facebook-e пост с заголовком “ПАУ - профессиональная подстава” (см https://www.facebook.com/groups/bankrot ... 402506606/ ).
Все эти разборки не проходят бесследно для нас, мы делаем выводы и постоянно перестраиваем свою работу так, что бы в бОльшей мере соответствовать ожиданиям АУ от использования автоматизации.
Однако мы сразу понимали, что “идеальных” документов мы не сможем сделать никогда. Идеальные документы - оттачиваются практикой, на чьих то ошибках. Ответственным за ошибки в документах всё равно будет АУ. Мы в любом случае не сможем исправлять документы под все изменения практики быстрее чем с ними будут сталкиваться АУ, а значит АУ всё равно придётся проверять то, что мы готовим.
Мы не озадачились резко бесперспективной идеей доведения шаблонов до идеала их анализом (хотя работа в этом направлении и не останавливалась). Мы решили что главное что нужно сделать - максимально сократить затраты АУ до того как он увидит документ который ему предложит ПАУ. Для того чтобы максимально сохранить “ману концентрации” АУ. Чтобы 90% своего внимания АУ смог потратить на те вещи за которые он и отвечает, а не на нажимания кнопок, заполнения справочников и воспоминания куда и как в программе нужно ввести правильные данные. Мы систематически занимались ускорением работы АУ в ПАУ и добились в этом направлении на данный момент довольно существенных результатов. В ходе работы по сквозному тестированию мы также старались оценивать качество изготавливаемых документов. Но очевидно, что у тестеров нет того внимания и ответственности и данный инструмент повышения качества далёк от идеала.
Поэтому, мы запустили программу
Контроль и маркировка уровня качества шаблонов ПАУ
программа контроля и маркировки уровня качества шаблонов ПАУ заключается в следующем:
- мы собираем статистику использования документов, приготовленных ПАУ - сколько раз пользователи используют их “как есть”, без модификации, а сколько раз - всё таки “дорабатывают их напильником”
- на основе собранной и обработанной статистики использования документов мы планируем показывать понятный пользователю “визуальный маркер” качества документа. если документ уже много месяцев много раз печатается нашими пользователями без изменений, то мы вправе показать для него знак высокого качества. А если статистика показывает, что документ часто меняют по сравнению с тем что предлагает ПАУ или мы недавно изменили его шаблон и не успели собрать достаточно “обратной связи” для него, мы вправе показать маркер “внимание, проверяйте тщательнее” или что то в этом духе
- помимо сбора статистики использования шаблонов мы собираем и сделанные пользователями изменения (конечно с информированного согласия пользователей) для того чтобы максимально быстро реагировать на новые потребности.
На данный момент мы собирали статистику редактирования/печати документов несколько месяцев и результаты показали нам, что пользователи открывают документы в редакторе перед тем как печатать их в половине случаев, а иногда и более.
Мы предполагаем, что существенная часть АУ попросту не проверяет документы, которые генерирует ПАУ. Тем ценнее для нас собирать труд ответственных АУ, тщательно вычитывающих автоматически генерируемые тексты.
Продолжить сбор статистики и показывать “маркер качества” мы планируем с версии 3.13 которая выйдет в сентябре 2019. “Маркер качества” шаблона будет выглядеть примерно следующим образом:
Также за два летних месяца мы получили 17 пакетов изменений в запросах в контролирующие органы для анализа (2 для КП и 15 для Н). Запрос на передачу на сервер РИТ изменений в документах выглядит примерно следующим образом:
Анализ изменений, которые пользователи вносят в документы перед тем как отправлять их почтой дает нам следующую картину:
Очень радует, что юридически значимых исправлений практически нет, что говорит о хорошей юридической зрелости наших шаблонов.
Также видно, что до сих пор чувствительная часть данных подставляется неправильно (не определяется, либо поставляется неактуальный контролирующий орган либо его адрес, а иногда пользователи меняют дату, начиная с которой необходимо собирать сведения).
По всем выявленным причинам недовольства предлагаемыми ПАУ документами мы составили план их устранения.
Для сравнения, оценки качества шаблонов, выставляемые нашими тестерами в ходе сквозного тестирования следующие:
Легко видеть что специально выделенный тестер не способен умозрительно объективно оценить качество шаблонов.
Мы полны решимости использовать новые подходы для поддержания качества генерируемых документов настолько идеальным, насколько это вообще возможно.