Тест портфеля проектов на 3200 задач и 160 пользователей в MS Project и Turbo Planner


Мы записали на видео практический тест работы с портфелем проектов из тысяч задач и сотен пользователей в связке Microsoft Project + Turbo Planner + облако Microsoft OneDrive. Как видите  система превосходно работает в плане производительности и надежности. Надежность отдельный вопрос, т.к. многие корпоративные разработчики, которые пробуют строит также решения на Microsoft Excel Services не могут добиться стабильности работы решения. В видео я не полностью рассказал секреты обеспечения стабильности, опишу их данной заметке и обратите внимание без каких технологий говорить о надежном корпоративном решении на базе "серверного MS Excel" не приходится.



Выгрузка в MS Excel и мастер-проекты Microsoft Project


Отдельно следует отметить, что выгрузки из мастер-проектов в MS Project и обратно требуют разработки специальной технологии, т.к. мастер-проект обрабатывается специальным образом и отличается в том числе по способу кодирования задач, доступу к ресурсам и т.п.

Однако без работы с мастер-проектов Excel-интеграция в случае MS Project конечно не полная. Turbo Planner тщательно протестирован на сценарии планирования и главное сбора факта через табеля и формы физических объемов для мастер проектов, т.к. нонсенс иметь несколько табелей для разных проектов. Нужно иметь один табель на все проекты.
Для строительных проектов Turbo Planner также доработан в плане управления мастер-проектами. При запуске расчетов после загрузки факта в ресурсном модуле учитывается, что это именно портфель проектов и используется алгоритм расчета факта именно по портфелю проектов.


Технология мгновенной загрузки форм MS Excel на контроле изменений

В видео вы можете увидеть технологию контроля изменений в MS Excel формах, которая позволяет загружать практически мгновенно табеля, т.к. они не меняются пользователями одновременно. Загружается только то, что изменилось.

Надо сказать, что реализация в Turbo Planner весьма непроста для этого. Дело в том, что MS OneDrive и MS SharePoint пишут служебную информацию в файлы MS Excel поэтому они выглядят как "измененные" почти сразу. В Turbo Planner применена инновационная технология, которая понимает где файл изменен системой, а где человеком.

Надежная работа отчетов в MS Excel Services


Практикующие программисты хорошо знают, что "серверный Excel" весьма капризен для отображения отчетов. Неподготовленные специально для MS Excel Services отчеты в MS Excel просто не будут работать "в динамике". Например, сгенерированные штатными средствами MS Project "визуальные отчеты" в MS Excel просто либо не откроются в MS Excel Services в MS OneDrive или Microsoft SharePoint Server, либо станут "мертвыми", т.е. выключатся средства динамической фильтрации и группировок.


Также практики знают, что MS Excel Services очень часто теряет подключение к базам данных и отчеты "падают". Иногда подключение к базе данных вообще запрещено Microsoft, как в случае бесплатного облака MS OneDrive.

В тоже время Turbo Planner легко составляет сложные отчеты и публикует их на MS Excel Services как то показано в том числе в этом учебном видео по отчетам для Cash Flow, закупок и взаиморасчетов.

Почему это работает? Дело в том, что мы отказались от "коннекторов" в базе данных и выгружаем данные сразу на отдельный лист MS Excel, который и является источником данных. Данный метод не только обеспечивает стабильность и скорость работы. Если вы сделаете двойной щелчок по цифре в сводной таблице, то вы увидите из каких цифр сложился итог.

Совет. Если вы также делаете отчеты в MS Excel Services, то генериуйте их сходным образом, однако вы должны знать подводные камни об "больших Excel-документах" о чем ниже.


Интеграции MS Excel для "чайников" и взрослых людей

Этот раздел больше для IT-специалистов, но тут есть важная информация и для пользователей, т.к. нужно понимать, что 90% интеграций с MS Excel разных систем не более чем прототипы и будут рассыпаться при переходе не промышленные объемы данных. Давайте это обсудим.

Если вы хотите просто убедится, что Turbo Planner работает на больших объемах данных можете сразу посмотреть видеодемонстрацию. Но если вам интересно почему масса других Excel-интеграций не работает стабильно, то объяснения ниже.

И так. Почему у нас в видео все работает, а у новичков большинство решений на MS Excel Services все "падает" с увеличением объемов данных до реальных?

Тут есть много аспектов технологий Microsoft вокруг генерации и загрузки Excel-документов. То что написано в документации Microsoft TechNet это лишь верхушка айсберга. Между прототипом и рабочим решением пропасть на опыт и огромные трудозатраты на тестирование.

Начнем с того, как Microsoft предлагает использовать MS Excel Services "программистам-чайникам".

Для загрузки больших объемов данных для отчетов Microsoft рекомендует начинающим программистам использовать только текстовой формат как CSV. Именно через него и делает выгрузка в MS Excel в том же Spider Project. Формат не подразумевает возможности вставки в Excel-документ каких-то графиков или сводных таблиц MS Excel, но не будет падать.

Если же новичок попробует выгрузить в MS Excel документ не просто с данными, а еще с графическими элементами Excel, то вроде "все получится". Но рано радоваться. Дело в том, что в "библиотеках" Microsoft по интеграции с MS Excel на деле зашиты два разных алгоритма для малых и для больших документов. Это сделано для оптимизации скорости работы интеграции с MS Excel. Маленькие документы MS Excel примерно до 1 мегабайта размером обрабатываются упрощенной библиотекой Microsoft оптимизированной для быстрой работы с множеством мелких файлов. Если же документ MS Excel больше 1 мегабайта, то незаметно для программиста-чайника происходит переключение на библиотеку Microsoft для "взрослых людей" и как правило тут чайник в панике обнаруживает, что его интеграция с MS Excel валится с фейерверком ошибок. В тоже время в видео выше вы можете увидеть, что Turbo Planner довольно легко обращается с тяжелым Excel-документом на тысячи строк + интенсивное оформление ячеек + формулы. И ничего не падает в руках профессионалов.

Все это очень плохо документировано в Microsoft TechNet, но решение тут состоит вот в чем:


  • Для работы с Excel-библиотекой для больших файлов вы должны купить и активировать специальный ключ, т.к. Microsoft таким образом контролирует крупные решения и считает это необходимым по ряду причин. Что за ключ тут писать открыто не буду, но кому интересно могут написать мне лично. Это не очень публичный вопрос и Microsoft не всех хочет пускать во взрослые Excel-интеграции.
  • При работе с большими документами Excel разработчик должен понимать как библиотека Microsoft управляет выделением памяти. Если он этого не понимает, то и ключ ему не поможет.


Резюме по этому пункту очень простое. Если вы программист-новичок, тогда старайтесь не генерировать Excel-документы в виде его родного формата XLS больше 1 мегабайта. Для построения отчетов используйте выгрузки в CSV. Для пользователя это также означает обязательную проверку приложений по Excel интеграции по работе с файлом тяжелее 1 мегабайта, т.к. маленькая демка может скрывать, что приложение в реальности будет "падать" на рабочих объемах данных.




Комментариев нет

Схемы параллельного импорта MS Project в свете решения Конституционного Суда РФ

Решение Конституционного Суда РФ по "составному ПО" открыло возможность работы по схеме параллельного импорта без нарушения лиценз...

Технологии Blogger.