Содержание:

1.      Основные понятия и функции Power Bi

2.      Загрузка данных из Excel на FTP-сервер или в папку

3.      Выгрузка данных из 1С при помощи коммерческих коннекторов

4.      Размещение данных в Интернете и подключение через oData к 1С

5.      Создание своей SQL базы и выгрузки данных из 1С

6.      Выгрузка в рабочую базу данных SQL в 1С с разбором метаданных

 

1.    Основные понятия и функции Power Bi

В данной статье будет рассмотрено взаимодействие программ на базе платформы 1С с программным обеспечением Power Bi, будет дана инструкция по выгрузке данных из 1С в Power Bi.

Power Bi – это модули программного обеспечения от корпорации Microsoft. В данном ПО содержаться различные продукты, объединенные схожим дизайном соединителей. Наиболее известный модуль Power Bi – это Microsoft Power Bi Desktop, в котором находятся следующие компоненты:

1.     Power Bi Power Query – является редактором запросов, а именно: загружает и очищает данные;

2.     Power Bi Pivot – модуль, который отвечает за работу с данными из таблиц внутри оперативной памяти;

3.     Power View – модуль, в котором можно визуализировать и строить отчётность.     

Далее будет подробно рассмотрено, как из 1С выгружать данные для Power Bi. Существуют следующие способы подключения данных:

1.     при помощи коммерческого коннектора (АТК, Bi Consult и другие);

2.     при помощи размещения информационной базы системы 1С в Интернете, далее осуществляется подключение к ней при помощи протокола oData;

3.     при помощи прямого подключения к базе SQL 1C и последующего разбора на метаданные;

4.     при помощи выгрузки файлов из Excel/XML в некоторую папку;

5.     при помощи создания своей базы SQL и выгрузки данных из 1С в неё.

 

2.    Загрузка данных из Excel на FTP-сервер или в папку

Способ загрузки данных из Excel на FTP сервер или в папку позволяет довольно быстро и легко получать новые файлы из базы платформы 1С. При помощи «Рассылки отчётов» в системе 1С можно передавать файлы в общую папку на сервер, ресурс или облачный диск. Аналогично Excel можно использовать и XML файлы, чтобы совершать обмены.

Чтобы осуществить данный обмен, необходимо сделать «Универсальный отчёт», в котором задаётся объект в конфигурации, таблица, даты, вид отбора. После этого нужно провести сохранение данного отчёта. Вышеописанные действия показаны на скриншоте ниже:    

Рис. 1 Способ загрузки данных из Excel

Следующее действие – это указание подходящего варианта отчёта, расписания, формат файла и так далее в инструменте «Рассылка отчётов», как показано на скриншоте ниже:

Рис. 2 Рассылка отчетов при загрузке данных из Excel

Также отдельно можно задавать папку, которая будет локальной или сетевой, либо сервер или папку FTP, как показано на скриншоте ниже:

Рис. 3 Задать сервер или папку FTP

Главным недостатком данного способа является то, что возникают сложности с добавлением данных, так как каждые новые данные стирают предыдущие, тем самым меняя информацию на актуальную.

 Данный способ удобен лишь при относительно небольшом объёме данных. В ином случае, лучше обратить внимание на следующие способы.

3.    Выгрузка данных из 1С при помощи коммерческих коннекторов

Рассмотрим выгрузку данных из 1С при помощи коммерческих коннекторов, таких как АКТ, Bi Consult и другие.

Будем в примере рассматривать коннектор АТК от разработчиков по BI аналитике. То, как будет реализован коннектор, зависит от базы SQL в 1С, которая используется. Например, если будет использован Microsoft SQL, то АТК будет работать в полном режиме: будет создана база SQL, внутри данной базы появятся представления View – это данные из системы 1С для аналитики в виде расшифровок. Пример показан на скриншоте ниже:   

Рис. 4 Выгрузка данных из 1С с помощью коннектора АТК

Для режима Postgre SQL коннектор АТК будет работать следующим образом: происходит генерация файлов в текстовом формате по запросам, которые могут быть использованы в системе BI. Можно сказать, что появляется запрос, как на скриншоте выше, но в то же время есть возможность его использования сразу с функциями Power Bi, как демонстрируется на скриншоте ниже:

Рис. 5 Использование данных Power Bi

Внутри собственной схемы АТК коннектор начнёт создавать визуализацию данных View, которые начнут появляться, когда подключение будет осуществлено. В коннекторе также есть возможность сканирования объектов по метаданным в 1С. При помощи данного инструмента удобнее избирать необходимую документацию, а также регистры, как показано на скриншоте ниже:

Рис. 6 Выгрузка данных из 1С – выбор регистров

Особенностью данного способа является то, что во входящих таблицах View коннектор сразу же начнёт преобразовывать ключи от справочников в их собственные значения. Из этого следует, что обычный документ сразу содержит наименования про организацию, контрагента и так далее. То есть при помощи коннектора избираются нужные объекты. При этом сразу можно отобразить их собственные значения и осуществить систему BI к SQL базе, что экономит много времени, которое бы ушло на расшифровки метаданных.

В коннекторе АТК лучше всего использовать режим Microsoft SQL, так как в нём более полный функционал и большее разнообразие файлов-запросов.

4.    Размещение данных в Интернете и подключение через oData к 1С

На данный момент способ по размещению базы данных в Интернете и подключение к ней через протокол oData в 1С является самым рекламируемым, так как считается самым лёгким. Чтобы воспользоваться этим способом нужно лишь разметить базу данных из 1С на веб-сервер, а далее делать запросы к серверу, вида:   

Рис. 7 Подключение через oData к 1С

Ответ на данный запрос – это справочник «Номенклатура». Также стоит отметить, что в справке системы 1С содержатся команды, чтобы преобразовывать ссылки. Благодаря этому свойству не нужно подвергать много справочников выгрузке, дабы составить один документ. Ещё одна полезная функция в данном способе – это возможность задания различных фильтров для ограничения данных, которые необходимо получить.

Рис. 8 Пример подключения через oData к 1С

В итоге, результатом является файл json, в котором содержаться необходимые значения и реквизиты из справочника.

Но у данного способа есть недочёты. Первая проблема – это то, что к oData в 1С осуществляется довольно медленное подключение, а если учитывать, что загружаться могут большие объёмы данных, то запросы станут выполняться около 10-15-ти минут, подключение может разрываться. Вторая проблема – многие не хотят публиковать информацию на серверах в Интернете, так как возможна утечка информации.

5.    Создание своей SQL базы и выгрузки данных из 1С

Чтобы на высоком уровне проводить аналитику, естественно, нужна своя база SQL с аналитической функцией.

При разработке базы SQL в Power Bi главной проблемой будет то, что она настроена на оптимизацию, а не аналитику. Например, к простому документу может добавляться целые «деревья» справочников.

Но у такой базы есть и существенные преимущества, например, в ней можно соединять различные данные, которые принадлежат разным источникам. Например, по такой схеме источников, как показана ниже:   

·     1С:УПП;

·     Интернет-ресурс ГИС, в котором содержаться геолокации;

·     База данных, которая содержит производственную программу;

·     Перечень файлов из Excel, которые принадлежат финансовой службе.

Вышеперечисленные данные из ресурсов создавались в некоторой аналитической базе, клиент/пользователь мог к ней подключиться к SQL через Power Bi. Всё происходит согласно такой схеме:

Рис. 9 Подключение SQL через Power Bi

Следующий фактор – это то, что в базе есть возможность раскладывать данные по уровням. Например, есть следующие виды данных:

·     серые данные – это те, которые без перемен приходят в базу из различных источников;

·    подготовленные данные – в них отфильтровываются неверные параметры и значения, обновляются данные,                 чтобы иметь единый формат;

·    аналитические данные – уровень, на котором данные становятся удобными для аналитики.

Так, в базе по аналитике можно делать разные по сложности расчёты. Рассмотрим пример запроса для выгрузки из базы 1С данных для созданных таблиц SQL:

Рис. 10 Выгрузка из базы 1С данных для созданных таблиц SQL

Подобные запросы достаточно сложные, учитывая то, что загрузка данных может происходить из различной документации и справочников. Ведь для каждого объекта подготавливается собственная таблица SQL и индивидуальные запросы.

6.    Выгрузка в рабочую базу данных SQL в 1С с разбором метаданных

У способа выгрузки в рабочую базу данных SQL в 1С есть несколько довольно больших недостатков:

·    запрет от лицензирования 1С, так как запрещено вызывать данные прямо, без уровня работы с объектами данных        в 1С, например, с СУБД;

·     когда происходит подключение к таблице в документе, выглядеть она будет следующим образом:    

Рис. 11 Выгрузка в рабочую базу данных SQL в 1С  

 

Большая часть ячеек в таблице – это ссылки на какие-то другие таблицы и справочники.

Специалист компании «Кодерлайн»

Айдар Фархутдинов