-

Настройка Power Bi и 1С

0
2631
05.08.2021 Айдар Фархутдинов

Содержание:

1.      Основные понятия и функции Power Bi

2.      Загрузка данных из Excel на FTP-сервер или в папку

3.      Выгрузка данных из 1С при помощи коммерческих коннекторов

4.      Размещение данных в Интернете и подключение через oData к 1С

5.      Создание своей SQL базы и выгрузки данных из 1С

6.      Выгрузка в рабочую базу данных SQL в 1С с разбором метаданных

 

1.    Основные понятия и функции Power Bi


В данной статье будет рассмотрено взаимодействие программ на базе платформы 1С с программным обеспечением Power Bi, будет дана инструкция по выгрузке данных из 1С в Power Bi.

Power Bi – это модули программного обеспечения от корпорации Microsoft. В данном ПО содержаться различные продукты, объединенные схожим дизайном соединителей. Наиболее известный модуль Power Bi – это Microsoft Power Bi Desktop, в котором находятся следующие компоненты:

1.     Power Bi Power Query – является редактором запросов, а именно: загружает и очищает данные;

2.     Power Bi Pivot – модуль, который отвечает за работу с данными из таблиц внутри оперативной памяти;

3.     Power View – модуль, в котором можно визуализировать и строить отчётность.     


Далее будет подробно рассмотрено, как из 1С выгружать данные для Power Bi. Существуют следующие способы подключения данных:

1.     при помощи коммерческого коннектора (АТК, Bi Consult и другие);

2.     при помощи размещения информационной базы системы 1С в Интернете, далее осуществляется подключение к ней при помощи протокола oData;

3.     при помощи прямого подключения к базе SQL 1C и последующего разбора на метаданные;

4.     при помощи выгрузки файлов из Excel/XML в некоторую папку;

5.     при помощи создания своей базы SQL и выгрузки данных из 1С в неё.

 

2.    Загрузка данных из Excel на FTP-сервер или в папку


Способ загрузки данных из Excel на FTP сервер или в папку позволяет довольно быстро и легко получать новые файлы из базы платформы 1С. При помощи «Рассылки отчётов» в системе 1С можно передавать файлы в общую папку на сервер, ресурс или облачный диск. Аналогично Excel можно использовать и XML файлы, чтобы совершать обмены.

Чтобы осуществить данный обмен, необходимо сделать «Универсальный отчёт», в котором задаётся объект в конфигурации, таблица, даты, вид отбора. После этого нужно провести сохранение данного отчёта. Вышеописанные действия показаны на скриншоте ниже:    


Рис. 1 Способ загрузки данных из Excel

Следующее действие – это указание подходящего варианта отчёта, расписания, формат файла и так далее в инструменте «Рассылка отчётов», как показано на скриншоте ниже:



Рис. 2 Рассылка отчетов при загрузке данных из Excel

Также отдельно можно задавать папку, которая будет локальной или сетевой, либо сервер или папку FTP, как показано на скриншоте ниже:


Рис. 3 Задать сервер или папку FTP


Главным недостатком данного способа является то, что возникают сложности с добавлением данных, так как каждые новые данные стирают предыдущие, тем самым меняя информацию на актуальную.

 Данный способ удобен лишь при относительно небольшом объёме данных. В ином случае, лучше обратить внимание на следующие способы.


3.    Выгрузка данных из 1С при помощи коммерческих коннекторов


Рассмотрим выгрузку данных из 1С при помощи коммерческих коннекторов, таких как АКТ, Bi Consult и другие.

Будем в примере рассматривать коннектор АТК от разработчиков по BI аналитике. То, как будет реализован коннектор, зависит от базы SQL в 1С, которая используется. Например, если будет использован Microsoft SQL, то АТК будет работать в полном режиме: будет создана база SQL, внутри данной базы появятся представления View – это данные из системы 1С для аналитики в виде расшифровок. Пример показан на скриншоте ниже:   


Рис. 4 Выгрузка данных из 1С с помощью коннектора АТК

Для режима Postgre SQL коннектор АТК будет работать следующим образом: происходит генерация файлов в текстовом формате по запросам, которые могут быть использованы в системе BI. Можно сказать, что появляется запрос, как на скриншоте выше, но в то же время есть возможность его использования сразу с функциями Power Bi, как демонстрируется на скриншоте ниже:


Рис. 5 Использование данных Power Bi


Внутри собственной схемы АТК коннектор начнёт создавать визуализацию данных View, которые начнут появляться, когда подключение будет осуществлено. В коннекторе также есть возможность сканирования объектов по метаданным в 1С. При помощи данного инструмента удобнее избирать необходимую документацию, а также регистры, как показано на скриншоте ниже:


Рис. 6 Выгрузка данных из 1С – выбор регистров

Особенностью данного способа является то, что во входящих таблицах View коннектор сразу же начнёт преобразовывать ключи от справочников в их собственные значения. Из этого следует, что обычный документ сразу содержит наименования про организацию, контрагента и так далее. То есть при помощи коннектора избираются нужные объекты. При этом сразу можно отобразить их собственные значения и осуществить систему BI к SQL базе, что экономит много времени, которое бы ушло на расшифровки метаданных.

В коннекторе АТК лучше всего использовать режим Microsoft SQL, так как в нём более полный функционал и большее разнообразие файлов-запросов.


4.    Размещение данных в Интернете и подключение через oData к 1С


На данный момент способ по размещению базы данных в Интернете и подключение к ней через протокол oData в 1С является самым рекламируемым, так как считается самым лёгким. Чтобы воспользоваться этим способом нужно лишь разметить базу данных из 1С на веб-сервер, а далее делать запросы к серверу, вида:   


Рис. 7 Подключение через oData к 1С


Ответ на данный запрос – это справочник «Номенклатура». Также стоит отметить, что в справке системы 1С содержатся команды, чтобы преобразовывать ссылки. Благодаря этому свойству не нужно подвергать много справочников выгрузке, дабы составить один документ. Ещё одна полезная функция в данном способе – это возможность задания различных фильтров для ограничения данных, которые необходимо получить.


Рис. 8 Пример подключения через oData к 1С

В итоге, результатом является файл json, в котором содержаться необходимые значения и реквизиты из справочника.

Но у данного способа есть недочёты. Первая проблема – это то, что к oData в 1С осуществляется довольно медленное подключение, а если учитывать, что загружаться могут большие объёмы данных, то запросы станут выполняться около 10-15-ти минут, подключение может разрываться. Вторая проблема – многие не хотят публиковать информацию на серверах в Интернете, так как возможна утечка информации.


5.    Создание своей SQL базы и выгрузки данных из 1С


Чтобы на высоком уровне проводить аналитику, естественно, нужна своя база SQL с аналитической функцией.

При разработке базы SQL в Power Bi главной проблемой будет то, что она настроена на оптимизацию, а не аналитику. Например, к простому документу может добавляться целые «деревья» справочников.

Но у такой базы есть и существенные преимущества, например, в ней можно соединять различные данные, которые принадлежат разным источникам. Например, по такой схеме источников, как показана ниже:   

·     1С:УПП;

·     Интернет-ресурс ГИС, в котором содержаться геолокации;

·     База данных, которая содержит производственную программу;

·     Перечень файлов из Excel, которые принадлежат финансовой службе.

Вышеперечисленные данные из ресурсов создавались в некоторой аналитической базе, клиент/пользователь мог к ней подключиться к SQL через Power Bi. Всё происходит согласно такой схеме:


Рис. 9 Подключение SQL через Power Bi


Следующий фактор – это то, что в базе есть возможность раскладывать данные по уровням. Например, есть следующие виды данных:

·     серые данные – это те, которые без перемен приходят в базу из различных источников;

·    подготовленные данные – в них отфильтровываются неверные параметры и значения, обновляются данные,                 чтобы иметь единый формат;

·    аналитические данные – уровень, на котором данные становятся удобными для аналитики.


Так, в базе по аналитике можно делать разные по сложности расчёты. Рассмотрим пример запроса для выгрузки из базы 1С данных для созданных таблиц SQL:


Рис. 10 Выгрузка из базы 1С данных для созданных таблиц SQL


Подобные запросы достаточно сложные, учитывая то, что загрузка данных может происходить из различной документации и справочников. Ведь для каждого объекта подготавливается собственная таблица SQL и индивидуальные запросы.


6.    Выгрузка в рабочую базу данных SQL в 1С с разбором метаданных


У способа выгрузки в рабочую базу данных SQL в 1С есть несколько довольно больших недостатков:

·    запрет от лицензирования 1С, так как запрещено вызывать данные прямо, без уровня работы с объектами данных        в 1С, например, с СУБД;

·     когда происходит подключение к таблице в документе, выглядеть она будет следующим образом:    


Рис. 11 Выгрузка в рабочую базу данных SQL в 1С  

 

Большая часть ячеек в таблице – это ссылки на какие-то другие таблицы и справочники.


Специалист компании «Кодерлайн»

Айдар Фархутдинов

Задать вопрос автору статьи
Тема вопроса*
Ваше имя*
E-mail или телефон*
Ваш вопрос*
 

Добавить комментарий
Текст сообщения*
Защита от автоматических сообщений
 
Теги
# абота Риелторского Агентства # Управление торговлей 11 #Забалансовый счет #Контекстное меню #Параметры запуска #Работа Риелторского Агентства # 1C # CRM-система # Cинтаксис-помощник # Cинхронные методы работы # Cправочник номенклатуры # PDF документами # PowerShell # XML-файл # Бизнес-процесс # Виды событий оповещения # Возврат товаров # Глубина анализа # Графические объекты # Динамический список # Документ заказ клиентов # Документ заполнен # Документ Отбор (размещение) товаров # Документ Отгрузка товаров ИС МП # Документ Приобретение товаров и услуг # Документ УПД # Документы продажи # Доступ на ТСД # ДтКт # ЕАЭС # Задержка зарплаты работодателем # Заказ на перемещение # Закладка Администрирование # Зарплата и кадры # Имя таблицы # ИТС # Кабель NYM(Севкабель) 3x5.5 # Книга учета доходов и расходов # Курс валюты # Лицо с правом подписи # Лицо, имеющее право подписи документов # Маркировка цифровыми кодами # Минимальные цены продажи в 1С # Настройка НСИ и разделов # Настройка ценообразования # НДФЛ # Нематериальные активы # Нормативно-правовые документы # Обмен электронными документами # Оплата через банк # Оптовые продажи # Основное ответственное лицо организации # Остаток товара на складе # Отчет комиссионера # Передача на комиссию # Перемещение ТС и оборудования # Проведение инструктажа # Продажи или Закупки # Прочие доходы # Пункт Подключить обработки # Пункт Сервис # ПФР и ФФОМС # Работа ТС # Расчёт зарплаты # Расчет налога УСН # Расчетные счета # Режим использования модальности # Система «Честный знак» # Система GS1 # Списание на расходы # Справка-расчет налога УСН # Страховые взносы # Табель учёта рабочего времени # Таблица формы # Таблица формы «Сотрудники» # Товары # Установка цен на товары # Формат Цифровой Маркировки # Форматированное письмо # Функция Дата # Функция ДеньГода # Функция ДеньНедели # Центральный Банк России # Цены номенклатуры 2.5 # Эквайринговый терминал # Элементы #1.6-НДФЛ #1С Бухгалтерия #1С Договоры #1С: CRM #1С: ERP #1С: ERP Управление строительной организацией #1С: ERP. Управление буровой компанией #1С: WMS Управление складом #1С: Аренда и управление недвижимостью #1С: БУХ #1С: Договорчики #1С: Документооборот #1С: ЗУП #1С: Интеграция #1С: КА #1С: Колледж #1С: Конвертация данных #1С: Модули #1С: Платформа #1С: Предприятие #1С: Розница #1С: Сценарное тестирование #1С: ТОИР #1С: УАТ #1С: УКФ #1С: Университет #1С: УНФ #1С: УПП #1С: Управление строительной организацией #1С: УТ #1С: УХ #1С:ERP #1С:БГУ #1С:БП #1С:Риелтор #1С:Управление холдингом #1С.6-НДФЛ #ADO #APACHE #API #canonical #com-объекты #Cинтаксис-помощник #Cопроводительных документов #Cправочник БИК #Excel #Excel в 1С #FTP-сервер #GoogleDrive #Googleаккаунт #GUID #HTTP #ITIL #Koderline: Управление медиа-холдингом #Koderline: Управление проектами строительства скважин #LINUX #MS SQL Server #PDF #ragent.exe #SOAP-протокол #USB- ключ #WEB #WEB-сервисы 1С #Word #WS-ссылки #XDTO-объект #XML #XML-обмен #Авансовый платеж #Администрирование 1С #Адрес URL описания #Адресный классификатор #акты в 1С #Аутентификации операционной системы #База XML #База данных #Балансовый метод #Балансовый расчет #Банковские счета #Безопасность сервера #Бесшовная интеграция #Бизнес-процесс #БИТ.Финанc #Битрикс24 #Блокировка данных #Блокировки в 1С #БСП #БУ #Бурение скважин #Бухгалтерская отчётность в МСФО #Бухгалтерский отчет #Бюджетирование #Валовая прибыль #Ввод команд #Ввод пароля #Ввоз товаров #Веб-сервер #Веб-сервер Apache #Вид договора #Вид Характеристики #Вкладка Документы #Внедрение #Внедрение ERP #Внешний вид формы #Внешнюю обработку #Возврат от покупателя #Временные разницы #Временные таблицы #Всплывающие ошибки #Выбор каталога #Выбранные файлы #Вызов процедуры #Выпадающий список #Выплата аванса #Выплата отпускных сотруднику #Выполнение запроса #Выполнение кода #Выполнение транзакций #График отпусков #ГТД #Дата действия договора #Дата документа #Движение документа #Декларация по НДС #Диагностика ошибки #Директория сервера #Дистрибутивы программ #Документ Заказ клиента #Документ Отпуск #Документ1 #Дополнительный оплачиваемый отпуск #Доработка конфигурации #Доступ к файлам #Журнал проводок #Журнал регистрации #Журнал транзакций #Журналы #Загрузить Значения #Загрузка цен в 1С #Задача для 1С #Заказ-наряд #Закладка Торговля #Закрытие месяца #Закрытие сделки #Заменить #Запись регистра сведений #Заполнения полей #Запросы 1С #Заработная плата #Зарплата и управление персоналом #Импорт товара #Имущество предприятия #инвентаризационная опись #Инвентаризация склада #Интеграция 1С #Интервал dpi #Интерпретатор языка #Интерфейс пользователя #Информационная база #История пользователя #Источник данных #Кадровые документы #Кадровый документ #КАК ОТРАЖАЮТСЯ ТОВАРЫ В ПУТИ 1С #Как сделать в 1С #Карточка должности #Карточка номенклатуры #Карточка Объекта недвижимости #Касса ККМ #Кассовый документ #Квалификационные надбавки #Классификаторы и курсы валют #Классификаторы и курсы валют #Клиент-серверная схема #Клиент-серверный режим #Код доступа #Код ЦМТ #Код языка #Команда вызова #Командная строка #Конвертация данных #Контроль документов #Конфигурация 1С #Конфигурация 1С ЗУП 3.1 #Конфигурация системы 1С #Копирование настроек пользователей #Корпоративное сопровождение #Корректировка расчётов с учредителем #Криптография данных #Критерии отбора документов #Курс валюты #Курсовые разницы #Левое соединение #Лизинг #Лицензии 1С #Лицензионный договор #Лицензия 1С КОРП #Лицензия 1С ПРОФ #Личные документы #Локальный каталог #Маркетинговая акция #Массив Номенклатур #Массовая регистрация отгулов #Меню Отчет #Место хранения #Метод объекта #Метод устранения ошибки #Методы устранения ошибки #Механизм Анализа Данных в 1С #Механизм записи #Мобильное приложение #Мобильный клиент #Моделирование #Модель данных #Модуль Диадок #Монопольный режим #МРОТ #МСФО #Налоги #Налоговая декларация #Налоговый актив #Налоговый регистр #Налоговый учет #Написание запроса #Настройка панели #Настройка параметров #Настройка пользователя #Настройка системы #Настройки пользователя по умолчанию #Начальная таблица #Начисления Арендной платы #Новый Массив #Нормативно-справочная информация #Облачный сервис #Обмен между базами #Обмен сведениями #Обновления #Обособленное подразделение #Обработка проведения документов #Общие ознакомительные рассылки #Объект системы #Объективность информации #Объектная база данных #Окно сообщений #Оперативная аналитика #Операции в 1С #Оплата агента #Оплата по квитанции #Оповещение по видам события #Оптимизация #Организация #Организация хранения #ОС и НМА #Основное окно #Остатки взаиморасчетов #Остатки товаров на складах #Остаток товара #Отпуск #Отчет комитенту #Отчетность #Отчетный период #Отчеты в 1С #Оформление документа #Оформление перевода работника #Оценка задач #Параллельный учет #Параметр «Количество» #Параметры отбора #Параметры подключения #Партнер #Передача данных #Передача неисключительных прав #Перемещение отчета #Перенос данных #Перенос цен из Excel в 1С #Перечисление денежных средств #Период отбора #Периодичность ДЕНЬ #Периодичность МЕСЯЦ #Печатная форма #Печатная форма документа #План счетов #Планирование #Планировать события #Платежный документ #Погашение обязательств #Подчиненный справочник #Поле Ввода Значение Субконто #Полезные обработки #Политика учета #Пользователь Администратор #Пользовательский режим #Поступление денежных средств #Поступление основных средств #Потенциальный контрагент #Права доступа #Правила обмена #Правое соединение #предопределенные элементы справочников #Прием на работу #Принцип работы 1С #Приходная накладная #Приходно-кассовый ордер #Проведение документов #Проведение инвентаризации #Проводки 1С #Проводок документации #Программа 1С #Программирование в 1С #Программные права #Программный код #Продажа маркированной продукции #Продажа ТМЦ #Продажа товара #Продажи #Продление #Производственный план #Производство #Просмотр #Процедура и функция #Пункт «Касса» #Путь к файлу #Работа с объектами в 1С #Рабочий сервер #Раздел Справочники #Расположение ссылки #Расторжение #Расходная накладная #Расходный ордер #Расходы по амортизации #Расчет зарплаты #Расчет НДФЛ #Расчетные документы #Расширение конфигурации #Расширение прав доступа #Расширение функционала #Регистр бухгалтерского учета #Регистр бухучета #Регистр данных #Регистры бухгалтерии #Регистры движения документов #Регламентированная отчетность #Регламентное задание #Режим записи #Режим использования модальности #Режим конфигуратор #Режим РИБ #Резерв отпусков #Результаты поиска #Реквизит «СпЗнч» #РМК #РМК кассира #РСБУ #С # #Сверка данных учёта НДС #Свойства характеристики номенклатуры #Свойство ячейки таблицы #Сдельный заработок #Сеанс Администратор #Сегмент номенклатуры #Сервис-деск #Сетевой ключ защиты #Сетевой ключ защиты #Сетевые структуры системы #СЗВ-СТАЖ #Синхронизация данных #Система программы #СКД #Служба ИТ #Служба НСИ #Соединение COM в 1С платформе #Соединение СОМ в 1С платформе #Список документов #Список номенклатуры #Список прав #Справочник Лиды #Сравнение конфигураций #Строка «Касса (ККМ)» #Схема отчетности #Счет-фактура #Табличная часть #Табличная часть обработки #Таможенные пошлины #Текстовый формат #Текущая Строка #Территориальная привязка #Территориальные рамки #Тестирование 1С #Техническое задание #Тип данных #Тип свойства #Тип строки #Типы данных ссылки #Толстый клиент #Тонкий клиент #Торговое оборудование #Транспортная логистика #Универсальные коллекции #Управление проектами #Управленческое взаимодействие #Условие предоставления скидки #Условия труда #Установка цен номенклатуры #Учет зарплаты #Учетная политика организации #Файл обмена данными #Файловая база #Файлы обмена #Физический ключ #Финансовый результат #Финансовый учет #Форма ввода #Форма выбора элемента #Формат MicrosoftExcel #Формат даты #Формирование отчета #Формирование отчета #Функционал МРМ #Х-точка #Характеристики Товаров #Хранение информации #Хранилище настроек #Хранить историю изменений #Ценообразование #Центральный узел #Чтение #Шаблон обновления #Шапка отчета #Эквайринговая операция #Экзамен 1С #Экспорт товаров #Экспортная процедура #Электронная подпись #электронные подписи #элемент справочника #Элемент языка #Язык программирования #Яндекс-диск или Google-диск #Яндекс.Касса 1С под Linux 1С:УНФ Email или телефон Работа с объектами в 1С тип да Функциональные опции в 1С
Услуги программиста 1С
Получите специалиста  
для решения всех задач
в области 1С
Программы 1С
Цены и подробное описание программ 1С:Предприятие 8.