Форум OlegON > Программы и оборудование для автоматизации торговли > Аналитика > Платформы и технологии

QlikView. BI-платформа с ассоциативным поиском : Платформы и технологии

19.03.2024 12:51


04.06.2014 10:58
Chernov
 
Собственно, в кратце из Wiki:
QlikView — BI-платформа с ассоциативным поиском в оперативной памяти со встроенными средствами ETL.

Начиная с версии 11 платформой поддерживается доступ с iPhone, iPad и мобильных устройств под управлением Android.
С версии 11.2 создано собственное приложение для iPhone и iPad.

Кто сталкивался? Кто с ней работает?
Я сам знаком с кликом чуть менее года, прошёл обучение в МСК по курсам Дизайнера и Разработчика. Могу помочь в разработке, задавайте вопросы, постараюсь ответить.
05.06.2014 08:37
OlegON
 
На чем база? Что умеет? В чем отличие от, например, оракловой платформы?
05.06.2014 10:09
Chernov
 
Цитата:
OlegON На чем база? Что умеет? В чем отличие от, например, оракловой платформы?
Базы никакой нет, всё хранится в файлах сжатого формата (файлы - qvd), проверенно импирическим путём, sql таблица в 50Гб(без индексов) полностью помещается в файл .qvd с размером в 12Гб.
Скорость загрузки данных из Mssql в клик - около 10 минут, скорость загрузки из файла - до 3 минут.

Главное преимущество от всех отстальных Bi-систем - работа в памяти, все данные загружаются один раз в память - и пользователь с ними работает, т.е. пропущена "традиционная" модель работы Bi - нет базы и нет привычных метаданных.

Традиционная Bi-система:
База (sql, oracle, prognoz, cognos, sap, etc..) -> метаданные -> отчеты
Причем эти же отчеты постоянно теребят БД запросами чтобы получить новые данные на основании выборок (фильтров) пользователями.
QlikView:
файлы (qvd) -> приложение (в одном приложении может быть сколько угодно отчетов)
При выборках пользователей данные отображаются моментально, повторюсь - все данные в оперативной памяти.

Готов дальше рассказывать, даже могу показывать...
05.06.2014 10:20
OlegON
 
Извините, но как-то логическая цепочка прервана.
Получается, что работа только с теми данными, которые в оперативку влезают? А если не влезают, то что дальше?
В качестве преимущества указано, что метаданных нет и базу не трогает запросами, но как тогда обновляются данные, которые обновляются в БД-источнике? Каким образом спасаетесь от внезапных потерь питания? Вот хлопнулось электричество посреди дня (кстати, связано ли выключение сервера с какими-то длительными операциями по сохранению данных из оперативной памяти?), последующий старт подразумевает закачивание оперативки данными из qvd-файлов? Или из БД?
05.06.2014 10:23
Mtirt
 
Данные то в файлах (qvd) откуда возникают? Из воздуха?
Или нужны специально-обученные обезьяны для их ввода?

Или надо настраивать подключения к учетным БД?
Если честно, мне интересно, сколько и как будут импортироваться изменения из оракловой супермажной БД?
05.06.2014 13:26
Chernov
 
Цитата:
OlegON Извините, но как-то логическая цепочка прервана.
Получается, что работа только с теми данными, которые в оперативку влезают? А если не влезают, то что дальше?
В качестве преимущества указано, что метаданных нет и базу не трогает запросами, но как тогда обновляются данные, которые обновляются в БД-источнике? Каким образом спасаетесь от внезапных потерь питания? Вот хлопнулось электричество посреди дня (кстати, связано ли выключение сервера с какими-то длительными операциями по сохранению данных из оперативной памяти?), последующий старт подразумевает закачивание оперативки данными из qvd-файлов? Или из БД?
Давайте по полочкам:
1. Извините, не сталкивался чтобы не влезало в оперативку, после загрузки 20Гб файлов в оперативку оно занимает около 10Гб в памяти, но тут всё зависит от количества полей и повторяющихся данных в таблицах.
И да, одна таблица - один qvd-файл.
2. Данные обновляются на сервере, предварительно подготовленными приложениями, которые загружают данные из первоисточников.
3. Потеря питания не беда, загрузка данных из qvd-файлов, как я уже писал ранее - занимает очень мало времени.
4. Данные из оперативной памяти занимаемой QlikView никуда не сохраняются, да и незачем это. Только чтение.
5. Последующий старт сервера - да, после запуска службы, данные загружаются в оперативную память. И главный плюсик в этом, то, что данные готовятся заранее, например мы знаем что наше приложение занимает 500 мб оперативной памяти для одного пользователя, стартует сервер, загружает приложение, заходит пользователь - и сервер ему сразу отдает то что он уже подготовил, затем загружает новую копию для следующего пользователя и т.д.

Цитата:
Mtirt Данные то в файлах (qvd) откуда возникают? Из воздуха?
Или нужны специально-обученные обезьяны для их ввода?

Или надо настраивать подключения к учетным БД?
Если честно, мне интересно, сколько и как будут импортироваться изменения из оракловой супермажной БД?
1. Данные готовит разработчик, настраивает подключения к БД, файлам, используя любые доступные средства или типы файлов, существуют бесплатные коннекторы к базам SAP, Oracle, Teradata, MySQL, Postgres SQL, MSSQL и т.д. - почти все драйвера лежат в сети и их можно использовать, главное - знать как обращаться к БД чтобы получать данные, т.е. необходимы знания SQL и иже подобных.
2. Про воздух и обезьян - я познакомился с кликом в конце мая прошлого года, скачал мануал, за пару дней выучил основы синтаксиса клика. Почитал про запросы на MSSQL, за два дня создал приложение которое мне загрузило из SQL - 600 млн. строк данных (в 1С - Регистр накопления.Продажи) и еще за 2 дня нарисовал в клике отчет о продажах, отчет работал на моей рабочей машине - i5-3770k, 8Gb DDR3, приложение весило у меня в памяти около 5,5 гиг, на итого показал руководству как быстро можно получать информацию и перестраивать отчет исходя из выбранных товарных групп, разных подразделений, с разбивкой по месяцам, дням, часам, годам и... уже не помню как оно выглядело на самом деле )
3. Оракловые базы - ничего не могу сказать, не работал я с ними, но думаю, ровно столько же сколько и из MSSQL или MySQL
------------------------
Главное внегласное правило всех разработчиков в клике - любой "отчет" должен формироваться не дольше 5-ти секунд, с чем мы собственно успешно и справляемся.
05.06.2014 23:20
OlegON
 
Так это просто беда, основной критерий софта - возможность роста по горизонтали... Смотрите, тут есть пользователи баз в терабайт. Есть пользователи, которые к этому терабайту идут. Давайте предположим, что компрессия в файлы и память - 1/2, даже если вы выжмете для кубиков из собственника сервер в 512Гб памяти, то, извините, сколько будет стартовать сервер, который эти 512Гб должен будет прочитать с диска, чтобы запуститься? Немного озадачило, что помимо выделения данных общих, есть еще данные неразделяемые, на каждого пользователя? Ваша цифра - 500Мб на одного? А нормальный штат пользующихся отчетами для большого офиса - 50 человек... Т.е. 25Гб еще на юзеров, причем, заметьте, это все о минимальных цифрах речь идет? На одного человека больше или гигабайтом информации больше и кирдык, кстати, так и не понял, в чем он будет заключаться, когда память кончится... Попробуйте, просто интересно... Да и вам полезно будет узнать, что будет потом. А решение, как я понимаю, тиражируется для небольших магазинчиков. Тут тоже косяк ожидает, поскольку на небольшие магазинчики никто сервера вообще выделять не любит...
17.06.2014 12:58
KirillHome
 
Добавлю справочное руководство по 11-й версии (во вложении)
Вложения
Тип файла: 7z Spravochnoe_rukovodstvo_po_QlikView.7z (8.44 Мб, 290 просмотров)
04.07.2014 13:01
Pyatak
 
Я пользуюсь персональной версией данного продукта. Не обязательно всю базу целеком загружать, во многих случаях бывает достаточно загрузить, например, последний год нужных для конкретного отчета (или группы отчетов) данные. Полезная штука, когда данные нужно "покрутить". В обычном отчете, чтобы изменить период или какую другую составляющую фильтра, нужно заново запустить отчет и дождаться результата. А тут всё меняется на лету. Один раз загрузил и "верти" как хочешь, любое изменение в фильтрах отражается в результатах тут же. В общем, для таких случаев, вполне себе нормальный продукт. Ещё с помощью него организовал рассылку топ-менеджерам красивых графиков с финансовыми результатами за прошедьший период. Т.е. с помощью виндовых скриптов программу можно заставить обновить данные и выгрузить графики и таблицы в файлы, которые затем можно отправить по почте какой-нить утилитой. Как итог, хочу сказать, что программа стоит того, чтобы как минимум уделить внимание на ознакомление с ней и даже что-то попробовать сделать. Если не ошибаюсь, то у них есть версия, которую можно бесплатно скачать и работать. Ограничение такой версии в том, что в ней можно открывать документы, которые в ней же и сделаны (покрайней мере, так было раньше, сейчас надо уточнять).
Часовой пояс GMT +3, время: 12:51.

Форум на базе vBulletin®
Copyright © Jelsoft Enterprises Ltd.
В случае заимствования информации гипертекстовая индексируемая ссылка на Форум обязательна.