Июн 16 2011

Захват изменений данных

Хранилище данных
1 comments

CDC (changed data capture) Хранилище данных хранит всю историю изменения данных, поэтому требуется на вход подавать только изменившиеся данные с момента последнего обновления данных в ХД. ЦЕЛЬ: — Обеспечить гарантированное вычленение изменившихся данных — Обеспечить определение типа изменения (вставки, удаления, обновления) — Обеспечить пакетную загрузку изменений в ХД ОТВЕТ: Существует несколько способов для обнаружения изменений:…

Read the rest

Май 31 2011

Нечеткие множества в хранилище данных

Хранилище данных
no comments

История нечетких множеств Нечёткое (или размытое, расплывчатое, туманное, пушистое) множество — понятие, введённое Лотфи Заде в 1965 г. в статье «Fuzzy Sets» (нечёткие множества) в журнале Information and Control. Л. Заде расширил классическое канторовское понятие множества, допустив, что характеристическая функция (функция принадлежности элемента множеству) может принимать любые значения в интервале [0,1], а не только значения…

Read the rest

Май 18 2011

Сравнение данных

SQL
no comments

Цель: Провести простое валидационное тестирование изменений в алгоритмах формирования данных. В наличие есть результат расчитанный на старом алгоритме и результат расчитанный на новом алгоритме. Ответ: В большенстве случаев достаточно выполнить код по следующему шаблону SELECT * FROM ( SELECT ‘OLD’ X, T.* FROM ( SELECT * FROM [СТАРЫЙ РЕЗУЛЬТАТ] MINUS SELECT * FROM [НОВЫЙ РЕЗУЛЬТАТ]…

Read the rest

Мар 24 2011

Стоимость хранилища данных

Хранилище данных
3 comments

Цель: Посчитать ГРУБУЮ стоимость внедрения хранилища данных для среднего Банка со средней функциональностью. Ответ: Для ориентира, можно дать очень примерную стоимость внедрения хранилища данных для среднего Банка со средней функциональностью, стоимость составит около 4 000 000$ и потребует около 3-х лет. Более точно можно оценить область охвата проведя предварительное обследование в течении 3-х месяцев и…

Read the rest

Мар 16 2011

Генерация отчета на основании SQL запроса

Oracle, SQL
no comments

Мне потребовалась облегченая система по формированию отчетов и отправка их по электронной почте на основании известных SQL запросов. Время и ресурсы были ограничены. Я решил написать небольшой пакет по генерации отчетов. Обычно я не рекомендую создавать то, что уже реализовано в промышленных продуктах, так как это приводит к большим затратам разработки и поддержки. Но если…

Read the rest

Мар 10 2011

Магический квадрат Gartner для Business Intelligence Platforms

Хранилище данных
no comments

Magic Quadrant for Business Intelligence Platforms 28 января 2011 года Gartner Group обновил магический квадрат лидеров рынка по платформам BI. Данные на январь 2011: Изменения относительно 2010 года. — IBM выпустил Cognos BI v10.1, Октябрь 2010 — MicroSoft выпустил SQL Server PowerPivot позволяющий выполнять AD HOC запросы из Excel — Oracle выпустил OBIEE 11g —…

Read the rest

Мар 09 2011

Магический квадрат Gartner СУБД для хранилища данных

Базы данных, Хранилище данных
no comments

Magic Quadrant for Data Warehouse Database Management Systems 3-го февраля 2011 года Gartner Group обновил магический квадрат лидеров рынка по СУБД для хранилищ данных. Данные на январь 2011: Относительно января 2010 произошли следующие изменения: — Greenplum куплена EMC 29 июля 2010 (сейчас известна как EMC/Greenplum.) — Netezza куплена IBM on 11 ноября 2010 (сейчас известна…

Read the rest