2010-12-01.

odiexperts.com

Прямая загрузка интерфесом без промежуточных (С$, I$) таблиц.
Direct load by interface with no work tables (C$, I$)
Ссылка на видео от Craig Stewart о том, как загружать данные непосредственно в таблицу, минуя промежуточные таблицы C$ и I$. Как по мне, проще всего сделать это путем модификации модуля знаний, в чем же путь Крейга - смотрите на видео.
Дата публикации: 2010-12-03, Комментариев: 4

BI-Quotient

Доступ к примапленному диску через ODI агент работающий как сервис Windows.
Accessing a mapped network drive with the ODI agent as a Windows service
Для доступа к примапленному диску из агента, который запущен как сервис Windows, необходимо подключение диска создавать во время выполнения сценария ODI.
Дата публикации: 2010-12-03, Комментариев: 0

2010-11-01.

odiexperts.com

ODI 11g - Часть 6/11 - операции Union, Minus, Intesect.
11g Oracle Data Integrator – Part 6/11g – Union , Minus, Intersect
Как организовать загрузку данных из нескольких источников с использованием операторов INTERSECT, MINUS, UNION в одном интерфейсе.
Дата публикации: 2010-11-12, Комментариев: 3


ODI 11g - Часть 7/11 - Создание репозиториев.
11g Oracle Data Integrator – Part 7/11g – SUNOPSIS MEMORY ENGINE
Использование SUNOPSIS MEMORY ENGINE для хранения промежуточных расчетов не в таблицах СУБД, а в памяти. Обновление переменных из таблиц HyperSQL, использование Jython, Java кода или использование HyperSQL для промежуточных данных при работе интерфейса. Теоретически, использование СУБД, которая полностью помещается в памяти может помочь в ситуации необходимости организовать загрузку сверхбольшого количества маленьких таблиц.
Дата публикации: 2010-11-16, Комментариев: 0

2010-10-01.

odiexperts.com

Менеджер Безопасности - Концепция и использование.
Security Module – Main concepts and use
Для чего необходим и как использовать Менеджер Безопасности (Security Manager) ODI. Как назначить права на разные объекты разным пользователям или разным ролям.
Дата публикации: 2010-10-06, Комментариев: 2


Jython в ODI для начинающих.
Jython’s Beginner Guide for ODI
Большое количество примеров использования Jython для работы со строками, файлами, массивами, командами ОС, SQL скриптами и т.п. Есть ссылки на документацию по Jython.
Дата публикации: 2010-10-15, Комментариев: 20


Послать результат SQL по почте.
Send SQL by Email
Отправка результатов выполнения SQL запроса в виде текста письма с помощью одной процедуры из двух шагов.
Дата публикации: 2010-10-19, Комментариев: 5

BI-Quotient

Преобразование временного ODI интерфейса в обычный.
ODI snippets: Converting a temp interface to a regular interface
Три простых шага, которые необходимо сделать чтобы преобразовать интерфейс заполнения временной таблицы (т.н. Желтый интерфейс) в постоянный интерфейс для заполнения целевой таблицы в БД.
Дата публикации: 2010-10-31, Комментариев: 0


ODI в примерах от Oracle.
ODI 11g: Oracle by Example
Список занятий, выложенных в разделе Oracle by Example по Oracle Data Integrator.
Дата публикации: 2010-10-31, Комментариев: 0


ODI 11g выделенный агент как Windows сервис.
ODI 11g standalone agent as a windows service
Описание проблемы, согласно которой установить агент ODI 11g как сервисную службу Windows можно только если у вас есть лицензия на Oracle Process Manager and Notification Server. Один из возможных путей решения данной проблемы - использование другой Java обертки - Tanuki Java Service Wrapper.
Дата публикации: 2010-10-19, Комментариев: 0


ODI: Timestamp с учетом локального времени и переходами на зимнее/летнее время.
Oracle Data Integrator (ODI): Timestamp with local timezone and daylights saving time
Описаны особенности (на примерах) настройки ODI для работы с типом данных timestamp с учетом временных зон.
Дата публикации: 2010-10-16, Комментариев: 2

2010-09-01.

odiexperts.com

Первый год из многих. Спасибо друзья!
First year of many…. Thank you Friends!
-
Дата публикации: 2010-09-01, Комментариев: 1


ODI 11g - Часть 4/11 - Обновление с версии 10.
11g Oracle Data Integrator – Part 4/11g – Upgrading from 10g
Как сделать апгрейд с 10 версии ODI на версию 11g с помощью клонирования репозиториев и использования утилиты Oracle Fusion Middleware Upgrade Assistant.
Дата публикации: 2010-09-07, Комментариев: 16


Секреты ODI - Конструктор моделей от Крейга Стюарта.
Using one of ODI’s lesser-known secrets: the Common Format Designer (CFD) – by Craig Stewart
Использование Конструктора Моделей (Common Format Designer (CFD)) от Крейга Стюарта.
Дата публикации: 2010-09-10, Комментариев: 5


ODI 11g - Часть 5/11 - odiConsole, новый Metadata Navigator.
11g Oracle Data Integrator – Part 5/11g – odiConsole, the new Metada Navigator
Пошаговая инструкция как настроить odiconsole для работы в Oracle Weblogic Server и как установить внешнего агента для запуска сценариев из консоли.
Дата публикации: 2010-09-15, Комментариев: 3


ODI 11g - независимые агенты и использование агента как сервиса.
11g Oracle Data Integrator – Standalone Agent but, and about the Windows Service???
Особенности настройки агентов ODI, в том числе настройка работы агентов как сервисов Windows.
Дата публикации: 2010-09-21, Комментариев: 5


Расположение файлов драйверов в ODI 11g.
Drivers Location in ODI 11g
Где располагаются JDBC драйверы ODI на Unix и Windows серверах. В комментариях также затрагивается тема нахождения драйверов в Windows 7.
Дата публикации: 2010-09-29, Комментариев: 14

BI-Quotient

Подзапросы и производные таблицы в ODI 11g.
Subselect, derived tables, and subqueries in ODI 11G
Показан механизм, позволяющий использовать интерфейс для заполнения временной таблицы в другом интерфейсе в качестве производной (derived) таблицы, при этом запрос, заполняющий производную таблицу автоматически трансформируется в подзапрос в основном интерфейсе.
Дата публикации: 2010-09-09, Комментариев: 2


Примеры кода для ODI 11g SDK.
Oracle Data Integrator (ODI) 11g SDK code samples
Ссылки на примеры кода для ODI 11g SDK на сайте Oracle, а также ссылки на описание Java API на том же сайте.
Дата публикации: 2010-09-11, Комментариев: 1

2010-08-01.

odiexperts.com

Перегенерация сценарив через OdiGenerateAllScen.
Regenerate ODI Objects using OdiGenerateAllScen
Использование команды ODI OdiGenerateAllScen для быстрой перегенерации сценариев в пакетном режиме.
Дата публикации: 2010-08-03, Комментариев: 7


ODI 11g - Часть 2/11 - Создание репозиториев.
11g Oracle Data Integrator – Part 2/11g – Creating Repositories
Описание создания мастер и рабочего репозитория для ODI 11g. В комментариях замечают, что данный подход, в отличие от использования RCU утилиты, позволяет создавать местер репозиторий и рабочий репозиторий в разных схемах.
Дата публикации: 2010-08-05, Комментариев: 5


Историческая таблица тип 2.
SCD Type 2
Как правильно использовать модуль знаний IKM Oracle Slowly Changing Dimension для построения исторической таблицы (SCD Type 2).
Дата публикации: 2010-08-10, Комментариев: 11


Внутренний ID.
Internal ID
Что такое внутренний идентификатор объекта в репозитории ODI, как избежать ошибок при операциях экспорта-импорта, связанных с одинаковыми идентификаторами или хотя бы понимать суть этих ошибок. Как внутренний идентификатор связан с идентификатором репозитория.
Дата публикации: 2010-08-17, Комментариев: 0


Проблема сверхбольшой таблицы SNP_EXP_TXT.
SNP_EXP_TXT – A “huge” table problem
Проблема переполнения таблицы SNP_EXP_TXT. Есть перевод.
Дата публикации: 2010-08-19, Комментариев: 10


Вызов OdiSqlUnload без указания пароля.
Calling OdiSqlUnload using ODI Procedure with no hardcoded password
Как использовать утилиту выгрузки данных OdiSqlUnload без явного указания пароля. Смотри также.
Дата публикации: 2010-08-25, Комментариев: 15


Функция IS_NUMBER (и IS_CHAR) в Oracle.
IS_NUMBER (and IS_CHAR) at Oracle? A workaround…
-
Дата публикации: 2010-08-26, Комментариев: 4


Типы данных - создаем недостающее для любой технологии.
Datatypes – Creating what is missing for any technology
Как добавить недостающие типы данных в технологии, присутствующие в ODI.
Дата публикации: 2010-08-28, Комментариев: 0


ODI 11g - Часть 3/11 - Графический интерфейс пользователя.
11g Oracle Data Integrator – Part 3/11g – Graphical User Interface
Описание некоторых особенностей нового интерфейса ODI 11g. Больше всего уделено внимания новым возможностям при редактировании интерфейсов, в частности, показано как разделить вкладку интерфейса на две части, и одновременно использовать их для просмотра и редактирования. В комментариях предлагают одновременно держать на экране вкладку быстрого просмотра и вкладку маппинга.
Дата публикации: 2010-08-31, Комментариев: 3

2010-07-01.

ODI 11g - Часть 1/11 - Первый экран.
11g Oracle Data Integrator – Part 1/11g – First Screen
Вышел ODI 11.
Дата публикации: 2010-07-22, Комментариев: 8


Лучшие практики использования ODI.
Best practice of ODI
9 крайне полезных советов о ньюансах при разработке ETL процессов и организации работы с ODI.
Дата публикации: 2010-07-30, Комментариев: 0


Анализируем лог ошибок.
Error Records Log
Пример скрипта для чтения данных из таблицы SNP_CHECK_TAB, содержащей регистрацию ошибок во время работы ETL процедур. Это такие ошибки как неправильность первичных ключей, неправильность внешних ключей, ограничения на NULL в колонке и т.п. Данные из таблицы записываются в файл, который после может быть отправлен по почте для дальнейшего анализа.
Дата публикации: 2010-07-30, Комментариев: 4


Получить информацию о любом проблемном шаге выполнения в пакете ODI.
Get the Error Message of any Failed ODI objects inside Package
Приведен SQL код для получения информации об ошибочно завершенных шагах пакета в переменную и вывода затем значения этой переменной в файл. Код делает выборку данных прямо из репозитория и расшифровывает закодированные типы шагов в текстовый вид. Затем полученный лог может использоваться для анализа ошибок выполнения сценария. Есть перевод.
Дата публикации: 2010-07-30, Комментариев: 3


Историческая таблица тип 3.
SCD Type 3
Преобразование модуля знаний IKM Oracle Incremental Update для построение исторических таблиц третьего типа (SCD Type 3).
Дата публикации: 2010-07-30, Комментариев: 2


Генерация названия колонок для OdiSqlUnload.
Generate Column_name Header for OdiSqlUnload
Описано, как с помощью выборки из системных таблиц получить названия для колонок при выгрузке любых таблиц из БД с помощью утилиты OdiSqlUnload.
Дата публикации: 2010-07-31, Комментариев: 5

BI-Quotient

Oracle Data Integrator: ODIInvokeWebService и Java 6.
Oracle Data Integrator: ODIInvokeWebService and Java 6
Ошибка при совместном использовании встроенного клиента SOAP из ODI и JDK 6. Рекомендуется установить предыдущую версию Java.
Дата публикации: 2010-07-16, Комментариев: 1


Веб-сервис ODI (OdiInvokeWebService) и OBIEE веб-сервис API.
Oracle Data Integrator (ODI) web services (SOAP client via ODIInvokewebservice) and the OBIEE web services API.
Как подключиться через OdiInvokeWebService к Oracle Business Intelligence API и получить через веб-сервис, например, список и иерархию групп и пользователей, перечень разрешений и т.п.
Дата публикации: 2010-07-31, Комментариев: 0

2010-06-01.

odiexperts.com

Ошибка Jython в Windows 7.
Jython OS bug in Windows 7
При работе в Windows 7 ODI Jython неверно определяет ОС и использует для Windows Unix подобные разделители папок. Рассказано, как это исправить и как запускать команды операционной системы независимо от того, Windows это или Unix подобная ОС.
Дата публикации: 2010-06-20, Комментариев: 4


Подсчитываем количество строк с помощью SQL скрипта, подготовленного через Jython.
Writing SQL counts using Jython
Выполнение SQL запроса через Jython
Дата публикации: 2010-06-20, Комментариев: 0


Автоматизация экспорта - импорта сценариев.
Automated ODI Export Import Scenarios
Подробное описание как организовать автоматическую передачу измененных сценариев из одного рабочего репозитория в другой, например, для тестирования. Сам процесс передачи организован как набор из нескольких пакетов и процедур ODI. Таким образом, переброс ODI сценариев в другой репозиторий осуществляется также с помощью сценариев. Я даже знаю проект и человека, который этот подход успешно внедрил в процесс разработки ETL на этом проекте.
Дата публикации: 2010-06-21, Комментариев: 9


Модуль знаний для выгрузки данных из любой СУБД и загрузки их в Oracle.
LKM OdiSqlUnload(File) to Oracle ( SQLLDR )
Специально разработанный модуль знаний для загрузки сверхбольших объемов данных. Для выгрузки используется OdiSqlUnload, т.е. модуль может работать с различными СУБД, для загрузки используется SQLLDR, так что целевая БД - только Oracle. Работает как в Windows так и в Unix без дополнительных модификаций. В комментариях также разбираются вопросы улучшения производительности выбранного метода выгрузки/загрузки данных.
Дата публикации: 2010-06-21, Комментариев: 20

BI-Quotient

Oracle Data Integrator (ODI) обучающее видео от Крейга Стюарта.
Craig Stewart’s Oracle Data Integrator (ODI) video tutorials
Ссылки на обучающее видео об ODI от Крейга Стюарта. Смотри также: Обучающее видео по Oracle Data Integrator.
Дата публикации: 2010-06-05, Комментариев: 10


Вызов Java класса или подключение JAR файла в ODI через Jython или Java BeanShell.
Calling custom Java classes and JAR files in ODI via Jython or Java BeanShell
Простой пошаговый пример создания класса в Java, компиляции этого класса в JAR файл и вызова этого класса из ODI.
Дата публикации: 2010-06-09, Комментариев: 2


Вложенные методы подстановки ODI. Часть 2.
Nesting ODI Substitution Methods. Part II.
Рассказано, как использовать знак кавычки (") во вложенных вызовах методов подстановки ODI.
Дата публикации: 2010-06-24, Комментариев: 0

2010-05-01.

BI-Quotient

ODI и аутентификация в MS SQL Server.
ODI and Integrated Security/Authentication with Microsoft SQL Server
Описано как настраивать подключение агента ODI к MS SQL Server с включенным режимом IntegratedSecurity.
Дата публикации: 2010-05-04, Комментариев: 0


ODI и аналитические функции (снова???)
ODI and analytic functions (again???)
Еще один способ обмануть синтаксический анализатор ODI, благодаря которому вызов в маппинге аналитической функции не попадет в команду Group By, генерируемую методом подстановки getGrpBy().
Дата публикации: 2010-05-20, Комментариев: 2

2010-04-01.

odiexperts.com

Отобразить результат выполнения SQL запроса в Операторе.
Displaying SQL results in Operator
Как отобразить результат выполнения SQL запроса непосредственно в Операторе. Есть перевод данного подхода. Есть перевод.
Дата публикации: 2010-04-04, Комментариев: 4


Контроль потока данных и статический контроль.
Flow Control and Static Control
Описано, зачем используются E$ таблицы и как собирать ошибки в данных. Показано различие между обработкой неверных данных во время загрузки и перед выполнением актуального переноса данных, что позволяет сделать загрузку более продуктивной.
Дата публикации: 2010-04-04, Комментариев: 0


Параллельное выполнение интерфейсов - новое решение.
Interface Parallel Execution – A new solution
Как организовать загрузку данных в параллельном режиме в одну и ту же таблицу путем модификации модуля знаний и изменения наименования временных $ таблиц. Есть перевод.
Дата публикации: 2010-04-09, Комментариев: 24


Загрузить данные из любого (любых) файлов из заданной папки.
Getting one or several unknown files from a directory
Для загрузки данных из файлов, имена которых не стандартизованы, можно использовать простой трюк, при котором сначала необходимо создать файл со списком имен файлов, а затем прочитать этот список по одной строке и поместить имя файла в переменную. Далее можно, например, использовать переменную вместо имени реальной таблицы в модели.
Дата публикации: 2010-04-12, Комментариев: 4

BI-Quotient

ODI и аутентификация в MS SQL Server.
ODI and Integrated Security/Authentication with Microsoft SQL Server
Описано как настраивать подключение агента ODI к MS SQL Server с включенным режимом IntegratedSecurity.
Дата публикации: 2010-05-04, Комментариев: 0

2010-03-01.

Март, 2010

Ручное добавление драйверов в список ODI.
Manual entry in ODI Driver List
Описание экспериментальной попытки добавления драйвера в ODI путем модификации файла DriverRefV3.xml.
Дата публикации: 2010-03-10, Комментариев: 0


Отслеживание изменений в данных.
Changed Data Capture ( CDC )
Описание режима простого (Simple CDC) отслеживания изменения в данных на источнике и переноса этих изменений в приемник данных.
Дата публикации: 2010-03-14, Комментариев: 22


Инсталляция ODI в Windows 7.
Installing ODI in Windows 7
Инсталляция ODI 10 на Windows 7.
Дата публикации: 2010-03-20, Комментариев: 1


Выполнение SQL запросов через ODI.
Querying in ODI
Как выполнить SQL запрос используя только таблицы модели ODI.
Дата публикации: 2010-03-20, Комментариев: 0


Удаление $ таблиц.
Dropping $ Tables
Пример кода для удаления временных $ таблиц, создаваемых ODI во время ETL преобразований. Есть перевод.
Дата публикации: 2010-03-23, Комментариев: 1


Модуль знаний для операции UNION на основе IKM SQL CNTRL APPEND
KM FOR UNION BASED ON IKM SQL CNTRL APPEND
Модификация модуля знаний в ODI 10 для поддержки использования команды UNION в интерфейсах.
Дата публикации: 2010-03-23, Комментариев: 0


Асинхронное (параллельное) выполнение.
Asynchronous -Parallel Execution
Как запустить несколько интерфейсов одновременно из одного пакета с помощью сценариев.
Дата публикации: 2010-03-27, Комментариев: 4


Экспорт из репозитория разработки в репозиторий выполнения [один мастер репозиторий].
Export DWR to EWR [ Common Master Rep ]
Пошаговая инструкция как создать новый репозиторий выполнения, перенести туда сценарии для тестирования, настроить схемы, агентов и т.п.
Дата публикации: 2010-03-28, Комментариев: 3


SQL запрос о деталях выполнения сессий.
Scenario Report
Пример SQL скрипта для получения результатов выполнения каждого сценария из репозитория. Выбираются данные о количестве вставленных строк, длительности, успешности завершения и т.п.
Дата публикации: 2010-03-28, Комментариев: 0

BI-Quotient

ODI переменные и Оператор.
ODI Variables and the Operator Module
Приведен код общей процедуры на Jython для отображения значения всех переменных пакета в Операторе. Имя пакета должно передаваться как параметр процедуры.
Дата публикации: 2010-03-14, Комментариев: 5


Получаем столбцы источника и приемника данных для интерфейса.
ODI snippets: Query to retrieve source and target columns in an interface
SQL запрос для получения списка таблиц и колонок источника и таблиц приемника данных для заданного интерфейса напрямую из репозитория ODI.
Дата публикации: 2010-03-17, Комментариев: 0


ODI - функция getSession(“SESS_PARAMS” ).
ODI – getSession(“SESS_PARAMS” )
Описание использования недокументированного параметра команды getSession - SESS_PARAMS. Смотри также: odiRef.getSession() Недокументированные параметры.
Дата публикации: 2010-03-17, Комментариев: 0


Вложенные методы подстановки ODI.
Nesting ODI substitution method calls. Part 1.
Первая часть описания механизма работы многоуровневого парсера для методов подстановки ODI.
Дата публикации: 2010-03-29, Комментариев: 2

2010-02-01.

BI-Quotient

Под капотом Sunopsis Memory Engine. Часть 2.
Under the hood of the Sunopsis Memory Engine. Part 2
Демонстрация работы "БД в памяти" при помощи последовательного заполнения таблицы несколькими значениями. Так же показано, как Sunopsis Memory Engine может использоваться для прямого вызова функций Java для реализации той функциональности, которой нет в СУБД, например, для подсчета хеш-функций.
Дата публикации: 2010-02-01, Комментариев: 3


Под капотом Sunopsis Memory Engine. Часть 3.
Under the hood of the Sunopsis Memory engine. Part 3.
Демонстрация как с помощью Sunopsis Memory Engine передать значение переменной из одного сценария в другой и как сохранить значение переменной в процедуре.
Дата публикации: 2010-02-14, Комментариев: 0

2010-01-01.

odiexperts.com

Версионирование.
Versioning
Что такое версионирование объектов ODI и зачем оно может использоваться.
Дата публикации: 2010-01-07, Комментариев: 2


Детальная информация об используемых в Топологии соединениях.
Topology Connection Detail
Пример SQL запроса для получения детальной информации об используемых в топологии ODI подключениях из мастер репозитория.
Дата публикации: 2010-01-16, Комментариев: 0


SQL запрос о свойствах интерфейса.
Interface Mapping Query
SQL скрипт для выборки информации об интерфейсе из репозитория.
Дата публикации: 2010-01-19, Комментариев: 2


MINUS в ODI.
MINUS IN ODI
Как организовать операцию MINUS между источниками в интерфейсе ODI 10 без создания представления.
Дата публикации: 2010-01-19, Комментариев: 1


SQL запрос о свойствах переменной.
Variable Detail Query
Пример SQL запроса для получения детальной информации об используемых ODI переменных из репозитория. Есть перевод.
Дата публикации: 2010-01-19, Комментариев: 0

BI-Quotient

Использование подзапросов в Oracle Data Integrator для сложных преобразований данных.
Using subqueries in Oracle Data Integrator (ODI) interfaces for complex data integration requirements
Описание нового подхода к использованию подзапросов в ODI 10 для выполнения сложных трансформаций данных. В частности, модифицированный модуль знаний, используется для сохранения сгенерированного SQL кода в отдельной таблице БД, затем, во втором интерфейсе, подставляет полученный код как подзапрос. Таким образом можно, например, заменить список FROM второго интерфейса на выражение SELECT из первого интерфейса.
Дата публикации: 2010-01-07, Комментариев: 1


Под капотом Sunopsis Memory Engine. Часть 1.
Under the hood of the Sunopsis Memory Engine. Part 1.
Общее описание того, чем является включенная в ODI система "БД в памяти". Данная БД может использоваться для передачи значений переменных между сессиями, без переключения на разные технологии.
Дата публикации: 2010-01-23, Комментариев: 3