여기저기 기웃거리기

GeoKettle의 새 버전이 나왔다. 2.5와 3.0인데, 2.5는 커뮤니티 버전이고 3.0은 상용의 엔터프라이즈 버전이다. 달라진 점 1. 더이상 소스포지에서 다운로드 받을 수 없다. 이제는 자사의 SpatialyticsMarket에서 회원 가입을 하고 다운로드 받아야 한다. 물론 2.5 버전은 무료이다. 아직 회원 가입을 안해서 실제로 다운로드는 안 해봤지만, 일단 화면상에는 0달러로 표시되어있다. 2. ArcGIS 10 파일 읽기, 쓰기 지원 3. Mac OS X에서 64비트 모드로 실행. 4. 이전 버전에서 소개되었던 여러 기능들이 고도화되었다. 이부분은 나도 잘 모르는 기능들이라... 통과!! 암튼 집에가서 다운로드 받아봐야겠다. http://geokettle.com iPhone 에서 작성된 ..

이번에 ETL 작업을 하면서 겪은 당황스런 일을 적어두려합니다. 이번 작업은 아래에 설명할 두가지이며, 작업 환경은 다음과 같습니다. 세대의 장비는 모두 같은 건물 안에 있습니다. 멀리 넷트웍을 타고 전송되는 상황은 아닙니다. ETL tool : GeoKettle DBMS : PostgreSQL 9.x, Kairos 5.x 1. PC(1 cpu)에 설치된 PostgreSQL DB에서 데이타를 추출하여 서버(4 cpu)상의 PostgreSQL DB에 전송하는 작업. 2. 서버(4 cpu)상의 PostgreSQL DB에서 데이타를 추출하여 다른 서버(4 cpu)상의 Kairos DB에 데이타를 전송하는 작업. 1번 작업은 데이타 원본이 윈도우가 설치된 PC상에 있어서인지 오래 걸렸습니다. 더군다나 테이블끼리..

그동안 오픈소스 ETL툴인 Pentaho kettle을 업무에 도입하기 위해 그리고 개인적으로 공부를 해왔었는데, 큰 문제를 만나게 되었습니다. 바로 지리공간정보를 다루게 되니... 데이터형 문제가 발생하더군요. 그래서 구글님께 물어봤더니 답을 주시더군요. GeoKettle입니다. www.spatialytics.org 이 툴은 오픈소스 ETL 툴인 Pentaho Kettle에 지리정보를 다룰 수 있도록 - spatial data type을 인식하도록 플러그인( 이게 맞는지는 아직 확인 중입니다. )이 미리 설정되어 있습니다. PostGIS가 설치된 PostgreSQL에서 테스트 해본 결과 100만건의 geometry형의 data를 전송하는데 별다른 문제는 없었습니다. 160초 가량 걸리더군요. 원본 디비..

DBMS를 운영하다보면 종종 DB 복제, 혹은 특정 data의 동기화를 해야할때가 있다. 동일한 DBMS라면 그것도 시장에 잘 알려져 있어서 확실한 3rd party 복제 툴이 있거나, 혹은 한 두개 정도의 테이블만 복제/동기화 작업을 해줘야한다면 큰 문제가 아닐것이다. 허나 여러 종류의 DB를 사용하다보면, 그것도 시장에 널리 퍼지지 않았거나, 국내에서만 사용하는 DB라는 이유로 확실한 3rd party 툴이 없다면... 아마 저처럼 고민에 빠지게 될겁니다. 제 고민의 원인에 대해서는 제가 앞에 작성했던 글들을 보시면 아시게 될겁니다. 2010/06/16 - [Database] - Tibero4 migration 모험기 (4) 중간정리 : Oracle DBA의 Tibero 사용 후기 2010/05/07..