Thursday, July 30, 2015

FLUME ile HDFS'e real time LOG streaming

Merhaba arkadaşlar,

Hadoop'u örneklerle öğrenmeye devam ediyorum :)

Bu yazıda FLUME aracını kullanarak streaming veriyi HDFS'e atmayı örnekleyeceğim. Streaming bir datayı , mesela LOG fileın real time aktarımını Flume ile hızlı bir şekilde HDFS'e atabiliriz. Daha sonra ise sorgulama araçları ile datayı görebilir , Map/Reduce işlemleri ile analiz edebiliriz.

SQOOP ile HIVE ' a data aktarimi ve HIVE ile sorgulama

Merhaba arkadaşlar,

Bir önceki yazımda SQOOP ile HDFS 'e test databasei üzerinden data aktarimi yapıp, file olarak bu dataları görüntülemiştik.

Bu yazıda ise  yine SQOOP kullanarak direct olarak test databaseden HIVE üzerinde tanımlı bir test database veri aktarip, HUE üzerinden sorgulayacağız.

Öncelikle HIVE dan bahsetmek istiyorum. HIVE , HDFS üzerindeki datayı SQL-like dil ile sorgulamayı sağlayan bir yapı. Yani HDFS de bir file düşünelim, örneğin bir cvs file. Biz bu tablo üzerinde SQL*Loader'dan hatırlayacağımız gibi delimiter'lar ile datayı HIVE üzerinde tanımlı bir db-table a map ederek , external table sorgular gibi SQL query atabiliyoruz. Tabiki aradaaki fark HIVE otomatik map-reduce yaparak sorguyu bize tabular formatda getiriyor.


Wednesday, July 29, 2015

SQOOP ile database den HADOOP'a data aktarimi

Merhaba,

Artık BigData kavramı hayatımıza girdi ve dba lerin bigdata ya kayıtsız kalması mümkün kalmamakta :)

HADOOP'a yeni yeni başlayan birisi olarak bu yeni dünya ilk başta karışık gelse de, aslında oynayarak epey eğlenceli olduğunu görüyorsunuz.

Bu yazımda SQOOP ile test database'inden HADOOP'a data aktarmayi yapacağım. İnternette bunla alakalı pek çok örnek görebilirsiniz. :)  Ayrıca bu yazıda ilk import da karşılaştığım bir hatayı ve çözümü göreceksiniz. Muhtemelen sizinde başınıza gelmiştir.

İlk önce SQOOP dan biraz bahsedeyim :

SQOOP, relational bir database den HDFS e data aktarmaya yarayan bir tool. HDFS de işlemler yapıldıktan sonra tekrar RDBMS'e datayı aktarabiliriz.


SOLUTION : SecureFX - Cannot connect to session #SERVERNAME# due to configuration problem

Merhabalar,

Uzun bir zamandan sonra tekrar makinemin başına geçtim. İlk olarak küçük bir yazı ile tekrar yazmaya başlayalım.

Bu yazıda SecureCRT programından bahsetmek istiyorum. Bu program ile sunucularımıza bağlandığımız sessionlarımzı toplu halde görebiliriz. Bağlantı bilgilerini gruplayabiliriz.Putty den daha rahat kullanabiliyorum. Buradan indirebilirsiniz. https://www.vandyke.com/products/securecrt/