Teknolojiye iş yaptıran fil: Hadoop

İş yapmak zor iş, iş yaptırmak daha da zor iş… Hem insanlara hem de bilgisayarlara… Bir uygulamanız vardır bir OS üzerine kurarsınız ve çalıştırırsınız ama uygulama ne kadar verimli çalışır ki? Acaba tüm sistem kaynaklarını verimli bir şekilde kullanabiliyor mu ki… Hadi diyelim kullanabiliyor ya daha da fazla iş gücüne ihtiyacınız varsa ne yapılabilir? Sistemin de bir sınırı var sonuç olarak. Yeni yeni sistemler kurduğunuzda eski uygulamalarınızı nasıl yöneteceksiniz?

Aslında ilgisi olanların aklına bu sorulara cevap olarak dağıtık mimariler gelir hemen. Cloud Computing… Ölçeklenebilir ve genişletilebilir sistemler… Ben “İşçi Bulut” diyorum… Google WEB alemindeki onca içeriği nasıl işliyor, nasıl indeksliyor ve sonuç olarak da nasıl analiz ediyor dersiniz? Sırrı dağıtık mimarilerde… Google verileri topluyor ve bu verileri işlemesi için bir bilgisayar tarlasına yönlendiriyor. Tarlada bilgisayar çok, herkes bir düzen içerisinde kendisine verilen işi maksimum performansta yapmaya çalışıyor. Google bu sistemin adına MapReduce dedi…

Bir süre sonra ise bu yapıdan esinlenerek oluşturulan Hadoop açık kaynak kodlu ve free license olarak bir Apache projesi olarak karşımıza çıktı.

MapReduce Google spesifik bir proje olduğu için Google’a çok çok büyük avantajlar sağladı. Bu yapıyı kurmak ve işletilebilir hale getirmek öyle kolay değil çünkü. Fakat Hadoop ile birlikte bu camiaya yeni bir soluk gelmiş oldu. Hadoop insanlara aslında şunu vaad ediyor. Sen de kendine Google kadar güçlü bir tarla kurarsan sen de bir Google olabilirsin… Hal böyle olunca dünya devleri Facebook’dur, Yahoo’dur bu işin peşini bırakmayıp Hadoop kullanır hale geliyorlar. Facebook milyonlarda istatistiği, tera byte’larca veriyi Hadoop ile işliyor. “İşin içerisinde çok çok büyük veri yığınları varsa tam da orada Hadoop iyi iş görür” cümlesi de böylece kanıtlanmış oluyor.

Şimdilik yüzeysel bir giriş oldu, soldaki videoyu izlemenizi kesinlikle tavsiye ederim. Bundan sonraki yazı dizisinde Hadoop’un daha da derinlerine dalmak üzere…