Sektörde adından söz ettiren beş şirketten 2016 yılında büyük veri ve analiz pazarını şekillendirecek eğilimlere dair ipuçlarını sizler için derledik.
Sosyal, mobil ve bulut platformlarıyla birlikte veri teknolojileriyle ilgili gelişmeler dijital çağın en önemli konularından birisi haline geldi. 2015 yılı büyük veri konusundaki gelişmeleri test sürecinden üretim sürecine geçtiği bir yıl olarak geride kalırken iş zekasına güç verecek yeni veri teknolojilerini tetikleyen bir süreci başlatmış durumda. 2016 yılına merhaba dediğimiz şu günlerde sektörün en önemli oyuncularının veri ve analiz alanındaki öngörülerini bir araya getirdik.
Hadoop dağıtım sağlayıcısı Hortonworks şirketinin CTO’su Scott Gnau, 2016 yılında veri ve analiz konusunda şu gelişmelerin yaşanacağını öngörüyor:
- Her şeyin interneti. Gnau, 2016 yılında şirketler tüm verilerden faydalanmanın yolunu gözetleyeceğini belirtiyor. Bu durum nesnelerin internetinin ötesinde sağlanan her şeyin internet üzerinden bağlantılı olduğu bir süreci beraberinde getiriyor. Cihazlar, algılayıcılar ve makineler ile genişleyen sınırlardan elde edilen verilerin ötesinde sunucu kayıtları, konum bilgisi ve internet üzerinden edinilen verilerin değer kazanması öncelikli konuların başında geliyor.
- Uç noktalardaki veriler. Gnau, Şirketlerin veri merkezlerinin ötesinde uç noktalardaki verileri önemsemesi gerektiğine dikkat çekiyor. Veri akışının okyanusta yer alan petrol kuyusu veya uzayda yer alan bir uydu istasyonu gibi veri merkezi dışındaki pek çok cihaz, algılayıcı ve sunucu aracılığıyla elde edildiğinin altını çizen Gnau, söz konusu ortamda veri ekosistemi oluşturulmasının yanında güvenlik kapsamının sağlanması gibi kapsamlı bir alan bulunduğunu belirtiyor. Gnau, IoAT’nin yeni düşünce ve yeni veri yönetim sistemi gerektiren yeni bir paradigma meydana getirdiğini söylerken bu çözümlerin 2016 yılında şirketlerde daha yaygın ve olgun bir şekilde hayat bulacağını vurguluyor.
- Hareketli platformlardaki veri. Büyük veri ve analiz sektörü 2016 yılında hareketli veri platformlarında önemli gelişmeler yaşayacağını söylemek mümkün. Pek çok cihaz protokolünü destekleyen ve Hadoop’a veri akışını sağlayacak daha üst düzeyde platforma ihtiyaç olduğunu söyleyen Gnau, büyük veri ve analiz platformlarının birden çok protokol dilinin iletişimine ihtiyaç duyduğuna dikkat çekiyor. 2016 yılında hareket halindeki ve durağan verinin birleşimiyle ilgili önemli fırsatların ortaya çıkacağını söylemek mümkün.
- Büyük verinin basitleştirilmesi. Büyük veri teknolojilerinin basitleştirilmesiyle ilgili ihtiyaçları karşılayan bir pazar bulunmakla birlikte teknik, tüketim ve buna benzer tüm alanlarda yeni fırsatlar yaratabilecek imkanlar yer alıyor. Gnau, 2016 yılının basitleştirme anlamında önemli aşamanın kaydedildiği bir süreç olacağını şu şekilde dile getiriyor: “İster operatör, ister güvenlik yöneticisi, ister veri analisti olun herkes gibi Hadoop ve Hadoop ile ilgili büyük veri teknolojilerinin basitleştirilmesini istiyor olmanız muhtemeldir. Neyse ki yakın gelecekte tek bir geliştirici deneyimini veya kontrol panelinde daha az seçeneğin yer aldığı basitleştirilmiş bir yapı kullanımınıza sunulmuş olacak.”
- Kritik görevlerdeki iş yükü için Hadoop. Gnau, 2016 yılında Hadoop “web ölçeğindeki” şirketlerin ötesinde daha kritik görevlerdeki iş yükü için kullanılacağını öngörüyor. Yahoo, Spotify ve TrueCar gibi şirketler Hadoop altyapısına sahip servisleri hali hazırda kullanmasıyla ön plana çıkıyor. 2016 yılında Hadoop ile kolay şekilde kontrol edilemeyecek oldukça büyük verilerin yönetimi ve dağıtımı konusunda kritik görevlerde kullanımında Hadoop kullanıldığını göreceğiz.
IT sistemleri yönetim çözümleri sağlayıcı Adaptiva şirketinin kurucusu ve CTO’su Deepak Kumar 2016 yılında veri ve analiz konusunda şu gelişmelerin yaşanacağını öngörüyor:
- Bu yıl veri limitlerine ulaşacak. Kumar, veri kullanımının daha fazla düzenleme yapılarak sağlayıcıların veri talebine karşılık verme ve iş dünyasında artan maliyetlerle mücadele etme sürecinin beraberinde geleceğini belirtiyor. Bu sürecin doğal bir sonucu olarak şirketler büyük veriyi takip edecek teknolojiler ortaya koymaya başlayacak gibi görünüyor.
- Sistem yönetimi büyük veri analizi konusunda daha akıllı hale gelecek. Kumar, büyük veri analiz çözümü entegrasyonlarındaki yetersizlik sonucunda depolama birimlerinde saklı kalan verilerin imdadına sistemlerin yönetimiyle ilgili altyapıların yetişeceğini dile getiriyor.
FirstFuel Software şirketinin önde gelen enerji analiz uzmanlarından Badri Raghavan 2016 yılında veri ve analiz konusunda şu gelişmelerin yaşanacağını öngörüyor:
- Verinin demokratikleştirilmesi. Raghavan, Amazon Mechanical Turk gibi çözümler sayesinde şirketlerin ve bireysel kullanıcıların daha önce erişemedikleri dünyanın farklı bölgelerinden çok daha kolay şekilde veri toplayabildiğine dikkat çekerek veri edinmenin daha kolay olmasının ötesinde kullanıcı dostu araçlarla detaylı veri bilgisi olmadan anlamlı sonuçlar elde edilebileceğini söylüyor.
- Veri gizliliği konusundaki hassasiyetlerin artması. Avrupa’da veri kullanımını konusunda yapılan yasal düzenlemeler nedeniyle organizasyonların kullandıkları verilerle ilgili stratejik yaklaşımlar ortaya koyması önemli konuların başında geliyor. Raghavan, veri kullanımı konusunda veri gizliliğinin ötesinde verilerin hangi amaçlarla kullanıldığıyla ilgili yerel ve ulusal kanunlara uygun proaktif cevaplar verilebilmesinin önemli olduğunu belirtiyor.
- Verileri anlamak için yeni uygulamalar. 2016 yılında organizasyonların ve bireysel kullanıcıların veri kullanımı ve analizini enerji, spor, sosyal ağ ve müzik gibi alanlardaki deneyimleri birleştirerek kişiselleştirilmiş sonuçlar elde etmek amacıyla tercih edeceğine dikkat çeken Raghavan, bu konuda kişilerin tercihleri doğrultusunda dahi dinleyecekleri müziklerin belirlenebileceğini belirtiyor.
İş zekası ve analiz konusunda çözümler sunan Tableau Software şirketinin ürün pazarlama direktörü Dan Kogan büyük veri konusunda 2016 yılı içerisinde şu gelişmelerin yaşanacağını öngörüyor:
- NoSQL devri. Kogan, daha az şema kullanılan veritabanı yapılarının sağladığı faydaların daha çok ses getirmeye başlamasıyla 2016 yılında NoSQL veritabanının kurumsal IT altyapısının önemli bir parçası olarak ön plana çıkacağını dile getiriyor. Geçmişte Oracle, IBM, Microsoft ve SAP tarafından yaşanılan süreçlere benzer şekilde Gartner’ın Magic Quadrandt for Operational Database Management Systems altyapısının gelişim süreci mevcut tabloda gelinen noktayı en iyi şekilde özetliyor. Karşılaştırma anlamında son sihirli çeyrek (Magic Quadrandt) grafiğinde aralarında MongoDB, DataStax, Redis Labs, MarkLogic ve Amazon Web Services (DynamoDB ile) gibi şirketlerin yer aldığı NoSQL sağlayıcıları yer alıyor.
- Apache Spark büyük verinin fitilini ateşleyecek. Apache Spark, Hadoop ekosisteminin bir parçası olmaktan pek çok şirketin tercihi olan bir büyük veri platformuna dönüşüyor. Kogan, Spark’ın Hadoop’a kıyasla ciddi şekilde arttırılmış veri işleme hızı sağladığına dikkat çekerek Spark’ın projenin fikir babası ve Databricks’in ortak kurucusu olan Matei Zaharia’ya göre en büyük açık kaynak kodlu büyük veri projesi olduğunu vurguluyor. Kogan’a göre Spark büyük verinin “ortak dili” olarak her geçen gün Goldman Sachs gibi şirketlerde her geçen gün daha fazla tercih edilecek.
- Büyük veri büyüyecek: Hadoop kurumsal standartlara eklenecek. Kogan, 2016 yılında Hadoop’un özelliklerinin daha olgun hale geleceğiyle ilgili öngörüsünü şu sözlerle dile getiriyor: “Hadoop’un büyüdüğünün en önemli göstergesi kurumsal IT altyapısının önemli bir parçası haline gelmiş olmasıdır. 2016 yılında güvenlik gibi kurumsal alanı çepeçevre saran sistemlerle ilgili yatırımların çoğaldığını göreceğiz. Apache Sentry detaylı, veri için rol tabanlı yetkilendirme uygulamaları bulunan ve Hadoop kümelerinde saklanan metadata ögeleri sağlayan bir proje olarak müşterilerin kurumsal alanda RDBMS platformlarından beklediği özellikler olarak ön plana çıkmaktadır. Nitekim, bu özellikler gelişen büyük veri teknolojileriyle birlikte gelirken kurumsal adaptasyonla ilgili engelleri ortadan kaldırmaktadır.”
- Büyük veri hızlanıyor: Hadoop’u hızlandıracak seçeneklerin sayısı artacak. Hadoop, 2016 yılında genel anlamda alışılmış veri merkezi özellikleriyle bağlantılı olarak bilinen performans özelliklere kavuşacak. Hadoop’un kurumsal alanda daha fazla yer almasıyla kullanıcılarda geleneksel veri merkezlerindeki performans niteliklerinin sunulması yönünde taleplerin artacağını dile getiren Kogan, son kullanıcı beklentilerinin karşılanması adına Cloudera Impala, AtScale, Actian Vector ve Jethro Data gibi daha önceki kullanıcı dostu sistemlere adaptasyonun genişleyeceğini belirtiyor. Bu süreç ile birlikte “geleneksel” iş zekası konseptleri ile “büyük veri” dünyası arasındaki çizgilerin kaybolacağını söylemek mümkün.
- Verideki büyümenin tüm halini keşfederek son kullanıcıları yeni süreçlere “hazırlayacak” seçenekler. Self-servis veri hazırlama araçları oldukça popüler olmasıyla ön plana çıktığına dikkat çeken Kogan, bu anlamda kurumsal kullanıcılar tarafından oluşturulan Tableau gibi veri keşif araçlarının veri analiz sürelerini kısaltacağını söylüyor. Kogan, kurumsal kullanıcıların analiz için veri hazırlama sürecindeki karmaşıklığı ve harcanan zamanı azaltma yönündeki beklentilerinin farklı veri türleri ve formatlarının yer aldığı büyük veri alanı için son derece önemli olduğunu belirtiyor. Son kullanıcıların büyük verideki hazırlama niteliklerine odaklanan Alteryx, Trifacta, Paxata ve Lavastorm gibi şirketler bulunmakla birlikte uzun zamandır ETL alanında faaliyet gösteren Informatica’nın Rev ürünü ile bu alana önemli yatırımlar yapması üzerinde durulması gereken noktaların başında geliyor.
- MPP Data Warehouse büyümesinde işler kızışıyor… Artık sahnede bulut var. Kogan, veri merkezlerinin “ölümü” ile ilgili söylemlerin kısa süre öncesine kadar fazlaca dillerde dolaştığına ve bu alandaki faaliyetlerin yavaşladığının sır olmadığına dikkat çekiyor. Veri merkezi teknolojisindeki uygulamanın Amazon’un isteğe bağlı olarak sunduğu serviste olduğu gibi önemli bir değişim yaşadığını söylemek mümkün. Fakat bu alanın Amazon dışında BigQuery ile Google’ın, Azure SQL Data Warehouse ile Microsoft’un ve Teradata’nın yer aldığı; Snowflake, Strata + Hadoop World 2015 Startup Showcase gibi yeni başlangıçların dahil olacağı önemli bir rekabet alanı haline dönüşmesi söz konusu görünüyor. Analistler, şirketlerin yüzde 90’ının Hadoop adaptasyonunu sağladığını ve sunulan bulut imkanları sayesinde veri merkezinde Hadoop veri yığını için kullanılan depolama alanı ve kaynak bakımından dinamik olarak ölçeklendirme yapılabileceğini belirtiyor.
- IoT, bulut ve büyük veri bir araya geliyor. Nesnelerin interneti teknolojisinin henüz gelişme sürecinde olmasına karşın bulut altyapısının en önemli teknolojilerinden birisi haline geleceğini söyleyen Kogan, ortaya çıkacak gelişmelerle birlikte petabyte ölçeğinde veri patlamasının yaşanacağının altını çiziyor. Bu nedenle Google, Amazon Web Services ve Microsoft gibi bulut ve veri şirketleri nesnelerin interneti ile ilgili hizmetleri sunarak bulut tabanlarında analiz mühendisleri için en iyi şekilde hazırlama yönündeki altyapıyı sağlayacak adımlar atıyor.
Terada şirketinin veri depolama ve büyük veri analiz uzmanı olan kurumsal sistemler genel müdürü Dan Graham büyük veri konusunda 2016 yılı içerisinde şu gelişmelerin yaşanacağını öngörüyor:
- Organizasyonlar Hadoop konusunda kendilerini resetleyecek. Graham, 2016 yılında şirketlerin daha önceki dağıtım süreçlerinden çıkardığı derslerden hareketle yaklaşımlarını yeniden yapılandıracağını düşünüyor. Hadoop ve Hadoop ile ilgili açık kaynak teknolojilerinin bilgi toplama konusunda daha ileri gittiğini belirten Graham, yanlış yolda olan kullanıcıların özellikle yönetim, veri entegrasyonu, güvenlik ve güvenilirlik anlamında dağıtımlarını yeniden yapılandıracağını söylüyor.
- Algoritmalar ön plana çıkacak. Veri toplama ve hazırlama sürecine yönelik algoritmalar daha fazla ön plana çıkacak. Sonuç olarak CEO’lar ve yatırımcılar ana kurumsal hedeflere ulaşmak için derin analizlere ihtiyaç duyduğu göz ardı edilemeyecek bir gerçek.
- Veri yığınları nihayet bir kaç can alıcı uygulamayı keşfedecek. Veri yığınlarının ham nesnelerin interneti verilerinin hacim ve maliyet olarak en yaygın depolama alanları olacağını söyleyen Graham, IoT M2M veri boyutunun büyüklük nedeniyle dahili hafıza kapasite imkanları dahilinde kullanılamayacağından dolayı düşük depolama maliyetine sahip yeni teknolojiler için geliştiricileri zorladığını belirtiyor.
- Toplanan IoT verileri işlem verilerinden daha hızlı değer kaybedecek. Mali değeri olmadığından dolayı çoğu algılayıcı verisinin saatler, günler veya haftalar içerisinde yerine aynı algılayıcı verisinin gelmesiyle değerini kaybedeceğine dikkat çeken Graham, mimari ve sistemlerin ortaya çıkacak hızlı döngüye uygun ve düşük işletme maliyetine sahip olmak zorunluluğu bulunduğunu söylüyor.
* Bu yazı CIO Dergisi’nin 70. sayısında yayınlanmıştır.