Big Data Üzerine

Bu yazıdaki konumuz ilerleyen dönemde bize çok lazım olacak  big data meselesi. Big data niye bu kadar ön plana çıktı? Ben nasıl kullanabilirim? Nasıl yanılırım? Hocam iyi hoş diyonda big data yı gerçek hayatta  nasıl kullanacağız?Big data şu an nasıl kullanılıyor? Gelecekte nasıl kullanılacak? Bu soruları tek tek yanıtlayacağız bu yazıda. 

Big data, Türkçesi büyük veri. Günümüz kodlamalı dünyasının nihai ürünü diyebiliriz. Aslında o işe alım ilanlarında fiks gördüğünüz analitik düşünme yeteneği ile birebir ilgisi var bu konunun. O yüzden genç kardeşlerimiz dikkatlice izlesin bu konuyu.

Big Data

Big data aslında yazıyla çıkmıştır. Nasıl lan demeyin. Data dediğin şey bilgi,kayıttır. Dataları toplayınca kimine göre petabyte kimine göre terabyte sınırı var big data olması için ama bu kısım bizi bağlamaz. Kavramlara takılmayın. Biz ne işimize yarayacağına bakalım.

Kayıtlı bilgilerin biriktirilmesi aslında insanların yıllardır kullandığı bir şey. Özellikle aşağıda da açıklayacağız istatistik ve olasılığın temelini oluşturur. Tahmin modelleri buna göre kurulur.Ekonometrik ve istatistik modeller vs data olmadan yapılamaz.

Ancak son dönemde bilgisayar diye bir şey çıktı. İnsanlar başta işlerinde kullandığı bilgisayarları evlerine taşıdı, daha sonra yanlarında götürmeye başladılar, tüm bilgisayarlar tek bir ağ ile tamamen birbirine bağlı hale geldi ve nihayet herkes bilgisayarını cebinde taşımaya başladı. Ceo telefonlarına ek olarak her yanımız kameralar ve sensörlerle doldu. Özetle etrafımızdaki her şey bizim hakkımızda veri topluyor, kaydediyor.

İşte bu bilgilerin tamamına veri diyoruz. Daha doğrusu big data, yani büyük veri. Belirli bir niteliği vs. Olmak zorunda değil. Sadece çok fazla olması yeterli.

Big Data Niye Popüler Oldu?

Big data nasıl popüler hale geldi diyorsanız big data günümüzde popülerliğini Amazon’un meşhur algoritmasından kazanmıştır. Nedir bu derseniz? Efenim Amazon malumunuz iş hayatına kitap satarak başlamış, daha sonra tam bir perakendeci olmuş, dünyanın da en büyük perakendecisi. Yani bildiğiniz zincir market. Tabi çalışma tarzı biraz daha farklı ama temel para kazanma şekli tahmin ettiğiniz üzere para-çokomelden ibaret. (Parayı al çokomeli ver)

Yani daha fazla sattıkça daha fazla para kazanacak. Şirketin satışlarının ağırlıklı kısmı da internetten gerçekleşiyor. İşte bunu düşünen Amazoncular şunu yapıyor önce, müşterilerin alışveriş big datasını analiz edip, kitap ürününü satın alanların kitap ayıracı talebinin de olduğunu bunun için müşterinin bu ürünü ayrıca arayıp bulmak zorunda kaldığını fark ediyorlar. Amazoncular da bu kişiler kitap ürünü satın almak için web sitesine girdiğinde web sayfasının altında önerilen ürünler olarak kitap ayıracı çıkarırsak satışları arttırırız, daha iyi kar ederiz zengin oluruz olm diyorlar. Formül tutuyor ve amazon şu an dünyanın en büyük perakendecisi. Türkiye’de vile faaliyet gösteriyor.

Şimdi bu sistem her web sitesinde kullanıldığından size normal gelecek. Ama döneminin çok iyi teknolojisi. 5 harf kodlama bilmeyen benim web sitemde bile sağda veya mobilden giriyorsanız yazıyı okuyup bitirdiğinizde alakalı yazılar diye okuduğunuz yazıya göre (aynı kategori altındaki diğer yazılar) başka yazı çıkıyor.

Her neyse amazonun bu algoritması tutunca amazon bunun patentini alıyor. Big data popüler oluyor. Kapitalistler bakıyor ki bu big data satışı arttırmakta kullanılabilir herkes yardırıyor. 

Amazona gelince… Adamların temel hedefinin şu olduğunu söylüyorlar. Amazon’un sitesine girdiğiniz anda paketiniz hazır olacak (bak daha seçmeden) deniyor. Tabi bu işin oldukça çılgın bölümü ve aslında makro bazda ciddi tehlikeler içeren kısmıdır. Umarım böyle bir şey yaşanmaz diyerek konuyu burada noktalayalım. Yaşanacağına da pek olasılık vermiyorum. Ancak şunu da belirtelim. Uzun yıllardır kullanılagelen veri analizi esas popülaritesini amazonun bu sistematiğiyle kazanmıştır. Popülarte kazanmasının esas nedeni de karlılığı arttırmada kullanılmasıdır.

Big Data Kullanımına Bir Örnek

Big data konusunun nerelere gelebileceğini bir örnekle devam ettirerek futurist tarafımızı hareketlendirelim ve nasıl etkileri olacağını hayal etmeye çalışalım.

Toplu taşımayı biliyorsunuz. Hele ki İstanbul, Ankara, İzmir,Bursa,Adana…gibi büyükşehirlerde yaşıyorsanız sanırım içinde uzun süre de vakit geçirmişsinizdir.(Zenginler ölsün, magirustan selamlar) Bunun en büyük sebeplerinden biri kişilerin toplu taşımayı kullanmaması ve şahsi araçların hunharca kullanımıdır. Bir diğeri ise hatlarda yaşanan sorunlardır. Bu iki  sebebin kök nedeni ise bireylerin hareketlerini tahmin edebilecek bir modelin halihazırda bulunmamasıdır. Bize bu veriyi sağlayacak şey big data. Şimdi çok da uzak olmadığını düşündüğüm yakın gelecekte bu işin big data aracılığıyla şöyle planlanacağını düşünüyorum.

Mevcut işe gidiş-geliş rotanız zaten kayıt altında. Bunun dışında hesaplanamayan tek şey sizin keyfi olarak dışarı gidiş gelişleriniz. Ancak o da ne. Siz zaten sosyal medya hesaplarınızda en sevdiğiniz mekanları paylaşıyor, gideceğiniz yere navigasyon cihazı ile gittiğinizden gidiş geliş sıklığınız ve hatta oraya hangi yoldan, hangi saatlerde hangi sıklıkla gittiğiniz dahi kayıt altında. Şimdi devletin tüm bu verilere sahip olduğunu düşünün.Olmaz diye bir şey yok. Devlet istediği firmadan istediği veriyi alır. Menfaat meselesi sonuçta.

Devletin/belediyenin tüm şehirde yaşayanların nereye gidip geldiğine ilişkin verilere sahip olduğunu düşünürseniz, saatlik olarak hatta dakikalık olarak güzergah yoğunluğu tespit edilecektir. Böyle bir aşamada belediye başta yol çalışmaları olmak üzere güzergahta hizmet veren otobüs sayısı, bizzat tahmin edilen yolcu sayısına göre arttırıp azaltılabilecektir.

Tüm bu süreçlerin sonunda kişiler sürekli kendi verilerinin devlet tarafından analiz edilmesini rahatsız edici bulurken aslında big data İktisat yazımda üzerine basa basa belirttiğim kaynak dağılımında optimalitenin sağlanmasında çok ciddi katkı sağlayacaktır.

Bakın bu sadece big data meselesinin hayatımızdaki ufak bir kısmı. Buradan kredi kartı harcamalarınızdan tüketim alışkanlıklarınıza, içtiğiniz içkiden sağlık sorunlarınıza kadar verilerin bir arada bir kişinin elinde olduğunu düşünün. (Hass….)

Size korkutucu gelen bu düşünce aslında çok problemi çözecek bir düşüncenin alt yapısı. 

Big Datayı Nasıl Kullanırım?

Gelelim big datayı sizin nasıl kullanacağınıza. Sizin en büyük sorununuz big dataya sahip olmaktır. Çünkü kayıtlara erişmeniz eğer o kayıtları toplayan kişi/firma sahibi değilseniz  kuvvetle muhtemel KVKK(kişisel verilerin korunması hakkındaki kanunu) ihlal etmeniz anlamına gelir.

Ancak bir şekilde herhangi bir dataya sahip oldunuz diyelim. Bu sefer sizin istatistik ve olasılık bilgisine sahip olmanız, eldeki bu verilerle ekonometride gördüğümüz tarzda denklemler kurmanız gerekmektedir. Ve tabii ki bu denklemlerinizin testini yaparak güven aralığı dediğimiz gerçekleşme olasılığını da bilmeniz gerekir. Kolları sıvayın.İstatistik bilimine giriş yapıyoruz.

İstatistik Nedir?

Efenim big data ile uğraşan, uğraşmak isteyen ya da bunu planlayan her canlı istatistiği tadacaktır ve tatmak zorundadır.

İstatistik geçmiş tarihli verileri inceleme sanatıdır.

Siz geçmiş tarihli bir veriye sahipseniz buradan istediğiniz sonuçları çıkarabilirsiniz. İstatistiğe bir sanat dememin sebebi ise şu: siz istatistik ile istediğiniz yalana istediğiniz kitleyi inandırabilirsiniz. Ancak gerçekten gerçeğin ne olduğunu öğrenmeyi istiyorsanız elinizdeki verilerden doğru, isabetli anlamlar çıkarmanız gerekir. Bu ise ciddi kafa ve ciddi bir test aşaması ister.

Günümüzde özellikle yatırım konularında istatistik olayı yanlış anlaşılmış durumdadır. Herkes bir veri ile başka bir veriyi karşılaştırıyor. Aha diyor bunların arasında korelasyon var. Ahahahahha sonra iktisat/istatistik uzmanı oluyor. Bakın istatistik filan böyle bir şey değil.Şöyle iki tane veriyi çeksem ben de korelasyon bulurum.

Mesela kişinin tuvalete gitme saatleri ile uyku saatlerini karşılaştırırsanız kişinin uyumadan önce tuvalete gittiğini görürsünüz. Akıllının biri çıkıp bunu “tuvalete gitmek insanların uykusunu getiriyor” yorumlayabilir ve matematiksel olarak bu yorum doğru kabul edilebilir. Bakın piyasada bu sayıda çok fazla adam var. Kimi ekonomist diye geçiniyor kimi finansçı filan. Alayını geçin…

Olasılık Nedir?

Olasılık ise istatistikten gelen veriler ile oluşturduğunuz fonksiyonlar ile bir tetikleyicinin hangi sonucu vereceğini tahmin etme gayretidir.Yani veri setinden (bizim yazımıza konu olan big data dan) anlamlı sonuçları çıkarttıktan sonra gerçekleşme olasılığı.

Bahisçi tayfa toplansın. Çok aşikar oldukları bir mevzuya gireceğim şimdi. (Toplanın lan kupon yapıcaz)

Şimdi elimizde bir takımın geçen sezon (toplamda 34 maç) ev sahibi, deplasman maçları verileri var. Bununla birlikte diğer takımlarda kadrolarını, hocalarını hiç değiştirmediler ve elimizdeki aynı veri diğer 17 takım için de var. Şimdi sürekli tutan kuponlar yapmak istiyoruz. Yapabilir miyiz?

Tabii ki hayır. Ancak şunu yapabilirsiniz. Tutma oranı oldukça yüksek olan kuponlar yapabilirsiniz.

İşte istatistik sonucunda tutarlı bir şey bulduğunuzu düşündünüz diyelim, her halükarda sizin bulduğunuz şeyin %100 gerçekleşme olasılığı yoktur. Yani big datanın sonucunda tüm dünyadaki insanların hareketleri doğru tahmin edilecek gibi yaklaşımları pek olası bulmuyorum. Neymiş amazona tıklayınca amazon daha ben bir şey satın almadan paketi hazırlıyormuş. Hadi len ordan.

Ha adamın ne alacağını tahmin edebilirsin. Hatta kişisel olarak o kişiye indirim de yapabilirsin bu ayrı.

Big Data İstatistikten ve Olasılıktan Nasıl Faydalanır?

Yukarıdaki bahis örneğinden devam edelim. Bir sonraki maç için elimizde istatistik veri mevcut. Bu veriyi analiz ediyoruz ve formül çıkarıp test ediyoruz. Güven aralığı yüksek çıkıyor bu testin. Şimdi sonuçlara ilişkin olasılıkları çıkarıyoruz.

Elimizdeki geçmiş verilere göre ev sahibinin kazanma oranı %60, beraberlik %30, deplasman takımının kazanma oranı % 10.

İşte big datanın ulaşacağı sonuç budur. Bundan daha fazlasını beklemeyin. Tahmin ve olasılıktır. Size sadece yönetim için planlama yaptırır. Ancak bu planların her daim tutmama olasılığı da vardır.

Big datanın sanat kısmı birbiri ile bağlı olan verileri bulabilme yetisidir. Bu da çok geniş bir bakış açısı ve test bilgisi gerektirir. İşin kritik aşaması big datayı temizlemek yani analiz etmektir.

Değişmek Zorunda Olan Eğitim Sistemi

Günümüzde geldiğimiz noktada bir bilim ve bilgi çağında olduğumuzu söyleyebiliriz. Her kişi her bilgiye istediği an istediği şart ve ortamda erişebiliyor. Böyle bir dünyada sayfalarca kitap, uzun yıllar süren eğitim sistemi, sınavlar vs. Bunların pek bir esprisinin kaldığını düşünmüyorum.Çünkü gelinen aşamada ya da tam anlamıyla yakın gelecekte bilginin gerçekten bir anlamı kalmayacak. Yani daha doğrusu bilgiyi taşımanın bir anlamı kalmayacak. Esas konu hep yaratıcılık ve yorumlama üzerine olacak. Buraya gelinmesinin en büyük sebeplerinden birisi de big data. 

Big data sayesinde elimizde çok kuvvetli bir şey var. Çok sayıda değişken altında karar mekanizmalarının nasıl işlediği meselesi. Bu ise labaratuvarda yaptığınız sonsuz sayıda deneyi artık yapmayacağınız anlamına gelir. Ancak bunun için kuvvetli bir yorum kapasitesi, geniş bir bakış açısı ve test gücü gerektirir.

Bu ise eğitim sisteminin neden değişmesi gerektiğini bize anlatıyor. Çünkü yapay zeka diye bir şey hayatımıza giriyor. Yapay zekanın yaptığı şeyleri yapmamızın bir anlamı yok. Onun yapamadığı olayları tespit etmemiz lazım.

Yapay Zekanın Topa Girişi

Bu güne kadar endüstri devrimlerine baktığımızda insana ihtiyacı sürekli azaltan bir sistematik söz konusu. Örneğin birinci endüstri devrimi buharlı makineler, 2. Endüstri devrimi seri üretim, 3. Endüstri devrimi enerji & karmaşık sistemler. Bu sistemlerin tamamı  insansız yapamaz. Çünkü hep veri girişini sağlayacak, veriyi değerlendirecek, kodu yazacak birilerine ihtiyaç duyar. Ancak geldiğimiz endüstri 4.0 da durum biraz farklı. Çünkü burada artık yöneticilik kavramını da ortadan kaldırma olasılığı olan bir mekanizmadan bahsediyoruz.  

Yapay zeka dediğimiz kavram şu. Normalde biz makinelere nasıl davranması gerektiğini anlatıyoruz. Bunu kodlama aracılığıyla yapıyoruz.Yani birileri elindeki veri setini yorumluyor, bir formülasyon kuruyor, bunun için makineye formülü kodluyor ve makine buna göre üretiyor. Yani makine aslında amelelik ne iş varsa hallediyor. Yapay zekada ise makine düşünüyor, veriyi değerlendiriyor, hatta veri setinin güvenilirliği de dahil olmak üzere inceleme yapıyor,formül çıkartıyor, olasılıklara bakıyor, test ediyor, formülü uyguluyor, sonucu size raporluyor.

Bu süreçte insana ihtiyaç olan tek nokta verinin yorumlanmasının doğru olup olmadığını kontrol etmek ve aksaklıkları incelemek. İşte bu yüzden big data geleceğin  en önemli şeyi deniyor. Çünkü ortaya çıkacak iş gücü ihtiyacı şu olacak: makineden daha farklı düşünen yada riskleri ölçebilen bir varlık. Bu da ancak ve ancak insan olabilir.

Çözülemeyen Şeyi Çözmek

Big Data nın en büyük heyecan yaratan konusu budur. Biliyorsunuz insan beyni yıllardır çözülemiyor. İktisatçılar özellikle işin içinden çıkamayıp davranışsal iktisat gibi ayrı bir alt dal ortaya çıkardı.

Ya ne alakası var abicim bana ne diyebilirsiniz. Bakın son zamanlarda gittikçe önem kazanan bir şey var. O da insan. Özellikle arz yönlü iktisatçıların temel hedefi, propagandacı siyasetçinin temel hedefi ve tüketici kimliğiyle şirketlerin temel hedefi insan. İnsanın karar organı beyin. Beynin yapısı çözülemediği için bir insanın nasıl karar verdiği bir türlü anlaşılamıyor. Ve yukarda saydığım bütün elemanların siz insanlara kendisini satması lazım ki mevcut konumunu korusun, devam ettirsin

İşte big data bu süreci çözmekte yardımcı oluyor.

Ellerimizdeki telefonlar her gün cebimizde, adımımızı sayıyor, kalp atışını takip ediyor, uyku düzenini biliyor, sevdiğin ürünleri, sanat zevkini, sevdiğin ve çok vakit geçirdiğin mekanları,arkadaşlarını, nerede çalıştığını, akrabalarını , ilgi düzeyini, hatta cebindeki paraya kadar her şeyi biliyor. Yani senin karakterini biliyor bu makine.Yani karşındaki şey seni sosyal, psikolojik ve fiziksel olarak tam anlamıyla bilen, alışkanlıklarını ezberleyen bir arkadaşın. Emin ol evdeki karın/kocan dahi bilmiyor bunu. Şimdi tüm bu verileri bir bilgisayarda topla. Aha buna big data deniyor. 

Mesela bir big data analistliği yapalım birlikte. Ben bir big data analisti olsam şunu incelerdim mutlaka. İnsanlar ne gördüğünde kalp atışları hızlanıyor.(adriana lima değil onu kadınlar görse onların da kalbi hızlı atıyor <3 ) Yani hangi ürünleri hangi karakterde adamlar seviyor, ne kadar süre takip ediyor, hangi tetikleyici sonucunda alım kararını veriyor,hızlı alım kararı alanların alışkanlığı ne?Bunları çözersen malını hedef kitlene göre dizayn eder rahatlıkla satarsın.

Big Data ve İşin Tadının Kaçması

Big datanın temel amacı aslında davranışsal iktisatın da konu aldığı üzere kişinin bir sonraki kararını öğrenmektir. İşin hedefi bu olmakla birlikte kişinin bir sonraki kararına dair olasılıklarını ortaya koyuyorsan o kişiyi muhtelif propaganda/satış/pazarlama/reklam yöntemleriye manipüle edebilirsin demektir. 

Mesela bu web sitesindeki reklamlar için benim reklam kodunu yapıştırdığım firma sizin bilgisayarınız ya da telefonunuzdaki geçmiş veriye giriyor, ilgi odağınızı öğrenip size ona göre bir reklam çıkarıyor. Bahsettiğim bu işin çok primitive yani başlangıç aşamasındaki bir kısmı. Big datanın esas hedefi senin alışkanlıklarından ne ihtiyacın olduğunu tespit etmesi ve ona göre ürün önermesi.

Başta hoş gelen bu durum belirli bir süre sonra işin tadını kaçıracak çünkü hayatı hayat yapan şey bireyin yaratıcılığı ve belirsizliği. Düşünsene ergenken yemeğe çıkaracağın kızın senin teklifine cevabının ne olacağını biliyorsun? Ahahahaha ulan insan hayattan soğur ya. Çıldırıyorum. Hayatın heyecanı kalmaz ki. Çünkü yaşamayı yaşamak yapan şey bilinmezlik. Ancak verdiğim örnek her ne kadar absürt de olsa işin eni konu big data meselesinin geleceği nokta burasıdır. 

Mevcut eğitim sistemimiz yapacakları tahmin edilmesi kolay robotlar üretti. (Gözlerini kaçırma bizden bahsediyorum, hepimiz birer robotuz) Şimdi big data ile bu adamların tepkilerini ölçüyoruz kayıt altına alıyoruz. Bir sonraki aşama bunu bilmek.Ve bu kısım işin gerçekten ama gerçekten tadının kaçtığı bölümdür.

Nike’ın son oyun diye bir reklamı vardı. Özet geçersek şu an sahalarda gördüğümüz İbrahimoviç vs. Tüm yıldızlar, risk almayan hep bilindik tercihleri yapan ama hep de doğru sonuca ulaşan klon oyunculara karşı kaybediyorlardı. Hatta klon oyuncuların maçlarını filan kimse izlemiyordu. Ne zaman ki risk alıp beklenmeyeni yapan oyuncular risk almaya devam ediyor seyirciler o zaman kudurup oynayanlar o zaman keyif alıyorlardı. Big data bizi belirli bir süre sonra bu klonlara dönüştürecek diye korkuyorum. Belki de dönüşmeye başladık bile. Aynı şeyleri yiyor, içiyor,aynı şeylerden keyif alıyoruz.