Veri Nedir? Büyük Veri Nedir? Veri Mühendisliği Nedir?

Hızlı Özet

Veri, işlenmemiş ham gözlem ve ölçümlerdir; tek başına anlam taşımaz, işlenip yorumlandığında bilgiye dönüşür. Büyük veri ise geleneksel yöntemlerle işlenemeyecek kadar büyük hacimli, hızlı üretilen ve çeşitli yapıdaki (5V) veri kümelerini ifade eder. Sosyal medya, sensörler ve bankacılık gibi birçok kaynaktan üretilir; doğru analiz edildiğinde sağlık, e-ticaret gibi alanlarda karar almayı güçlendirir.
Veri mühendisliği, bu ham veriyi toplayan, depolayan, işleyen ve analiz için hazır hale getiren altyapıyı tasarlar. Veri mühendisi altyapıyı kurar ve veri akışını sağlar; veri bilimcisi ise bu altyapı üzerindeki veriyi analiz ederek çıkarım üretir. Sonuç olarak veri, büyük veri ve veri mühendisliği, günümüzdeki veriye dayalı karar alma süreçlerinin temelini oluşturur.

Günlük hayatımızın neredeyse her anında "veri" kelimesiyle karşılaşıyoruz. Telefonumuz konumumuzu kaydediyor, market kartımız alışveriş alışkanlıklarımızı not ediyor, sosyal medya her tıklamamızı bir yere işliyor. Peki bütün bunlar aslında ne anlama geliyor? Veri tam olarak nedir, büyük veri neden bu kadar konuşuluyor ve bu devasa yığınları anlamlı hale getiren veri mühendisleri ne iş yapar? Bu yazıda üç kavramı da sade bir dille, örneklerle ele alacağız.

Veri Nedir?

En basit tanımıyla veri, henüz işlenmemiş, ham gözlem ve ölçüm sonuçlarıdır. Bir sıcaklık ölçer "40" yazdığında bu tek başına bir anlam ifade etmez; ama yanına "°C" eklendiğinde artık hava durumuyla ilgili bir bilgiye dönüşür. İşte bu fark, veri ile bilgi arasındaki temel ayrımı gösterir: veri ham malzemedir, bilgi ise bu malzemenin yorumlanmış, anlam kazanmış halidir.

Veriler sayısal (nicel) olabileceği gibi, bir yorum ya da açıklama gibi sayısal olmayan (nitel) biçimlerde de karşımıza çıkabilir. Bir e-tablodaki satış rakamları nicel veriye, bir müşteri yorumundaki cümleler ise nitel veriye örnektir. Tek başına bir veri parçasının pek işlevi yoktur; asıl değer, veriler bir araya toplanıp gruplandığında, özetlendiğinde ve yorumlandığında ortaya çıkar. Bu noktada literatürde sık kullanılan bir hiyerarşiden bahsetmek gerekir: veri işlenerek enformasyona (özetlenmiş, anlamlı hale gelmiş bilgiye), enformasyon da deneyim ve bağlamla zenginleşerek bilgiye ve nihayetinde karar verme yeteneği olan bilgeliğe dönüşür.

Büyük Veri (Big Data) Nedir?

Kavram ilk olarak astronomi ve genetik gibi alanlarda ortaya çıkmış, internetin ve akıllı telefonların hayatımıza girmesiyle bambaşka bir boyut kazanmıştır. Büyük veri, geleneksel yöntemlerle ve klasik veritabanı araçlarıyla işlenmesi zor ya da neredeyse imkânsız hale gelen, çok büyük hacimli, hızla üretilen ve karmaşık yapıdaki veri kümelerini ifade eder.

Peki bu veri nereden geliyor? Sosyal medya paylaşımları, web sitesi tıklamaları, mobil uygulama kullanımları, sensörler, akıllı cihazlar, banka işlemleri, sağlık kayıtları, trafik kameraları... Akıllı telefonların yaygınlaşması ve internete 7/24 erişim imkânı, WhatsApp gibi mesajlaşma uygulamaları ile Facebook, Twitter ve Instagram gibi sosyal ağların yaygınlaşması, üretilen veri hacmini olağanüstü bir hızla artırmıştır. GPS teknolojisi de buna konum tabanlı veri üretimini eklemiştir.

Büyük Veriyi Tanımlayan Özellikler (5V)

Sektörde büyük veriyi anlatmak için genellikle şu bileşenlerden söz edilir:

- Hacim (Volume): Petabayt, hatta eksabayt seviyesinde ölçülen devasa veri miktarları. Bir e-ticaret sitesinin günde kaydettiği milyonlarca tıklama, ürün görüntüleme ve sepet verisi buna örnektir.

- Hız (Velocity): Verinin üretilme ve işlenme hızı. Borsadaki saniyelik fiyat değişimleri ya da akıllı trafik sensörlerinden gelen anlık veri akışları bu hıza örnektir.

- Çeşitlilik (Variety): Veri artık sadece tablo satırlarından ibaret değil; metin, ses, görüntü, video gibi yapılandırılmamış biçimlerde de geliyor.

- Doğruluk (Veracity): Farklı kaynaklardan gelen verinin ne kadar güvenilir ve tutarlı olduğu. Kirli ya da hatalı veri, yanlış sonuçlara yol açabilir.

- Değer (Value): Toplanan bunca verinin işletmeye ya da karar alma sürecine gerçekten katkı sağlayıp sağlamadığı.

Büyük Veri Ne İşe Yarar?

Büyük veri, doğru şekilde toplanıp analiz edildiğinde kalıpları, ilişkileri ve içgörüleri ortaya çıkararak karar alma süreçlerini güçlendirir. Sağlık alanında hastalıkların erken teşhisinden yeni ilaçların geliştirilmesine, doğal afetlerin (örneğin deprem) olası etkilerinin tahmin edilmesinden e-ticarette kişiselleştirilmiş öneri sistemlerine kadar pek çok alanda kullanılır. Bu süreçte Hadoop ve Apache Spark gibi teknolojiler, verinin depolanması ve işlenmesi için genellikle bulut tabanlı mimarilerle birlikte kullanılmaya devam etmektedir.

Veri Mühendisliği Nedir?

Bunca veri kendiliğinden anlamlı hale gelmiyor elbette. İşte tam bu noktada veri mühendisliği devreye giriyor. Veri mühendisliği; ham verinin toplanmasından güvenli şekilde depolanmasına, işlenmesinden analiz edilebilir hale getirilmesine kadar uzanan altyapıyı tasarlayan disiplinler arası bir mühendislik alanıdır.

Bir veri mühendisinin günlük işi genellikle şunları kapsar:

- Farklı kaynaklardan (veritabanları, API'ler, sensörler, log dosyaları) veri toplamak

- Veriyi bir sistemden diğerine güvenli ve tutarlı biçimde taşıyan veri boru hatları (pipeline) kurmak

- Veritabanlarını ve veri işleme sistemlerini kurmak, test etmek ve sürekliliğini sağlamak

- Ham, dağınık ve hatalı veriyi temizleyerek analiz için hazır hale getirmek

- Veri bilimcilerin ve analistlerin üzerinde çalışacağı güvenilir, ölçeklenebilir veri altyapısını oluşturmak

Türkiye'deki iş piyasasında zaman zaman veri mühendisi (data engineer) ile veri bilimcisi (data scientist) rolleri iç içe geçse de, esasen ikisi farklı görevlere odaklanır: veri mühendisi altyapıyı kurar ve verinin akışını sağlar, veri bilimcisi ise bu altyapı üzerindeki veriyi analiz ederek anlamlı çıkarımlar üretir. Yapay zeka ve analitik sistemlerin sağlıklı çalışabilmesi doğrudan bu altyapının kalitesine bağlıdır; çünkü en gelişmiş yapay zeka modeli bile eksik ya da hatalı veriyle beslenirse güvenilir sonuçlar üretemez.

Sonuç

Veri, bilgiye giden yolun ilk basamağıdır. Büyük veri, bu basamağın günümüzde ulaştığı devasa boyutu; veri mühendisliği ise bu devasa yığını kullanılabilir, güvenilir ve anlamlı hale getiren mimariyi kuran disiplindir. Üçü birlikte düşünüldüğünde, bugün hemen her sektörde duyduğumuz "veriye dayalı karar alma" kavramının arkasındaki gerçek hikâyeyi oluştururlar.

Yazıyı vakit ayırıp okuduğunuz için teşekkür ederim, umarım sizler için faydalı bir içerik olmuştur. Unutmayın; veriyi anlamak ve anlamlandırmak, geleceği çok daha tutarlı öngörmemizi sağlar. O yüzden:

"Veriyi anla, geleceği kodla!"

Şahin Deniz - YAZVEB Yönetim Kurulu Üyesi