BigQuery Kurulumu: Sıfırdan İlk SQL Sorguna

Bir veri analisti olarak ilk gerçek engelin çoğu zaman veri değil, veriye ulaşmak ve onu sorgulayabilmektir. Elinde ilginç bir soru var — "hangi kelime en çok geçiyor?", "hangi ay en çok doğum olmuş?" — ama sorgulayacağın bir yer, kuracağın bir veritabanı yok. Kurulumla uğraşırken merakın soğuyor.

BigQuery tam bu boşluğu kapatır: kurulum yok, sunucu yok, indirilecek gigabaytlarca dosya yok. Tarayıcıda bir sorgu yazarsın, Google'ın barındırdığı hazır ve büyük veri kümeleri üstünde saniyeler içinde cevabını alırsın. Yeni başlayan için değeri şudur: SQL öğrenmeye ilk günden gerçek, büyük veriyle başlayabilirsin. Öğrendiğin bu beceri doğrudan portföyüne ve mülakatlarına yazılır.

BigQuery'nin dört temel kavramını somut bir sahneye oturtalım; bu resim aklında kalırsa arayüz hiç yabancı gelmeyecek:

Özetle: BigQuery = büyük veri sorgu deposu · Proje = çalışma odası · Dataset = klasör · Table = dosya. Birazdan sorgulayacağın adres bu mantıkla okunur: bigquery-public-data.samples.shakespeare yani proje.klasör.dosya.

İyi haber: kurulacak bir şey yok. Bu rehber için elinde olması gereken tek şey:

• •Güncel bir web tarayıcısı (Chrome, Edge, Firefox — hepsi olur).
• •Bir Google hesabı (Gmail hesabın yeterli).
• •Yaklaşık 15 dakika ve merak.

Program indirmek, veritabanı sunucusu kurmak ya da komut satırıyla uğraşmak zorunda değilsin. İleride istersen bq komut satırı aracını da kullanabilirsin (bölüm 08), ama başlamak için tarayıcı yeter.

Sandbox modu, BigQuery'yi kredi kartı vermeden denemene izin verir. Sorgu yazıp çalıştırmak için başlangıçta bu yeterlidir. Adımlar:

1. 1Google hesabınla giriş yap, sonra BigQuery Konsolu'nu aç.
2. 2İlk kez giriyorsan Google Cloud seni yeni bir proje oluşturmaya yönlendirir. Projeye anlamlı bir ad ver (örn. 'ogrenme-sql'). Bu senin 'çalışma odan' olacak.
3. 3Kredi kartı istenmeden devam edebiliyorsan sandbox modundasın demektir. Bu modda hazır genel veri kümelerini sorgulayabilirsin.
4. 4Sol taraftaki gezinme panelinden veri kümelerini, üstteki editörden ise sorgularını yazacaksın.

Sandbox ile faturalandırma etkinleştirmenin farkları ve güncel sınırlar için resmi BigQuery sandbox dokümanına bak.

Google, herkesin ücretsiz sorgulayabildiği veri kümelerini bigquery-public-data projesinde toplar. Bizim öğrenme için kullanacağımız tablo, küçük ve anlaşılır olan samples.shakespeare: Shakespeare'in eserlerindeki her kelimenin kaç kez geçtiğini tutar.

Diğer genel veri kümeleri de vardır — doğum kayıtları samples.natality, hava durumu samples.gsod, Wikipedia gibi. Bunların ne içerdiğini merak et, ama sütun adlarını önce konsolda doğrula: her tablonun şeması farklıdır. Bu rehberde çalıştırılabilir sorguları yalnızca sütunlarını kesin bildiğimiz shakespeare üstünden veriyoruz.

Aşağıdaki üç sorgu, shakespeare tablosunun doğrulanmış sütunlarıyla yazılmıştır ve olduğu gibi çalışır. Her birini konsoldaki editöre yapıştır, Çalıştır (Run) de ve sonucu incele. Sırayla gitmeni öneririm — her sorgu bir SQL kalıbı öğretir.

SELECT
  word,
  SUM(word_count) AS total_count
FROM `bigquery-public-data.samples.shakespeare`
GROUP BY word
ORDER BY total_count DESC
LIMIT 10;

SELECT
  COUNT(DISTINCT word) AS distinct_words
FROM `bigquery-public-data.samples.shakespeare`;

SELECT
  word,
  word_count
FROM `bigquery-public-data.samples.shakespeare`
WHERE corpus = 'hamlet'
ORDER BY word_count DESC
LIMIT 10;

İpucu: Konsol, sorguyu çalıştırmadan önce ne kadar veri tarayacağını tahmini olarak gösterir. Bu, ücretin veri tarama miktarına bağlı olduğunu hatırlatan güzel bir alışkanlıktır — ama kesin ücret/kota için her zaman resmi fiyatlandırma dokümanına bak.

Konsolda bir yere takıldıysan ya da farklı bir ortam denemek istiyorsan, aynı SQL bilgisini başka kapılardan da kullanabilirsin:

Kurulum ve komut ayrıntıları için resmi bq komut satırı dokümanına bakabilirsin.

Şimdi öğrendiklerini küçük bir çıktıya dönüştürelim. Amaç sadece sorgu çalıştırmak değil, bulgunu yorumlamak — çünkü işverenin aradığı beceri budur.

1. 1Q1'i çalıştır ve en sık geçen 10 kelimeyi not al. Bunların çoğu 'the', 'and', 'to' gibi bağlaç/edat mı? (Bunlara 'stop words' denir.)
2. 2Q3'ü Hamlet için çalıştır; sonra corpus değerini 'macbeth' yapıp tekrar çalıştır. İki oyunun en sık kelimeleri arasında dikkat çeken bir fark var mı?
3. 3Kısa bir gözlem cümlesi yaz: 'En sık kelimeler anlam taşımıyor çünkü…' ve 'Anlamlı kelimelere ulaşmak için şunu yapardım: …' (ipucu: stop words'ü filtrelemek).

Bu rehber seni başlatmak için var; derinleşmek ve güncel bilgiye ulaşmak için her zaman resmi Google Cloud dokümanına git. Aşağıdakiler işine en çok yarayacak resmi kapılar: