1 / 19

TURKCELL Metin YILMAZ & Ferhat ŞENGÖNÜL

TURKCELL’ in EXADATA Yolculuğu. TURKCELL Metin YILMAZ & Ferhat ŞENGÖNÜL. Kasım 2010. Turkcell Hakkında. Türkiye’nin L ider GSM Operatorü 33.9 Milyon abone (Temmuz 2010) Avrupa’nın 3. büyük GSM operatorü (abone sayısı bazında)

neith
Download Presentation

TURKCELL Metin YILMAZ & Ferhat ŞENGÖNÜL

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. TURKCELL’in EXADATA Yolculuğu TURKCELL Metin YILMAZ & Ferhat ŞENGÖNÜL Kasım 2010

  2. Turkcell Hakkında Türkiye’nin Lider GSM Operatorü 33.9 Milyon abone (Temmuz 2010) Avrupa’nın 3. büyük GSM operatorü (abone sayısı bazında) 8 Farklı ülkede iştirakler / toplam 60 Milyon + abone 150 tanesi Production olmak üzere 500 den fazla Oracle Veritabanı 20 tane DBA

  3. Özet Turkcell’in DW domainindeki en büyükveri tabanı 100 TB (~250 TB uncompressed ) EXADATA DBM v2Full SAS 3 Ayrı alanda10 kat kazanç • Aylık 50bin raporluk sistemde ortalama 10x performans artışı sağlandı. • Veri büyüklüğü10xküçüldü. (250TB -> 25TB) • Sistem Odasındaki kabinet sayısı 11’den 1’e düştü. Yatayda büyüyebilme imkanı sağlandı.

  4. TurkcellVeri Akışı Exadata ETL AB Initio Oracle ODI Kaynak DB Raporlama MSTR Diğer DWH DBleri Verinin Büyüklüğü • 1.5 Milyar CDR / gün • 600 -1000 GB ham data/ 20+ kaynak veri tabanı • Dosyalarda işlenen 5 TB / gün • 2-3 TB veritabanına yükleme

  5. Turkcell Veri Akışı / Uygulama Sunucuları ETL Ortamı • AB Initio –8 Node Linux Cluster • Hergün yükleme 19:00 - 08:00 (SLA) • Tablolar Sql*Loader ile 16 paralelyükleniyor. Raporlama Ortamı • MSTR (Microstrategy) • 300+ Kullanıcı • 3000 farklı rapor/ aylık 50 bin rapor • Çalışma aralığı 08:00 – 22:00 (SLA)

  6. Fiziksel Dönüşüm

  7. Neden Exadata? Basit Mimari Sun M9000 & on(10) Disk kabineti yerine sadece 1 makine Tek DESTEK Noktası • Eski sistemde kurulum ve 5GB/s için aylarca uğraşıldı. • Exadata5 gün içinde hazır. • Her sorun için TEK DESTEK Noktası. Yatayda ölçeklenebilme Veri her zaman ARTAR!Boyut her yıl 2’ye katlanıyor.(45TB to 100TB) Eski disk mimarileri sınırlıdır. 600+ disk max I/O throughput of 5 GB/s. yerine168 SAS disk max I/O throughput of 21 GB/s.

  8. Neden Exadata? ExadataMigration Ort Süre Performans İhtiyaçları • Aylık 50 binrapor. • Ortalama rapor süresi 27 dakikadan3 dakikaya düştü. • 5 dakikadan kısa süren raporlar %45 ‘ten %90 ’a çıktı. • 4 saatten uzun süren rapor sayısı 87 ‘den 1 ‘e düştü.

  9. Proje Ayrıntıları Ne değişiyor? • Exadata V2 makinesine geçiş • Oracle Version değişimi (10.2.0.4  11.2.0.1) • Single Instance  RAC 4 Aylık (Nisan-Temmuz) güven testi • Crash Testleri • Network Hız Testi (10G mi/ IB mi ) • Backup/Restore • Performans Testleri (RAT, Raporsüreleri, yükleme süreleri)

  10. Projenin Zorlu Noktaları 30 TB’a sığacak mıyız?(~100 TB 10g sıkıştırılmış) 2 günde nasıl taşıyacağız ? • Ne kadarı read/onlyyapılıp önceden taşınabilir? • Ne kadarı daha sonra taşınsa olur? • Ne tür bir network kullanılmalı? 8-nodlu RAC ? Önceki tecrübeler yeter mi? Geri dönüş planı: Paralelyükleme?

  11. Taşıma DB Link üzerinden Insert/append • Platform ve version değişimi • TTS, ASM Rebalance, Backup/Restore bize uygun değil. Turkcell tarafından yazılmış PL/SQLkodu • Uğur DEMİRELÇE • Metadata (Tablespaceler düzenlendi) • Partition bazında 128 paralel Insert/Append 40TB veri taşındı. • Transfer hızı 300 MB/s, yaklaşık 1,1 TB/saat • 36 saatte tamamlandı • HCC için yüksek CPU kullanımı 20 TB read/only önceden , ~40TB aylık veri daha sonra

  12. Test Gerçek oldu! Yaşanacak sorunları görmek için 3 hafta önce test taşıması • Son kullanıcılar geri dönmemize izin vermediler. • Planlanandan 3 hafta önce taşıma bitirildi. Paralelyüklemeler 3 hafta boyunca devam etti. • Kutlan MANİSALI / Koray KETANİ • Ay geçişi dahil her ortamda sistemin tutarlılığı görüldü.

  13. Sıkıştırma / Sıralama Eski sistem 10gR2 Sıkıştırma • ~2-3 kat ~250TB veriyi 100TB’a indiriyordu. Exadata V2 HCC • Veri 250TB  25TB (Data)+ 5TB (Temp) = 30TB • HCC Query High – Sıkıştırma Oranı ~7-10x • Archive sıkıştırmadaha verimli ancak CPU kullanımına dikkat! http://ferhatsengonul.wordpress.com/2010/08/09/getting-the-most-from-hybrid-columnar-compression/

  14. Raporlardaki İyileşme Aylık 50binrapor Bazı raporlarda400xbazılarında10x

  15. Exadata ile Yaşamak RAC’tan korkmaya (artık) gerek yok. Scan-IP sayesinde yük nodelara dağılıyor. Yoğun PQ kullanımı sorunsuz. Hala çok fazla log var. Temporary Tablespacealanına dikkat! Exadata tutarlıama ilgi istiyor. Bütün bir cell iya da tek bir diski ya da flash disklerden birini kaybettiğimiz durumda bile hizmet kesintisi yaşanmadı. Enterprise Manager izleme için gerekli Grid Control SQL Monitor

  16. Son Kullanıcı yorumları Altyapı degişiklikleri ile performans kazancı olacak laflarını çok duymuştuk fakat bu sefer aldığımız sonuçlar karşısında şok olduk. Rekabetin hiç durmadan devam ettiği bu ortamda daha hızlı aksiyonlar alabilecegiz. XDDS tek kelime ile muhteşem, hiç bir rapor 10 dakikadan uzun sürmüyor. Eskiden 3-4 saat bekledigimiz raporlar 3-4 dakikada geliyor, gerçek değil gibi ama gerçek. “Beni korkutuyorsun MSTR” facebookstatusü.

  17. Yolculuğun Devamı 2. hatta 3. Rack’ı eklemek DWH ‘la bağlantılı veri tabanlarının da exadataya taşınması. OLTP Real-Time DWH

  18. TROUG Türkiye Oracle Kullanıcıları Grubu kuruldu.

  19. Teşekkürler Sorular Ferhat ŞENGÖNÜL ferhat.sengonul@turkcell.com.tr www.turkcell.com.tr

More Related