Amazon S3, büyük miktarlarda verinin farklı coğrafyalardan zahmetsizce depolanmasını ve alınmasını sağlayan basit bir bulut depolama çözümüdür. Ölçeklenebilirlik, dayanıklılık ve güvenlik için tasarlanmış olması onu veri depolama ve dağıtımı için popüler bir seçenek haline getiriyor.
Ayrıca Amazon Web Services (AWS), dosya ve nesne çoğaltmaya yardımcı olacak çok sayıda araç sunar. AWS için popüler bir çoğaltma çözümü, nesneleri ve bunların meta verilerini birden çok S3 klasörüne kopyalayan güçlü bir özellik olan Amazon S3 Çoğaltmadır.
Bölgeler arası çoğaltma (CRR) için kullanıldığında bu özellik, nesnelerin farklı bölgelerdeki S3 klasörleri arasında sorunsuz şekilde çoğaltılmasına olanak tanır. Çoğu kuruluş, bölgeler arası çoğaltmayı çeşitli nedenlerden dolayı kullanır:
- Coğrafi uyumluluk gerekliliklerini karşılama: Bölgeler arası çoğaltma, belirli verilerin coğrafi olarak dağınık bölgelerde depolanmasını gerektiren uyumluluk talimatlarına uymanıza olanak tanır.
- Gecikmeyi en aza indirme ve kullanıcı deneyimini geliştirme: Çoğaltma yoluyla verileri fiziksel olarak son kullanıcılara yakınlaştırarak gecikme en aza indirilebilir, bu da verilere erişen kullanıcılar için daha iyi bir deneyim sağlar.
- Felaket kurtarma ve veri yedekliliği: Bölgeler arası çoğaltma, felaket kurtarma stratejilerinin ayrılmaz bir bileşenidir, veri bütünlüğünü sağlar ve yedeklemeler ve aktif/pasif veya aktif/aktif yük devretme stratejileri yoluyla veri kaybını azaltır.
Ancak S3 nesnelerinin bölgeler arasında çoğaltılmasında bazı karmaşıklıklar vardır. Bazı kullanıcılar bunu yavaş ve öngörülemez buluyor; diğerleri ise bölgeler arası transfer oranlarının hesaplanmasının zor olabilmesi nedeniyle maliyetin zorlu olduğunu düşünüyor.
Ayrıca, CRR’yi ayarlarken göz önünde bulundurulması gereken noktalardan biri, yüksek kullanılabilirlik ve olağanüstü durum kurtarma (DR) için kurtarma noktası hedeflerine (RPO’lar) ve kurtarma süresi hedeflerine (RTO’lar) ve genel performans ve veri erişilebilirliği gereksinimlerine en iyi şekilde nasıl ulaşılacağıdır. AWS’nin geleneksel CRR araçlarını kullanarak bu hedeflere ulaşabilirsiniz veya ulaşamayabilirsiniz.
Bu makalede, S3 CRR’nin nasıl kurulacağına ilişkin beş basit adımı paylaşacağım ve ayrıca S3 CRR’nin daha hızlı çoğaltılmasını sağlayacak bir seçeneği de paylaşacağım.
Amazon S3 bölgeler arası çoğaltmayı ayarlama
Aşama 1: Farklı bölgelerde S3 paketleri oluşturma
Yeni S3 klasörleri oluşturmak basit bir işlemdir ve aşağıdaki adımlar izlenerek kolayca gerçekleştirilebilir:
1. AWS Management Console’da oturum açın.
2. S3 hizmetini seçin.
3. Soldaki menüden “Kovalar”ı seçin ve “Kova oluştur”u seçin.
4. Yeni paketi şu şekilde yapılandırın:
- Netlik sağlamak amacıyla bölgeyi ve “kaynak” veya “hedef”i içeren açıklayıcı bir paket adı seçmek.
- Paketler bölgesini seçin.
- Hem kaynak hem de hedef paketler için menüde sürüm oluşturmayı etkinleştirme.
Farklı bir bölge için başka bir paket oluşturmak üzere işlemi tekrarlayın.
Adım 2: Çoğaltma kurallarını yapılandırma
1. Kaynak paketini seçin ve şuraya gidin:
- “Yönetim” → “Çoğaltma kuralları” → “Çoğaltma kuralı oluştur.”
2. Kural için açıklayıcı bir ad girin ve kuralı hemen uygulamak için “Etkin”i seçin.
3. Bir kurala/kurallara bir öncelik numarası da atanabilir; sayı ne kadar düşükse, kuralın önceliği de o kadar yüksek olur.
- Örneğin, öncelik 1 kuralı altındaki S3 nesneleri, öncelik 2 kuralından önce çoğaltılacaktır.
4. Kural etkinleştirildikten sonra hedef grubu seçin.
- Hedef paket farklı bir AWS çapraz hesabına aitse birkaç ekstra adımın gerekli olduğunu unutmayın.
5. Öneklere dayalı seçimlerde ince ayar yapmak için isteğe bağlı filtreleri kullanarak çoğaltılacak grupları veya nesneleri tanımlayın. Bunun nasıl yapılacağına ilişkin adım adım talimatlar AWS’nin çoğaltma yapılandırma eğitiminde bulunabilir.
6. Hedef grupta çoğaltılan nesneler için depolama sınıfını seçin. Amazon, aralarından seçim yapabileceğiniz 8 farklı sınıf sunuyor.
Aşama 3: Kimlik ve erişim yönetimi izinlerini yönetme
AWS Identity and Access Management (IAM), hizmetlere ve kaynaklara rol/izin tabanlı erişim sağlar. Çoğaltma işleminin başarılı olması için, çoğaltma yapılandırmasıyla ilişkili IAM rolünün, yeni hedef pakete yeni nesneler yazmaya yönelik yeterli izinlere sahip olması gerekir.
Daha önce S3 Replikasyon kullandıysanız profiliniz için “Mevcut IAM rolleri arasından seç” seçeneğinden seçebileceğiniz bir IAM rolü zaten mevcuttur. Aksi takdirde Amazon S3 için okuma ve çoğaltma yetkisi veren yeni bir IAM rolünün oluşturulması gerekecektir.
AWS belgelerinden alınan aşağıdaki örnekte, DOC-EXAMPLE-BUCKET1 kaynak paketidir ve DOC-EXAMPLE-BUCKET2 hedeftir. Politika, çoğaltma yapılandırmasını almak ve paket içeriğini listelemek için Amazon S3’e erişim izni verir. Ayrıca S3’ün belirli bir nesne sürümünü ve onunla ilişkili erişim kontrol listelerini (ACL’ler) almasına ve ayrıca işaretçileri hedef pakete çoğaltmasına ve silmesine olanak tanır.
4. Adım: Ek özellikleri keşfetme
Amazon S3 Replication ayrıca yararlı olan ve kullanıcılar tarafından dikkate alınması gereken birkaç isteğe bağlı özellik de sunar. Onlar içerir:
- Şifreleme: Amazon S3, her klasör için Sunucu Tarafı Şifreleme (SSE-S3) sunar. 5 Ocak 2023’ten bu yana tüm yeni nesne yüklemeleri, hiçbir ücret ödemeden ve performansı etkilemeden otomatik olarak şifreleniyor. Ancak sunucu tarafı şifreleme için AWS Key Management Service (KMS) de mevcuttur. KMS şifrelemesini kullanıyorsanız kaynak pakette şifreyi çözmek ve hedefte yeniden şifrelemek için KMS anahtarlarına ihtiyaç duyulacaktır.
- S3 Çoğaltma Süresi Kontrolü (S3 RTC): Bu özellik, nesnelerin %99,99’unun 15 dakika içinde kopyalanacağını garanti eder. İş ve uyumluluk gereksinimlerini karşılamak için kullanışlıdır; dolayısıyla güveniyorsanız etkinleştirebilirsiniz.
- Çoğaltma ölçümleri ve bildirimler: Bu seçenek, bekleyen baytlar ve işlemler, çoğaltma gecikmesi ve daha fazlası dahil olmak üzere çoğaltma ilerlemesini dakika dakika izlemek için ayrıntılı ölçümler sunar. İlerlemeyi ayrı ücretlerle birlikte gelen Amazon CloudWatch aracılığıyla izleyeceğinizi unutmayın.
Adım 5: İnceleme ve test etme
Ek özellikleri değerlendirdikten sonra tüm çoğaltma ayarlarını gözden geçirin (1’den 3’e kadar Adımlar). Her şeyin düzgün çalışıp çalışmadığını test etmek için kaynak paketine yeni bir nesne yükleyin ve nesnenin hedefe kopyalanıp çoğaltılmadığını kontrol edin.
Herhangi bir sorun yoksa nesnelerinizin geri kalanını yükleyin ve çoğaltmayı izleyin.
Önceki adımda çoğaltma ölçümleri ve bildirimler etkinleştirildiyse her çoğaltma kuralının yanı sıra kaynak ve hedef paketler hakkında daha ayrıntılı bilgi almak için Amazon CloudWatch’u da kullanabilirsiniz.
Çoğaltma işlemini hızlandırma
Amazon S3 CRR, hizmete dahil olan güçlü bir özelliktir. Ancak karmaşıklığı nedeniyle de zorlayıcı olabilir. Bazı kullanıcıların yaşadığı sorunlara ek olarak, diğer zorluklar arasında sıcak ve sıcak DR için RPO’ların karşılanması ve diğer nesne depolama çözümü sağlayıcılarıyla birlikte çalışabilirlik yer alıyor.
Neyse ki yardımcı olabilecek bir çözüm var.
Yerel WAN optimizasyonu ile eşler arası (P2P) mimariyi kullanan bir çoğaltma çözümü gibi yeni bir yaklaşım kullanarak bölgeler arası çoğaltma sorununun üstesinden gelmek, organik olarak ölçeklenebilir bir tasarım sunar. Geleneksel replikasyon çözümlerine göre 3 ila 10 kat daha hızlı olmasının yanı sıra bu tür çözümler aşağıdaki gibi avantajlar sunar:
- Daha fazla esneklik – Herhangi bir bulut sağlayıcıyla (AWS, Google Cloud, Microsoft Azure vb.) ve her ortamda (şirket içi veya hibrit bulut) kullanılabilir. Bazı durumlarda çeşitli nesne depolama teklifleriyle birlikte kullanılabilir.
- Kurulum ve kullanım kolaylığı – Yeni donanım satın almaya veya veri taşımaya gerek kalmadan mevcut altyapıya dağıtılabilir ve çoğaltma iki saat kadar kısa bir sürede başlayabilir.
- Varsayılan olarak güvenli – AES 256 kullanarak bekleyen ve aktarılan verileri şifreler.
Yerleşik WAN optimizasyonuna sahip bir P2P mimarisinin kullanılması, geleneksel çoğaltma çözümlerinde görülen iki yaygın sorunun önlenmesine yardımcı olur:
- Yalnızca tek bir cihazın veya örneğin (hub) tüm ortamda verileri çoğaltabildiği istemci-sunucu mimarileri.
- Çoğaltmanın yalnızca en fazla 2 cihaz arasında sıralı olarak gerçekleşebildiği “güneşi takip et” modelleri (örneğin, Cihaz 1’in nesneleri Cihaz 2’ye kopyalaması gerekir, o da bunları daha sonra Cihaz 3’e kopyalar, vb.).
Yukarıdaki örneklerde çoğaltma her zaman en yavaş aygıtla sınırlıdır. Her çoğaltma örneği aynı zamanda tek bir hata noktası oluşturur: verileri kopyalayan aygıt başarısız olursa aktarımın tamamı başarısız olur.
Ayrıca çoğu CRR çözümü, WAN üzerinden aktarımlar için TCP’ye güvenir. Bölgeler ve son kullanıcılar arasındaki mesafe gecikmeye ve potansiyel olarak paket kaybına neden olur. Bu, TCP gecikme ve kayıpla mücadele ettiğinden çoğaltma hızlarını daha da yavaşlatır. S3 Çoğaltma da dahil olmak üzere TCP’ye dayanan geleneksel çoğaltma çözümleri, aktarımların yavaşlaması veya tamamen başarısız olması noktasına kadar zorlanabilir. Bu nedenle, geleneksel CRR söz konusu olduğunda uygulayıcılar dikkatli olmalıdır.