Merhaba,
Büyük veri ortamlarıyla ilgiliyseniz karşılaşacağınız olası problemlerden bir tanesi de Hadoop Distributed File System (HDFS) üzerindeki oluşan “Under Replicated Blocks” problemidir.
Öncelikle konuya bunun ne anlama geldiğiyle ilgili bir iki cümleyle başlayalım.
Kısaca söylemek gerekirse, sistem replikasını alacağı dosyaları bekletmektedir. Bekletmesinin nedeni de hedef replica dosyalarının işaretlenmemiş olmasından kaynaklanmaktadır.
Bu problemi çözmek için linux terminal’e erişim sağlayıp aşağıdaki komutları vermek gerekir.
hdfs fsck / | grep ‘Under replicated’ | awk -F’:’ ‘{print $1}’ >> /tmp/under_replicated_files
for hdfsfile in `cat /tmp/under_replicated_files`; do echo “Fixing $hdfsfile :” ; hadoop fs -setrep 3 $hdfsfile; done
xargs -n 1000 hadoop fs -setrep 3 < /tmp/under_replicated_files
Kolay gelsin 🙂