Başlangıç > HP, VMware > 160: HP-AMS ve “can’t fork” hatası

160: HP-AMS ve “can’t fork” hatası

HPBrokenESXi içerisine PartnerSupported bir driver kurma konusu her zaman düşündürür çünkü son derece stabil çalışan bir ortama üçüncü parti bir eklenti, riskleri de beraberinde getirir. Yakın zamanda HP ile bu şekilde bir tecrübem oldu ve eğer siz de HP donanımları üzerinde ESXi koşturuyor ve offline bundle kullanıyorsanız dikkat etmenizi tavsiye ederim.

Yeni HP donanımları üzerine, 1,5 ay kadar önce HP customized ISO ile ESXi kurulumu yapmış ve mutlu mesut yaşarken, dün bazı sıkıntılar dikkatimi çekmeye başladı. DRS ile tetiklenen bir çok vMotion operasyonunun %14’de askıda kalarak zaman aşımına uğradığını farkettim. Biraz daha incelediğimizde şu semptomları farkettik:

  • 4 adet ESXi sunucusu ile ilgili vMotion operasyonu gerçekleşmiyor, zaman aşımına uğruyor. Ancak offline olarak sunucular taşınabiliyor.
  • SSH bağlantısı gerçekleştirilemiyor.
  • DCUI üzerinden ESXi Shell ekranını aldığınızda “/bin/sh: can’t fork” uyarısı görülüyor ve login gerçekleştirilemiyor.
  • DCUI üzerinden VMkernel loglarına bakıldığında aşağıdaki benzer hatalar gözlemleniyor
    • Heap: 3058: Heap_Align(globalCartel-1, 136/136 bytes, 8 align) failed. caller: 0x41802a2ca2fd
    • WARNING: Heap: 2677: Heap globalCartel-1 already at its maximum size. Cannot expand.

CantFork

Sebebin, HP’nin offline bundle’ı içerisinde gelen bir driver’ın (HP-AMS, Agentless Management Service) memory leak yaratması olduğu ortaya çıktı. Eğer aşağıdaki versiyonlar sizin sisteminizde de kurulu ise, risk altındasınız demektir:

  • hp-ams 500.9.6.0-12.434156
  • hp-ams-550.9.6.0-12.1198610
  • hp-ams 500.10.0.0-18.434156
  • hp-ams-550.10.0.0-18.1198610

Hangi versiyona sahip olduğunuzu öğrenmek için aşağıdaki komutu çalıştırmanız yeterli:

esxcli software vib list | grep hp-ams

Bu tip bir sıkıntı ile karşılaştığınızda, offline gece çalışmasını planlamaya başlamadan önce, deneyebileceğiniz bazı aksiyonlar var. Eğer kümenizde halen SSH ile erişebildiğiniz sunucular var ise, yapmanız gerekenler:

  • HP-AMS servisini durdurmak:
    • /etc/init.d/hp-ams.sh stop
  • Servisi durdurmak bir sonraki reboot sonrasında çalışmasını engellemeyeceğinden dolayı, servisi kaldırmak:
    • esxcli software vib remove -n hp-ams
  • ESXi sunucunuzu restart etmek.

SSH ile erişebildiğiniz sunucularda bu işlemleri gerçekleştirin ancak henüz restart etmeyin. Bu işlemler sonrasında vMotion operasyonunu tekrar deneyin. Eğer SSH ile erişemediğiniz sunucu üzerinden vMotion yapabilmeye başlayabilirseniz (benim senaryomda bu şekilde gerçekleşti) rahat bir nefes alabilir, en azından gece çalışmasına gerek kalmadan sunucularınızı sıra ile yukarıdaki işleme sokup restart edip durumu kurtarabilirsiniz. Ancak tüm bu işlemlerden sonra, ortamınız stabil duruma ulaştığında, HP’nin en en en güncel offline bundle versiyonunu bulup, sistemlerinizi güncellemeyi ihmal etmeyin.

Kategoriler:HP, VMware Etiketler:
  1. Henüz yorum yapılmamış.
  1. 26.12.2014, 18:11

Bir Cevap Yazın

Aşağıya bilgilerinizi girin veya oturum açmak için bir simgeye tıklayın:

WordPress.com Logosu

WordPress.com hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Google+ fotoğrafı

Google+ hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Twitter resmi

Twitter hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Facebook fotoğrafı

Facebook hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

w

Connecting to %s

%d blogcu bunu beğendi: