1️⃣ Real troubleshooting ssenarisi (Case Study)
🎯 Ssenari
Storage: All-Flash iSCSI (Active/Active, ALUA)
ESXi: 7.x
Şikayət:
"VM-lər ara-sıra donur, amma storage dashboard yaşıl görünür."
🔍 Addım 1 – esxtop (disk)
DAVG/cmd: 3–4 ms ✅
KAVG/cmd: 0.5 ms ✅
QAVG/cmd: 15–20 ms ❌
➡️ Storage sürətlidir, amma IO queue daxilində gözləmə yaranır.
🔍 Addım 2 – Path paylanması
Path1: 90% IO
Path2–4: 3–4%
➡️ Görünüşdə Round Robin (RR) aktivdir, lakin faktiki olaraq Fixed kimi işləyir.
🔍 Addım 3 – PSP yoxlanışı
PSP:
VMW_PSP_RRIOPS: 1000 (default)
🎯 Root cause müəyyən edildi.
🛠️ Həll
esxcli storage nmp psp roundrobin deviceconfig set \
-d naa.xxx -t iops -I 1 -U true
📈 Nəticə
| Metrik | Əvvəl | Sonra |
|---|---|---|
| QAVG | 18 ms | 0.3 ms |
| VM freeze | Var | Yox |
| IO paylanması | Balanssız | Balanslı |
📌 Problem Storage deyil, Multipath konfiqurasiyası idi.
2️⃣ iSCSI vs FC – Latency fərqləri (real mühit)
🔹 iSCSI
TCP/IP üzərindən işləyir.
CPU yükü yaradır.
NIC və MTU konfiqurasiyasına həssasdır.
Tipik Latency (All-Flash):
0.8 – 2 ms
🔹 Fibre Channel (FC)
Dedicated Fabric istifadə edir.
Daha stabil işləyir.
CPU üzərində əlavə yük yaratmır.
Tipik Latency:
0.5 – 1 ms
⚖️ Müqayisə cədvəli
| Xüsusiyyət | iSCSI | FC |
|---|---|---|
| Latency | Bir qədər yüksək | Daha aşağı |
| Xərc | Aşağı | Yüksək |
| İdarəetmə | Asan | Daha mürəkkəb |
| Multipath həssaslığı | Yüksək | Orta |
📌 Yanlış iSCSI tuning edildikdə performans FC ilə müqayisədə 5 dəfə aşağı ola bilər.
3️⃣ NVMe-oF Multipath tuning
NVMe-oF çox aşağı Latency təqdim edir. ⚡
Lakin yanlış konfiqurasiya bütün üstünlükləri aradan qaldıra bilər.
🔹 NVMe-oF və SCSI fərqləri
Queue Depth xeyli yüksəkdir.
Path switching daha sürətlidir.
🔹 Best Practice
PSP: RR
IOPS: 1
Path sayı: 2–4 (bundan çoxunun adətən faydası yoxdur)
Queue Depth: Vendor-un default dəyəri
🔹 Yoxlama komandaları
esxcli nvme device list
esxcli nvme path list
esxtop üzrə tövsiyə olunan göstəricilər:
DAVG < 1 ms
QAVG ≈ 0
🚨 Əgər QAVG > 1 ms olarsa:
Həddindən artıq Path
NIC oversubscription
kimi problemlər yoxlanılmalıdır.
4️⃣ VM üzrə Latency analizi (ən dəyərli analizlərdən biri)
🔹 esxtop → VM view
v
Aşağıdakı sütunları aktiv edin:
GAVG
DAVG
KAVG
QAVG
🔍 Göstəricilərin şərhi
| Vəziyyət | Mənası |
|---|---|
| VM-də GAVG yüksəkdir, Host normaldır | Problem VM daxilindədir |
| VM və Host birlikdə yüksəkdir | Problem Storage tərəfindədir |
| Yalnız bir VM yüksək göstərici verir | Noisy Neighbor ehtimalı yüksəkdir |
🔹 VM daxilindən təsdiqləmə
Windows
diskspd -c10G -d30 -r -w30 -b8K -t4 -o32 c:\test.dat
Linux
iostat -x 1
🚨 Ən vacib "Red Flag" (yadda saxla)
"Host Storage sürətlidirsə, amma yalnız bir VM yavaşdırsa, problemin 90%-i VM daxilindəki IO Pattern ilə əlaqədardır."
🎯 Yekun xülasə
✅ esxtop real performansı göstərən əsas alətdir.
✅ QAVG yüksəkdirsə, ilk növbədə Multipath konfiqurasiyası yoxlanılmalıdır.
✅ Düzgün iSCSI tuning ilə performans Fibre Channel səviyyəsinə yaxınlaşdırıla bilər.
✅ NVMe-oF çox yüksək performans təqdim edir, lakin kiçik konfiqurasiya səhvlərinə qarşı həssasdır.
✅ VM üzrə Latency analizi problemi düzgün Root Cause Analysis ilə müəyyən etməyə kömək edir.
Комментарии
Отправить комментарий