Debian Linux makina için 10GbE ethernet adaptörü

[taydin]

Benim NAS'ta 10 Gb hızda çalışan SFP+ ethernet portu var. Benim linux makinayı bu porta bağlamak için uygun bir SFP+ ethernet kartı araştırdım ve İntel'in X520-DA1 kartını buldum. Linux altında çalıştığına dair bilgiler de okudum internette. Zaten bu kart çok eski bir kart, 10 yıl öncesinin tasarımı, o yüzden linux ile uyumlu hale getirilmiştir çoktan diye düşünüyorum.

SPF+ bağantısı aslında fiberoptik bir bağlantı. X520-DA1 üzerinde bir SPF+ yuva var, buraya uygun bir modül yerleştiriyorsun ve bu modül de elektriksel sinyali optiğe dönüştürüyor. Diğer uçtaki aynı SPF modülü de optik sinyali elektriksel sinyale dönüştürüyor ve kullanıyor. İletim optik olduğu için optik kablonun uzunluğu kilometrelerce olabiliyor ve gene de kayıpsız veri iletimi mümkün oluyor.

Ama bir de şöye bir kullanım şekli var, ve asıl ilginç olanı da bu, eğer mesafe çok kısa ise, o zaman optik SPF modülü kullanmaya gerek kalmıyor. Doğrudan bakır kablo ile bağlantı yapıyorsun ve gene 10 Gb hızda çalışıyor (en azından öyle deniyor, ben kendim denemedim). Ben de tam olarak bu yapıyı kullanıyor olacağım. Ethernet kartını linux'a takıp kernel'in tanımasını sağlayacağım. Sonra da özel DAC kablosu kullanarak bu kartı NAS'a bağlayacağım. DAC kablosunun ucunda gene SPF modül kutusu var, ama içinde herhangi bir devre falan yok, doğrudan bağlantı yapıyor. Kullandığım kablo da optik değil, bakır kablo.

 

[taydin]

Ben 3 m lik DAC kablo aldım, ama 7 m ye kadar olan çeşitleri var. Bağlantı bakır olunca uzunluk arttıkça kayıp da artıyordur herhalde. Kurulumu yapınca hız ölçümü de yapacağım. Ama bir yandan da düşünüyorum. Bu RAID5 in mevcut hızı ortalama 50 MB/s. 10 Gb ethernet'in teorik hızı 1250 MB/s. Yani ethernet bağlantısı, diskin kendisinden 25 kat daha hızlı. Artık kurulum bittikten sonra genel olarak performansı karşılaştırmak lazım. Belki okumada durum çok daha farklı olacak.

 

[ozkarah]

50 MB/s çok yavaş değil mi? Bende 7-8 yıllık 5 diskli bir Synology var. 80-100 MB/s (küçük dosyalarda çok yavaşlıyor) civarında RAID5 hızı.
Dahili disklerde Seagate IronWolf kullanıyorum. Birde küçük bir SSD disk SSD cache olarak çalışıyor.

 

[taydin]

50 MB/s çok yavaş değil mi? Bende 7-8 yıllık 5 diskli bir Synology var. 80-100 MB/s (küçük dosyalarda çok yavaşlıyor) civarında RAID5 hızı.
Dahili disklerde Seagate IronWolf kullanıyorum. Birde küçük bir SSD disk SSD cache olarak çalışıyor.

WD Red belki de yavaş. Seagate'i hiç denemedim.

 

[taydin]

Ama hız ölçümünü nasıl yaptığın da önemli. Ben mesela file station kullanarak kopyalama yaparsam, hız bazan 100 küsür MB/s değerine fırlıyor, sonra çok küçük değerlere düşüyor. Sanki file station caching yapıyor, cache dolunca da diske yazarken yavaşlıyor.

 

[ozkarah]

USB 3.0/e-Sata diske/diskten kopyalama hızı ve ağdaki bilgisayara/bilgisayardan kopyalama hızı olarak düşünebilirsiniz.

 

[taydin]

Şimdi 10 GbE kartı linux'a taktım. Kartın üzerindeki Intel Corporation 82599ES chipset'in sürücüsü herhalde hazır vardı linux kernel'de, herhangi birşey kurmak zorunda kalmadım.

Ağ yapılandırması biraz uğraştırdı. Linux'ta iki tane ağ arabirimi varsa özel bir şekilde yapılandırılması gerekiyor. Ben 10 GbE kartı için ayrı bir subnet tanımladım. Bazı başka ayarlar da yaptım ama bu ayarların ayrıntılarını farklı bir konuda anlatmak lazım. Şu anda Linux'un iki ağ arabirimi de aktif.

Hemen NAS'a secure shell ile bağlandım ve aşağıdaki adreste 64 bit ARM için hazır derlenmiş iperf3 programını NAS'a indirdim.

GitHub - userdocs/iperf3-static: A static build of iperf3 to do network testing on remote servers.

A static build of iperf3 to do network testing on remote servers. - userdocs/iperf3-static

github.com

Sonra NAS'ta iperf3 ü sunucu (server) olarak çalıştırdım. Benim linux makinada da istemci (client) olarak çalıştırdım. Sonuç fena değil. Ortalama hız 5.8 Gbit/saniye. Aslında 10 Gbit/saniye'ye daha da yaklaşılabilir, ama NAS'ta kullanılan işlemci "Annapurna Labs Alpine AL324" diye gömülü sistem işlemci, performansı ancak bu kadara izin veriyor. Daha üst seviyede performans veren işlemcili NAS'lar var, ama fiyatları benim aldığımın iki misli. Gerek de yok, çünkü harddisklerin hızı bu hızdan çok daha düşük.

root@bonsai:~# iperf3 -c 10.2.2.230
Connecting to host 10.2.2.230, port 5201
[  5] local 10.2.2.250 port 46654 connected to 10.2.2.230 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec   708 MBytes  5.94 Gbits/sec    0   1.21 MBytes      
[  5]   1.00-2.00   sec   701 MBytes  5.88 Gbits/sec    0   1.21 MBytes      
[  5]   2.00-3.00   sec   701 MBytes  5.88 Gbits/sec    0   1.21 MBytes      
[  5]   3.00-4.00   sec   672 MBytes  5.64 Gbits/sec    0   1.21 MBytes      
[  5]   4.00-5.00   sec   698 MBytes  5.85 Gbits/sec    0   2.19 MBytes      
[  5]   5.00-6.00   sec   722 MBytes  6.06 Gbits/sec    0   3.24 MBytes      
[  5]   6.00-7.00   sec   699 MBytes  5.86 Gbits/sec    0   3.24 MBytes      
[  5]   7.00-8.00   sec   695 MBytes  5.83 Gbits/sec    0   3.24 MBytes      
[  5]   8.00-9.00   sec   689 MBytes  5.78 Gbits/sec    0   3.24 MBytes      
[  5]   9.00-10.00  sec   699 MBytes  5.86 Gbits/sec    0   3.24 MBytes      
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  6.82 GBytes  5.86 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  6.80 GBytes  5.84 Gbits/sec                  receiver

 

[taydin]

Eğer linux PC nin 1 Gb ethernet arabiriminden kopyalama yaparsam, ortalama 60 MByte/s gibi bir hızla yazıyorum, 10 Gb ethernet arabirimi ile kopyalama yaparken de ortalama 80 MByte/s gibi bir hızla yazıyorum. Yani 10 Gb nin faydası oldu. Okumayı da sonra ayrı olarak test edeceğim.

Bu fayda neyden kaynaklanıyor bilmiyorum. Belki TCP/IP de standart olarak kullanılan "congestion control" algoritmasından olabilir. Bu algoritma, TCP/IP bağlantısını yavaş olarak başlatıyor ve link şartlarına göre hızlandırıyor ve nihayetinde maksimum hıza ulaştırıyor. 10 Gb bağlantıda bu aşamayı çok daha hızlı tamamlıyor olabilir. Ama emin değilim, sadece tahmin.

 

[volta]

Eğer linux PC nin 1 Gb ethernet arabiriminden kopyalama yaparsam, ortalama 60 MByte/s gibi bir hızla yazıyorum, 10 Gb ethernet arabirimi ile kopyalama yaparken de ortalama 80 MByte/s gibi bir hızla yazıyorum. Yani 10 Gb nin faydası oldu. Okumayı da sonra ayrı olarak test edeceğim.

Bu fayda neyden kaynaklanıyor bilmiyorum. Belki TCP/IP de standart olarak kullanılan "congestion control" algoritmasından olabilir. Bu algoritma, TCP/IP bağlantısını yavaş olarak başlatıyor ve link şartlarına göre hızlandırıyor ve nihayetinde maksimum hıza ulaştırıyor. 10 Gb bağlantıda bu aşamayı çok daha hızlı tamamlıyor olabilir. Ama emin değilim, sadece tahmin.

Gerçi siz bunu zaten düşünmüşsünüzdür ama ben söyleyeyim yine içimde kalmasın cat 8 kablo kullansanız kopyalama hızı daha çok artmaz mı?

 

[taydin]

Gerçi siz bunu zaten düşünmüşsünüzdür ama ben söyleyeyim yine içimde kalmasın cat 8 kablo kullansanız kopyalama hızı daha çok artmaz mı?

SFP+ portlarına giren özel DAC kablo kullandım. Bunun dışında farklı bir kabloyu bağlama imkanı yok.

Bu DAC kablonun bant genişliği 25 Gbps. Cat8 ile elde edilebilecek maksimum bant genişliği de 40 Gbps olarak görünüyor, yani bunlar yapı olarak muhtemelen birbirine benziyordur.

 

[volta]

Anladım peki 10 Gbps 1.25 GB'a tekabül ederken ve kablonuz bu şartları sağlarken sizi sınırlayan hdd galiba. Yani hızlı bir ssd kullansanız 1GB/s ye yakın bir hız alırsınız galiba.

 

[taydin]

Anladım peki 10 Gbps 1.25 GB'a tekabül ederken ve kablonuz bu şartları sağlarken sizi sınırlayan hdd galiba. Yani hızlı bir ssd kullansanız 1GB/s ye yakın bir hız alırsınız galiba.

Evet SSD çok büyük bir hız farkı yaratır. Gene ağ hızının altında kalır ama baya yaklaşır. Ama SSD çok büyük bir fiyat farkı da yaratıyor tabi

Yalnız normal kullanım için şunu öneriyorlar: 1 TB lik bir SSD diski bütün NAS için bir önbellek gibi tanımlayabiliyorsun. O zaman ortalama yazma ve okuma hızın çok yükseliyor. Ama benim yaptığım gibi bir devasa diskten NAS'a bütün dosyaları kopyalıyorsan SSD ön belleğin hiç faydası olmaz, tam tersi yavaşlatır.