Изграждане на връзка над 1Gbps в домашна мрежа

[tedy]

А сървъра е само сторидж ли? До колкото схващам виртуалките работят на друга машина, а дисковете им са на сървъра?

Да. Във vmware (на десктопа, където се изпълняват виртуалките) за тези VMs просто съм задал локейшъна да е мрежов ресурс (специална шерната папка за VMs на \\192.168....). Имам някоя друга виртуалка директно на десктопа, но другите предпочитам да ги "офлоудна" като сторидж към сървъра, хем като са на един от дисковете, мога да ги ползвам, а в същото време на друг диск да тече трансфер или нещо друго, т.е. наличието на няколко диска на сървъра разпределя товара (между различни задачи и употреби), което се и възползва от 10гбит връзка по-добре.

На десктопа съм оставил засега два работни диска по 1ТБ и едно SSD, като общо взето гледам сторидж на повечето неща, филми и т.н., да е на сървъра, там с 4 диска (в момента единия е изключен де). Но "сторидж" е само една от функциите на сървъра, има FTP, web, има и 2 виртуалки 24/7 заради някои неща, вкл. за DLNA renderer през foobar2000, защото се оказа, че последния заедно с адд-она за dlna renderer не работи коректно когато е на хост-а, където има няколко ланкарти, а във виртуалката е една лан-ка и работи коректно - така от мрежата мога да пускам музика ако искам през усилвателя без да пипам жици - от десктопа с foobar-a си направих даже клавишна комбинация, с която бързо превключвам на dlna и вместо слушалките, прекарва музиката към онзи фубар във виртуалката и оттам в колоните, докато десктопа си остава свързан само със слушалки.

[ARPAnet]

Ясно, ако решиш да оптимизираш още, погледни към FreeNAS. ZFS в комбинация с някое малко nvme за кешинг ще ти ускори още достъпа до дисковетe, а новите версии на FreeNAS вече имат и хайпървайзър в себе си и могат да рънват виртуалки

Edited April 12, 2018 by ARPAnet

[tedy]

Е, от какъв зор да си развалям идилията и да мина на по-лош вариант ...

Друго си е пълноразмерен Windows server на който да инсталирам каквото си поискам без много суетене с нова за мен платформа, той е вързан и за телевизора по стечение на обстоятелствата, и се ползва и като медиен плеър/HTPC (филмите не товарят процесор, а DXVA видеокартата), openvpn, mail server, mysql.., торенти понякога, че и ZNC, да не говорим за възможността да го ползвам и ако се наложи при разпределено рендване на видео или друго (въпреки все пак относително стария и слаб феном (за съжаление поради бъг в дъното не мога и да го клокна, иначе чувам че държал и до 3.8ГХц без проблем)), и всичко това под позната за мен windows платформа .

Повечето функции са локални със слабо натоварване, за тестове или девелопмент.

[ARPAnet]

Е аз заради това първо попитах дали е само сторидж, и чак след това предложих нещо което е по-сторидж насоченко. Пък и покрай "сървър", не предположих че може да е медиа плеър закачен за ТВ 

Другото спокойно си рънва от виртуалка/и.

Защо да го правиш? Ако ти се бъзика с нещо, иначе и така си е супер. Споделям просто идея

 

За по-лош, не бих казал. ZFS си носи удобства особено в направление бързи трансфери, freenas-а като сторидж платформа хич не е лош за такива домашни условия.

Edited April 12, 2018 by ARPAnet

[tedy]

Еми.. не харесвам прекаленото разточителство откъм машини, всяка със строго предназначение, особено в домашни условия. Не бих ползвал специален NAS, а така сървъра има доста задачи, повечето леко-натоварващи, като няма някоя силно открояваща се, може би FTP-то е малко по-важно, че събира бекъпите на едни сървъри. И виртуалните машини, които рънват едни неща, които са ми нужни за да работят едни други софтуери .

Медиа-плеър функциите са невинни, рядко се гледат филми, и като цяло нестабилност от гледане на филми досега не съм имал никога на никоя машина. Виж, от игри редовно нещо крашва, забива, или става черен екран нещо..., затова за игрите имам специален Windows (10) на десктопа .

Покрай различните функции на "сървъра" (нека да е в кавички тогава) 10-гбит се оказа значително полезно - дори пиково да са нужни може би не повече от 4 гбит в реални условия, смея да мисля, че спомага и за по-голяма пъргавност, на теория... ако предположим че един пакет е около 1500 байта и при 1, и при 10 гбит връзка, то една малка команда примерно за достъп до файл, се транслира все в минимум 1500 байта пакет, и този пакет ще премине при 10гбит мрежа 10 пъти по-бързо. Дори ако е 5 пакета, връзката е 10 пъти по-бърза, и пакетите ще минат по-бързо при 10 гбит. Така си го представям.

[ARPAnet]

FreeNAS вече има и хайпървайзър и съответно рънва виртуалки в/у които можеш спокойно да рънваш страничните таскове.  Но видео output–а вече е друга бира
Всъщност за малък пакет няма да усетиш разлика, но на 10Г и за сторидж е добре да си сетнеш МТУ-то на 9000

 

[tedy]

Еми аз дето основните таскове така или иначе пак ще са ми на Windows, май леко се губи смисъла заради някакви теоретични ползи от ZFS, като и NTFS върши същата работа. И поне основните неща не са ми виртуализирани.

За пакета.. вярно ли разсъждавам (на база и прочетено навремето), че ако увелича размера на МТУ, това просто ще намали cpu load?  Пък и тия 9000 не се ли водят вече джъмбо фрамес? Какво имаш предвид, че няма да усетя разлика за малък пакет, в какъв смисъл и спрямо какво?

Няма да барам пакета (за което препоръчаха доста хора по доста форуми, дори за 10Г), и така виждам, че за 2-3 гигабита се запълва на 100% капацитета на дисковете, което е около 200МБ/с.

[ARPAnet]

За малък пакет минаващ през 1Г или 10Г едва ли би усетил разлика в скоростта при TCP. TCP има няколко механизма за проверка на състоянието на мрежата и получаващата машина които водят до изначално по-ниска скорост на трансфер. Казано с други думи, не започва да праща с 10Г директно, съответно малки файли ще приключат трансфера по мрежата преди да достигнеш 10Г, че и преди 1Г

За 10Г мту 9000 се приема за стандартна стойност. VMware от своя страна препоръчват MTU 9000 за сторидж свързаността си, дори на 1Г

[tedy]

Съжалявам, че зачеквам малко по-подробно този аспект, но мисля, че в контекста на темата е полезен.

В случая говорим само за TCP в контекста на локална мрежа с трансфер на файлове и подобни.

Искаш да кажеш, че ако трансферирам 10,000 малки файла (примерно, заради споменатите "малки" пакети), няма да има разлика? Няма ли най-малкото всеки пакет да минава 10-тина пъти по-бързо при 10Г? Доколкото разбирам ти имаш предвид нещо като ... хандшейк при всеки трансфер докато съгласува скорост, подобно на най-малкото общо кратно когато свързваш две устройства (каквито и да е, примерно слагаш памет на дъно, и то първо я пуска на сейф 2133 за ддр4 примерно)?

Аз си го представям като 1500 (или 1518, все тая) байтов пакет при 1Гбпс ще мине за 1,000,000,000 / (1500*8) = 5,333,333 пакета/сек = за 0,00000019 сек (около 200 ns). А при 10Г, за 20ns. Може и да греша . Другите фактори/условия (като TCP проверката за грешки и т.н.) предполагаме че са същите и ги има и при 1 и 10Г.

Ако има някакъв период на установяване на параметрите на физическия линк след по-дълго idle (ако това имаш предвид), предполага се че бързо установява 10Г при започване на по-интензивен трафик дори на малки файлове. За единичен 100К файл естествено че няма да усетя разлика дори да беше 10Мбит връзката.

Edited April 13, 2018 by tedy

[ARPAnet]

Това е, че той не започва да трансферира на пълен гигабит или пълни десет гигабита. Има няколко congestion механизма в TCP които се грижат да проверят наличният капацитет на мрежата м/у двете точки, както и капацитета на получаващата страна. Разгледай за TCP slow start. 

Реалният ефект е като при ускорение на автомобил, започва по-бавно и ускорява докато достигне максимална скорост, но транзакцията е приключила много преди да достигнеш максимална скорост . Всъщност в win10/server 2016 Майкрософт вдигат initial congestion window-а, но все пак не тръгва на фулл 10Г Всъщност даже може да наблюдаваш това, доста тулове за копиране/сваляне показват на каква скорост се случва движението. 
 

Това до тук е от гледна точка на TCP стака. Но ако погледнем по-практично към нещата, ако хванеш една директория с хиляди малки файлове и започнеш да я копираш по мрежата, отново 10-те г няма да се ползват оптимално заради всичко друго което се случва по време на копиране. Индексиране, копиране на метадата, атрибюти. Имаш overhead идващ от протокола през който копираш (smb,nfs...)
Малките файли са досадно нещо

[tedy]

Това последното е ясно , то го има и при двата вида мрежи, въпроса е дали при 10Г дори при 10,000 малки файли, поне мрежата да е по-малък фактор, защото овърхеда, преминаващ през мрежата, преминава през... мрежата, и ако самата тя може да прекара по-бързо тези овърхеди, присъщи на неща извън мрежата (слоеве на кешове, сата интерфейси и т.н.), пак би било добре . (EDIT): Тука малко глупости написах - овърхедите извън мрежата не преминават през нея - въпросът е което преминава през нея, дали 10Г има ситуации, в които просто по-бързо прекарва пакетите спрямо 1Г.

В този контекст идва и първата част на поста ти, където явно горе долу правилно интерпретирах думите ти - точно в тази част на протоколите никога не съм се интересувал особено, това с бавния старт.

Не ми се чете подробно, но накратко - горе долу колко време трае това slow start, и ако тръгна да копирам 10ГБ файл, колко бързо ще достигне макс скорост? Щото прозореца за копиране не е много показателен, дори да тръгне бавно, защото доста често скоростта даже тръгва веднага на висока скорост (примерно кеширана част от файла) и впоследствие даже пада.

И друго - някакво idle time ли се чака преди отново да започне този slow start?

Като цяло, при малки файлове, дори не се усеща кога минават, то там и кешове има, и др. от OS, така че не е показателно и не мога да съдя за мрежовата част от цялото.

Но иначе определено се усеща, както казах, върви 180МБ трансфер, в същото време VM зарежда през мрежата, и всичко .

Edited April 13, 2018 by tedy

[ARPAnet]

Това последното е ясно , то го има и при двата вида мрежи, въпроса е дали при 10Г дори при 10,000 малки файли, поне мрежата да е по-малък фактор, защото овърхеда, преминаващ през мрежата, преминава през... мрежата, и ако самата тя може да прекара по-бързо тези овърхеди, присъщи на неща извън мрежата (слоеве на кешове, сата интерфейси и т.н.), пак би било добре .

В този контекст идва и първата част на поста ти, където явно горе долу правилно интерпретирах думите ти - точно в тази част на протоколите никога не съм се интересувал особено, това с бавния старт.

Не ми се чете подробно, но накратко - горе долу колко време трае това slow start, и ако тръгна да копирам 10ГБ файл, колко бързо ще достигне макс скорост? Щото прозореца за копиране не е много показателен, дори да тръгне бавно, защото доста често скоростта даже тръгва веднага на висока скорост (примерно кеширана част от файла) и впоследствие даже пада.

И друго - някакво idle time ли се чака преди отново да започне този slow start?

Като цяло, при малки файлове, дори не се усеща кога минават, то там и кешове има, и др. от OS, така че не е показателно и не мога да съдя за мрежовата част от цялото.

Но иначе определено се усеща, както казах, върви 180МБ трансфер, в същото време VM зарежда през мрежата, и всичко .

Разбира се, че се усеща. ВМ диска е голям файл който се чете по мрежата на висока скорост. Мрежата като такава има много капацитет и може да хвърляш каквото си искаш през нея. 

Не е айдъл, а започване с ниска скорост. Представи си ускорение на кола, максималната скорост ти е 10Г, но започваш от 0, и ускоряваш на горе.. Но файла се е трансферирал преди да стигнеш 10Г.. И пак.. 

Иначе е договаряне м/у машините, започва да трансферира на ниска скорост за да избегне грешки идващи от претоварена мрежа, и при всеки ACK се вдига скоростта, до постигане на максималната възможна в момента през мрежата. 

http://share-web.s3-website-eu.object.vdc.interoute.com/slowstart.png

[tedy]

Но при колата първо трябва да спреш, а при реално движение ти намаляш, ускоряваш, спираш изцяло само на светофари примерно.

В случая с трансфер е доста често да има 0-100-0-100 и т.н. трансферни пакети, т.е. натоварването е 0-макс-0-макс, подобно като процесора, където от idle пускаш рар-ване на 10МБ файл, рарва се и пада до 0, и така.

При какви условия "започва" това "засилване" на скоростта, след като е бил idle еди колко си секунди ли, и да трябва отново 'договаряне' и "покачване" отново на скоростта... плавно..

Мен това ме заинтригува.

Щото то ебаси кривото ако прекарам 10МБ -> пада до 0, след 2 сек прекарвам 50МБ, после след 4 сек пусна 10ГБ файл..., ако след всяка "нула-трансфер-прозорец" започва да засилва по същия лууп-схема...

Но пък надали почва засилването от една и съща база при 1 и 10 Г, поне това.. .

[netrootbg]

tedy скоростта на трансфер е еднаква(битове). Има разлика в капацитета. На български всъщност правилният израз е забавянето. Има си време което отнема на импулсите да минат през кабела и това време не зависи от това дали връзката ти е на 100mbit или на 10Gb.

[tedy]

Ясно, явно ще трябва някъде да прочета повече по въпроса, тук не става. ARPAnet според мен казва нещо различно, и аз само се обърквам повече. Като например в конкретния казус каква е разликата между капацитета и скоростта (по принцип знам каква е, но само по принцип, а не за конкретния казус, където това повече ме озадачава). Импулсите чисто физически си пътуват с някаква ограничена скорост по дадена жица, това е ясно, и тя е примерно ограничена от скоростта на ел-магнитните вълни, и щом имаме 10Г, явно тази скорост позволява 10Г за тези дължини (10 метра), а за над 10 метра препоръчват оптика при SPP+, докато при 1Гбпс обикновен UTP може до 100 метра. И т.н.

Благодаря на включилите се. Аз усещам по-голяма пъргавост при този линк спрямо 1Gbps, това ми е достатъчно засега, другото беше от интерес, но явно ще трябва повече четене, нещо което май ще стане друг път.

[RaptoR]

Знам, че нямаме изрично правило, но все пак бихте ли говорили на български?     

[plameni]

Че то главният раздел и подразделът не са на български 

[ARPAnet]

https://www.speedtest.net/my-result/d/b6db82a0-38ba-4b79-8d48-a5985eea0942

https://www.speedtest.net/my-result/d/b9144d5e-21de-4856-8a4b-48bbcbaa9c0c

 

Не било лесно да се тестват такива скорости Но не е зле като за лаб

[tedy]

https://www.speedtest.net/my-result/d/b6db82a0-38ba-4b79-8d48-a5985eea0942

https://www.speedtest.net/my-result/d/b9144d5e-21de-4856-8a4b-48bbcbaa9c0c

 

Не било лесно да се тестват такива скорости Но не е зле като за лаб

Що толкоз ниски? Тряя да е поне 9800.

Иначе с тия 2мс най-вероятно ST сървъра си е техен и си рутират като във вътрешна мрежа .

Не съм впечатлен

То аз при вътрешни тестове достигам над 9.6гбит.

Edited June 17, 2018 by tedy

[ARPAnet]

Що толкоз ниски? Тряя да е поне 9800.

Иначе с тия 2мс най-вероятно ST сървъра си е техен и си рутират като във вътрешна мрежа .

Не съм впечатлен

То аз при вътрешни тестове достигам над 9.6гбит.

Не е наш ст сървъра, нашият си е кръстен Interoute:)

Та това е интернет

Вътре са 2х10 в LACP

[tedy]

Дали повечето спеедтест сървъри са вързани с над 1Gbps към "клиентите"....

Винаги съм се чудел коя е максималната скорост, която ST сървърите могат да измерят, има ли някакъв критерий за присъединяване, дали различните сървъри имат различни възможности за скорост, примерно да има такива, които са до 100мбит. Досега каквото и където съм мерил, поне в Европа, навсякъде виждам над 100мбит, значи са поне на 1Gbps линк, ама нагоре как са..

Колкото до "това е интернет", 10гбпс интернет може да има само в някой датацентър или бизнес ентити някакво . Или се лъжа..

[ARPAnet]

Моя грешка,мислех си за нещо друго, в този имам за сега само 1х10 на машините, но си чакам новите меланокс суичове, тогава би трябвало да мина на 25Г, както съм си тук в Прага http://share-web.s3-website-eu.object.vdc.interoute.com/prg.png  

То аз при вътрешни тестове достигам над 9.6гбит.

10Г може да изглежда и така

http://share-web.s3-website-eu.object.vdc.interoute.com/10G.png

Дали повечето спеедтест сървъри са вързани с над 1Gbps към "клиентите"....

Има доста на над 1Г. Нашите са лимитирани на 5Г. 

 

Колкото до "това е интернет", 10гбпс интернет може да има само в някой датацентър или бизнес ентити някакво . Или се лъжа..

Лаба ми е вързан директно в нашите supercore рутери, и минава през тях на колкото може.

Нещо малко по-далеч  : 

http://share-web.s3-website-eu.object.vdc.interoute.com/ping.png

http://share-web.s3-website-eu.object.vdc.interoute.com/fr.png

Друго си е интернета да ти е като интранет 

Просто се хваля с новото си творение, тамън си го сглобих в Лондон. По принцип в/у него създавам новата ни платформа за пърформанс тестове, та се бъзикам да видя как се справя към момента.

Edited June 17, 2018 by ARPAnet

[tedy]

Е, това явно ти е някаква служебна мрежа, това работиш, поддържаш и мениджваш .

 

Иначе сега пак тествах, и едвам стигам малко под 9.6гбит, и то само в reverse mode, когато сървъра ми (където iperf е стартиран в server mode) сенд-ва данните с поне 2 конекции. С една конекция в реверс (-R -P 1) okolo 9.3.

Сървъра е с Феном II X4 на 3.4ГХц, и явно той спъва, макар че е на 40-50% товар (десктопа е по-мощен, с райзен и е на 5-6%), предполагам при теста се ползват само 2 ядра, едно за драйвера, и едно за iperf или нещо такова.

При нормален режим (десктопа праща, сървъра приема) постигам около 8.6 макс, с 1 конекция. С повече от 1, скоростта пада до 6 .

Явно ресийва е по-натоварващ от сенд-а.

Щях да клокна леко фенома до 3.7 ако дъното позволяваше, но за съжаление има някакъв бъг и не мога.

[ARPAnet]

Е, това явно ти е някаква служебна мрежа, това работиш, поддържаш и мениджваш .

 

Иначе сега пак тествах, и едвам стигам малко под 9.6гбит, и то само в reverse mode, когато сървъра ми (където iperf е стартиран в server mode) сенд-ва данните с поне 2 конекции. С една конекция в реверс (-R -P 1) okolo 9.3.

Сървъра е с Феном II X4 на 3.4ГХц, и явно той спъва, макар че е на 40-50% товар (десктопа е по-мощен, с райзен и е на 5-6%), предполагам при теста се ползват само 2 ядра, едно за драйвера, и едно за iperf или нещо такова.

При нормален режим (десктопа праща, сървъра приема) постигам около 8.6 макс, с 1 конекция. С повече от 1, скоростта пада до 6 .

Явно ресийва е по-натоварващ от сенд-а.

Щях да клокна леко фенома до 3.7 ако дъното позволяваше, но за съжаление има някакъв бъг и не мога.

Хм интересно, при мен точно повечето конекции помагат да достигане на оптимална скорост. 

айпърф 3 се справя по-добре с настройките от колкото айпърф. Пробвай и с него. 

 

Да, служебни са разбира. Бидейки Interoute/GTT, лаба ми е вързан на 10Г в една от основните мрежи в Европа   Но дори така си ме впечатляват като видя такива скорости през спийдтест :D

Съответно голяма част от моите виртуалки работят по лабовете  

[tedy]

Еми аз iperf3 ползвам, последния който е .

Иначе с повече от 1 конекция както написах, при ревърс, се качва скоростта от около 9.3 до 9.6, но при нормален режим явно фенома започва да спъва при повече конекции и скоростта пада значително. Бях писал до 6, но при множество повторения стигна и до 7.6, но пак е доста по-малко от единична конекция, където явно обработката на 1 конекция е по-лесно за процесора от няколко.

 

При мен подозирам, че като цяло вида на картите, вградените драйвери и евентуално факта, че с Windows OS, допринася да не може повече от ~9.6.

Даже ти май беше давал в началото едни линкове на един дето си е направил подобна мрежа с подобни карти, и той също е достигнал до 9.6 макс.

Edited June 18, 2018 by tedy