Лаборатория домашней виртуализации (Часть 1): Hardware

Эту часть статей можно рассматривать как продолжение моей темы «Мобильная виртуализация», можно их объединить под одним названием: «Персональная виртуализация»

Часть первая. Hardware

Сначала определим круг задач, которые вполне реально решать в современной домашней лаборатории на одном физическом хосте. Типичный пример — имитация информационной структуры предприятия.

1. Связка SQL2008R2 на 2х узловом кластере + SharePoint 2010+Exchange 2010 c DAG, добавим парочку контроллеров домена, клиентов и продукты System Center (SCOM,SCCM,SCDPM).

2. Развернуть связку SQL2008R2+SharePoint с данными для BI, погонять Data Mining модели.

3. Развернуть кластер HPC для тестирования и разработки под MPI.

4. Home Azure

5. Могучий демонстрационный стенд, на котором можно показывать различные технологии для клиентов, подключившись удаленно. Стоит намного меньше северного решения.

Платформа

Одним из узких мест для создания подобной инфраструктуры является оперативная память. Для всех подобных задач мы приходим к пониманию, что 8 ГБ оперативной памяти на хосте давно уже не вариант. При этом стоит отметить, что реально нет в наличии модулей памяти стандарта DDR2 больше, чем 2ГБ (ECC не рассматриваем, так как домашние материнские платы их не поддерживают), поэтому решения на основе памяти стандарта  DDR2 будут нуждаться в  радикальном обновлении. В настоящей статье будем опираться на модули памяти стандарта  DDR3 размером 4 ГБ. В последнее время цена на них сильно упала, стоимость среднего модуля в пределах 60$. Теперь приступим к выбору платформы с поддержкой памяти стандарта DDR3. Выбор платформ довольно большой: AMD-Athlon, Phenom, Intel (Core,I3/I5/I7). При выборе процессора не забыть проверить поддержку процессором  виртуализации AMD: http://products.amd.com/en-us/desktopcpuresult.aspx?f1=&f2=&f3=&f4=&f5=&f6=&f7=&f8=&f9=&f10=&f11=&f12=True

Intel: http://ark.intel.com/VTList.aspx (Intel® Virtualization Technology (VT-x))

А также при необходимости  в BIOS материнской платы, в свойствах процессора, включить поддержку виртуализации и дополнительный параметр, который у AMD XD — bit disable , а у Intel будет Execute Disable bit –Enable.

 Как правило, срок жизни домашнего компьютера 4-5 лет, и в течение этого периода вряд ли новые продукты будут менее требовательными к ресурсам, поэтому желательно заложить некоторую избыточность. Решения от AMD и большинство настольных решений Intel обеспечивают на материнской плате всего 4 слота под оперативную память, что в лучшем случае обеспечит 16Gb оперативной памяти, но без возможности дальнейшего расширения. На мой взгляд, на текущий момент времени лучший выбор для виртуализации —  флагманская платформа Intel  на чипсете X58 Express (http://www.intel.com/cd/products/services/emea/rus/chipsets/408028.htm) . Впечатляющий набор  технологий, в том числе поддержка режима трёхканальной памяти. А это значит, что на материнской плате нас будут ожидать 6 слотов памяти стандарта DDR3, что даст нам возможность увеличить оперативную память до размера 24 гигабайт. Добавить память можно двумя шагами, по возможности бюджета (3х4ГБ)+(3х4ГБ), хотя для стабильной работы лучше сразу взять 6 одинаковых модулей. Также необходим флагманский процессор Intel I7, только в нем (из настольного семейства процессоров Intel) реализована технология SLAT (EPT http://software.intel.com/en-us/articles/best-practices-for-paravirtualization-enhancements-from-intel-virtualization-technology-ept-and-vt-d/?wapkw=(ept) ), которая требуется для работы RemoteFX в Windows 2008R2SP1 (http://technet.microsoft.com/en-us/library/ff817602 (WS.10).aspx ). В настоящий момент  наиболее предпочтительный вариант процессора (цена /производительность) — это Intel I7-950. Рассмотрим материнские платы на X58 чипсете. Их выпускает достаточно большое количество производителей, можно легко выбрать любимого (Asus,Gigabyte,MSI), причем у каждого есть, как правило, обыкновенная материнская плата ценой около 200$  и продвинутая плата ценой больше 300$. Стоить заметить, что преимущества более дорогой версии платы для наших целей не особо востребованы, за исключением второго сетевого адаптера, который дешевле приобрести отдельно. Например, Intel® Gigabit CT Desktop Adapter, который гарантированно работает под Windows 2008R2 и имеет возможность ISCSI Boot (http://www.intel.com/support/network/adapter/pro100/sb/CS-028681.htm ). Можно обойтись без второго сетевого адаптера на начальном этапе, но выделить отдельный сетевой адаптер под виртуальные машины более правильно. Хотелось бы также отметить, что все платы с чипсетом X58  имеют встроенный SATA Intel Matrix RAID, что в дальнейшем можно будет использовать для решения проблем с быстродействием дисковой подсистемы. Есть еще приятные мелочи в виде портов e-sata и у некоторых производителей USB 3.0.

Дисковая подсистема

Теперь рассмотрим варианты построения дисковой подсистемы.

Первый вариант: стандартно 1 физический диск под операционную систему, второй, третий, четвертый — под виртуальные машины. Можно также рассмотреть вариант — вместо физических дисков под виртуальные машины собрать пару дисков в  RAID 0.

Например, имеем 3 диска по 500GB. На первом диске операционная система, второй и третий объединены в RAID0 средствами Intel Matrix RAID, который находится на материнской плате.

И всегда помним, что чем физических дисков больше, тем лучше.

Второй вариант: обычный жесткий диск выделим под операционную систему, а SSD диск  - под виртуальные машины. Стоимость SSD диска размером 128 GB  - около 250$, которого хватит на 5-7 виртуальных машин.

Третий вариант: использовать технологию ISCSI. Мы знаем, что операционные системы Windows, а также Hyper-V, могут работать с технологией ISCSI в виде инициатора. На дисковом хранилище должна быть поднята цель (target). На сегодняшний день на рынке присутствуют несколько производителей оборудования, например Synologi, QNAP. Для примера рассмотрим стоимость решений на основе QNAP. Существуют  модели для дома и офиса, это TS110 — на 1 диск (цена без диска 400$), TS219 — на 2 диска (цена без дисков 500$), TS419 — на 4 диска (цена без дисков 700$).

Существуют еще и решения для бизнеса (http://qnap.ru/content/catalogue/smb/245 ), которые  дороже, но зато дают возможность реализовать несколько targets на одну LUN, что может пригодиться при демонстрации технологии кластеризации и Live Migration. TS259 на 2 диска-700$ руб, TS459 — на 4 диска 1200$.

Видеоподсистема

         Будем исходить из того, что для работы RemoteFX требуется видеокарта, драйвер которой должен поддерживать DirectX 9.0c и DirectX 10.0, поэтому на усмотрение — Radeon или Nvidia. Не лишним будет порт HDMI, а так как  домашний компьютер бывает двойного назначения (работа и игры), то имеет смысл выбрать не самую дешевую видеокарту.

Итак, озвучим итоговые критерии  по выбору компьютера для продвинутой лаборатории домашней виртуализации, исходя из их важности.

1. Платформа на чипсете X58, процессор Intel I7.

2. Память начальная 12 GB с возможностью обновления до 24 GB

3. Дисковая подсистема, минимум 2 жестких диска

4.  2 сетевых адаптера 10/100/1000.

5. Видеокарта с поддержкой DirectX 9.0c и DirectX 10.0

Хотелось бы еще добавить большой удобный корпус и мощный блок питания ватт так на 800, не забыв про вентиляторы внутри корпуса.

Для примера — моя реально работающая лаборатория.

Материнская плата Gigabyte GA-X58A-UD3R

http://www.gigabyte.ru/products/page/mb/ga-x58a-ud3r_20

Процессор I7-950 с родным боксовым вентилятором

http://ark.intel.com/Product.aspx?id=37150

Память 6 модулей Samsung по 4GB каждый

http://www.nix.ru/autocatalog/memory_modules_samsung/Original_SAMSUNG_DDRIII_4Gb_PC310600_102523.html

Видеокарта Gigabyte GV-R577SL-1GD

http://www.gigabyte.com/products/product-page.aspx?pid=3584#ov

Сетевой адаптер Intel® Gigabit CT Desktop Adapter

http://www.intel.com/products/desktop/adapters/gigabit-ct/gigabit-ct-overview.htm

И несколько обыкновенных жестких дисков Hitachi с интерфейсом SATA2 размером (500GB/1TB) – это моя любимая марка дисков.

Большой удобный  корпус Chieftec BA-02B-B-SL  http://www.chieftec.com/BA02.html

Блок питания Chieftec APS-800C  http://www.chieftec.com/power_A135.html

Парочка корпусных вентиляторов ZALMAN. Стоить отметить, что средняя температура процессора — около 47 градусов. Диски нагреваются до не более 40 градусов при активной работе.

В данной лаборатории без особых проблем была развернута конфигурация из 6 серверов Windows 2008R2, причем было создано два двухузловых кластера. На одном из них был поднят SQL 2008R2. Также работал SCOM 2007R2 и 2 контроллера домена Windows 2008R2 и несколько клиентов Windows 7. Загрузка памяти была на уровне 18GB. По идее можно попытаться обойтись меньшей памятью, но мы говорим о комфортной работе и возможности дальнейшего расширения виртуальной инфраструктуры. Например, добавить SharePoint 2010 и Exchange — и легко утилизируем все 24GB оперативной памяти. Вот здесь как раз нам на помощь придет технология  Dynamic memory, которая реализована в Windows2008R2SP1. Узкое место наблюдалось в дисковой подсистеме, но все равно все работало довольно резво.

P.S.  Хотя Intel и анонсировал новую платформу Sandy Bridge с поддержкой на ее материнской плате до 32GB оперативной памяти, но там всего 4 слота DDR3 и пока нет доступных 8GB модулей памяти DDR3. Но через год-другой все может измениться. Примеры материнской платы http://www.gigabyte.ru/products/page/mb/ga-h67a-ud3hrev_10/ 

 Комаров Михаил

MVP

Лаборатория домашней виртуализации (Часть 1): Hardware: 43 комментария

  1. dim-soft

    для домашней лаборатории стоит посмотреть на supermicro

    например X8ST3-F

    2 приличных сетевых адаптера Intel

    удаленное управление (можно монитор вообще не использовать, даже на начальной настройке)

    6 sata

    8 SAS

  2. mikas

    А облако с оплатой по потреблённым ресурсам не дешевле в итоге будет?

    Это не стареет, надёжность 99%, доступ с любой точки. RemoteFX конечно не выйдет.

    А дома ноут :-)

  3. Михаил Комаров Автор записи

    Относительно цены, скажем так Красноярск уложился меньше 2 000$, а мобильная виртулаизация была всего 1000$.

    Относительно X8ST3-F она великолепна за исключением цены.

    Не все в облаке можно пощупать. Но в общем облако конечно победит, вопрос когда и где. И пока оно не победило ближайшее несколько лет нужны будут IT Pro :)

  4. dmpronkin

    Вполне достойная конифигурация и хороший гайд выбора для энтузиаста виртуализации — весьма ценные знания!

  5. Михаил Комаров Автор записи

    Все конечно здорово, одна проблема винты SAS дороже винтов SATA.И для домашней лаборатории ИМХО предпочтительнее винты SATA.Все таки дом это не предприятие, бюджет другой :)

  6. Максим

    Не стоит забывать, что все это удовольствие потребует дополнительно $50 ежемесячно.

    0,8*24*30,5*2,55=1493 рубля

    0,8 мощность.

    24 часы работы в сутки. По себе знаю, что не хочется выключать станцию и потом терять время на ее старт и старт машин.

    30,5 дней в месяце. В среднем.

    2,55 стоимость КВч в Санкт-Петербурге

  7. mikas

    Позволю себе не согласится. Щас есть SAS на 10к RPM которые сравнимы с SATA по стоимости, но не по объёу. Но мы ведь за объёмом не гонимся?

    Зато производительность и надёжность в разы!!!

  8. Максим

    Итого за время жизни станции (4 года) она потребует только на электроэнергию примерно $2 400.

  9. Михаил Комаров Автор записи

    Micas вы правы, я просто не рассматривал винты SAS.Как варинат RAID0 на SAS винтах просто находка.Я старался максимально бюджетнее, с возможностью роста. В место SAS в преспективе планируеться прикупить SSD для теста.

    Максим.Наверно все таки не 24 часа в сутки.В красноярске у нас электрожнергия дешевле, и еще блок питания 800 не значит, что он ест 800.

  10. Максим

    Михаил, пусть не 1500, а только 1000, но эту 1000 нужно будет платить из собственного кармана, к сожалению. Я понимаю, что это вложение в себя, если это используется для изучения новых технологий для себя. Но если сотрудник покупает домой станцию за 2000 и еще ежемесячно платит 30-50 + бесценное личное время для дяди, то это не правильно.

    Кроме того, прошу обратить внимание на то, что документация к продуктам MS при внимательном изучении таковой не оставит времени на практические эксперименты в домашних условиях.

    По этому я против, чтобы я или мои сотрудники использовали «домашние лаборатории».

    Сотрудники должны приходить на работу отдохнувшими и позитивными, а не сонными от бесконечных экспериментов с домашними лабораториями.

    По сему считаю, что в домашних условиях следует читать, а не экспериментировать.

    PS. Статья хорошая, но сама идея — плохая.

  11. Михаил Комаров Автор записи

    Максим, я за здоровый сон. Не каких ночей, ночью я сплю. Есть еще понятие удаленая работа. Работа тренером , не всегда хочеться тащиться в класс что бы покрутить новый курс, а класс может быть занят.Ну и другие задачи.ИМХО не всегда вдумчивое чтение документации позволяет понять тему, иногда не много ручками не помешает.Я не агитирую за поголовное внедрение домашних лаборатрий. Цель статьи было помочь выбрать лабоарторию тому кому, она действительна нужна.

  12. Andrey

    На 3 года устройство + эл-во около 120т.р.

    Что около 3300—3500 рублей в месяц. Не проще арендовать 2 сервера со схожими сумарными ресурсами и платить ежемесячно, пока не надоест? Также имеется тенденция снижения цен со временем.

    Да и на мой взгляд подобные мощности нужно иметь на работе.

  13. omnimod

    Я в свое время решил проблему более радикально, собрав домашний сервер на Xeon'е, дискретном raid контроллере и серверной м/п начального уровня с RDIMM на 1156 сокете. Вышло не совсем бюджетно, но с поддержкой всего нужного, вполне тихо и по-домашнему.

  14. FreemanRU

    $2000 ??? Чуть не подавился печенькой... За такие деньги можно взять нормальный сервера 1U-2U на Xeon.

  15. Михаил Комаров Автор записи

    Ну да за 2000$ новый север с дискретной видеокартой и 24 гб оперативы,RAID контроллером и дисками. Не смешно.Если только б/у собрать.

    например www.litera-l.ru/stock/server.php

    Особенно добавляет ценность в домашних условия корпус 1U или 2U.

    Все таки система позиционируеться как система двойного назначения, не секрет что некоторые используют подобные системы с мультизагрузкой Windows 7 и играют на неу в игры.Ну а в зимний период система может заменять обогреватель :)

  16. Pavel Podbelniy

    Набросал конфигурацию на 24 ОЗУ, i7-950 и 4×500 Sata- получилось 35 тысяч. Недорого достаточно... если учитывать сколько расходуется для подготовки домашней лабы на циске, то цена просто смешная.

  17. Af71

    Павел а опубликуйте пожалуйста конфиг вашего решения.

    За статью спасибо, давно думал о чем то подобным. Но тоже считаю не разумным такое держать дома, а вот на работу в серверную удобно, а из дома по RDP ходить. ведь какая разница тому кому вы демонстрируете, где стоит сервер у вас дома или на работе в серверной ? =) На счет remote FX судить не берусь, жду когда SP1 выйдет в RTM, но так имхо дешевле за счет электроэнергии и надежнее за счет качества канала для юр лиц

  18. ozzye

    бред какой-то

    вроде взрослые мужики а ...

    не понимаю смысл этой статьи?

    для кого она опубликована?!

    (ну подобрали железо ну молодцы, но это же не повод создавать целую статью ни о чем_)

  19. Дмитрий Иванов

    (ну подобрали железо ну молодцы, но это же не повод создавать целую статью ни о чем_)

    Вы не правы, лично мне статья полезна

  20. Михаил Комаров Автор записи

    Цель статьи, помочь правильно выбрать компьютер тем, кто планирует заниматься изучением ИТ технологий с помощью виртуализации.

    Скажем так, не всем очевидно, что из десктопных процессоров только Intel I7 (900 серии) поддерживает технологи SLAT, а без этого можно забыть про перенаправление USB устройств в виртуальные машины (RemoteFX).AMD это немного другая история. И если для ozzye все просто, я с радостью почитаю комментарии о выборе десктопных процессоров AMD с поддержкой технологии SLAT.

    И что бы ни было, обидно купив новый компьютер получить не поддерживаемые технологии.

  21. Pavel Podbelniy

    Chieftec 750W RTL [CFT-750-14CS]

    Gigabyte GZ-L1BSAX-A00 Luxo M1000 black ATX

    SATA 500Gb Seagate Barracuda 7200.12 (ST3500418AS) — 4 шт.

    CPU Intel Core i7-950 {3.06ГГц, 4x256КБ+8МБ, 4800MГц, EM64T, Socket 1366}

    Gigabyte GA-X58A-UD3R

    Kingston DDR-III 4GB (PC3-10600) 1333MHz [KVR1333D3N9/4G] — 6 шт.

    итого с охлаждением и какой нибудь видюшкой- около 35 тысяч деревянных

  22. Vladislav@artukov.com

    * Максим

    Сотрудники должны приходить на работу отдохнувшими и позитивными

    ...

    По сему считаю, что в домашних условиях следует читать, а не экспериментировать.

    *

    Чтение MS guides или другие guides — это не чтение женских любовных романов, это изучение предмета. Интеллектуальная работа, которая довольно сильно выматывает. Это не отдых.

  23. Vladislav@artukov.com

    * Andrey

    Что около 3300—3500 рублей в месяц. Не проще арендовать 2 сервера со схожими сумарными ресурсами и платить ежемесячно, пока не надоест?

    *

    Это где можно арендовать 2 сервера описанной конфигурации за 100 баксов?

  24. Vladislav@artukov.com

    * mikas

    Зато производительность и надёжность в разы!!!

    *

    Для лабстенда «надежности» SATA-дисков вполне достаточно.

  25. Andrey

    to Vladislav@artukov.com

    это где-нибудь в германии, к примеру, www.hetzner.de/en/hosting...te_rootserver/x5

    для России VAT можно не платить.

    По деньгам около того + не стоит дома, не мешает, отказоустойчивый канал и т.д. Это если очень охота в свободное время «экспериментировать». Но я как и говорил за подобные стенды у работодателя.

  26. akf

    Скажите, а в чем необходимость приобретения дополнительного сетевого адаптера? На материнке есть минима один встроенный, а обычно два.

  27. Михаил Комаров Автор записи

    akf На более дорогих платах, как правило идут 2 сетевых адаптера. Если материнская плата попроще то один. 2 сетевых адаптера дают возможность отделить сеть виртуальных машин от сети управления хостом. И дают возможность более точно смоделировать рабочуюю среду.Ну скажем купив комплект машрутизатора www.mikc.ru/product.php?i...;id_position=194 и коммутатора www.mikc.ru/product.php?i...;id_position=292 цена около 5 тысяч рублей за комплект. Можно полноцено проводить экперименты с маршутизацией ,vlan и прочими вещами в виртуальной сети не трогая интерфейс управления хостом.

  28. ozzye

    to Михаил Комаров Вам случайно cisco catalyst 2900xl не нужен

    а то завалялся у меня тут один

  29. Шаронов Александр

    Спасибо за статью, не ново но полезно. Но при обсуждении дисковой системы, автор не указал возможности инсталляции дисков WD Veloci Raptor. Это диски с интерфейсом sata2 и sata3 1000к и повышенной отказоустойчивостью. Они дешевле SAS, для них не требуется наличие контроллера, а по скорости и надежности они лучше sata. По параметрам скорости чтения\записи и задержек, на равных с некоторыми дисками SAS. Я Сам лично уже более года использую такие в Raid-0 2*150gb. И Всем советую.

  30. Af71

    х) у меня как раз стоит DL380 G6 c 24Гб рамы =)) может пора сдавать в аренду по 10 баксов сутки :D

  31. Дмитрий Караваев

    «Также необходим флагманский процессор Intel I7, только в нем (из настольного семейства процессоров Intel) реализована технология SLAT (EPT), которая требуется для работы RemoteFX в Windows 2008R2SP1.»

    Nested Pages Tables (аналог EPT) присутствует во всех вторых атлонах и феномах, хотя это как-то «официально не упоминается» (к примеру см. www.cpu-world.com/CPUs/K1...710WFGIBOX).html)

  32. Михаил Комаров Автор записи

    Скажем так, у AMD эта технология называеться Rapid Virtualization Indexing (RVI). Nested Pages Tables это не много не то.

  33. Дмитрий Караваев

    NPT=EPT и наоборот, RVI это уже нечто другое хотя и из той же серии. Путаница конечно жуткая с терминологией щедро сдобренной маркетологами. На сайте АМД при поиске темы в паре мест стыдливо упоминаются все х64 процессоры с четырьмя ядрами, без названия серий, ну и логотип оптерона естественно вывешен на видное место. Но нигде не нашел чтобы было явно сказано: «онли оптерон». Потому что неправда.

    На вышеупомянутом по ссылке х3 710 (с разблокированным 4м ядром) Hyper-V+RFX работает. Полагаю (90%) что будет работать и на х2 Атлон 2 240, да проверять лень.

    Какого-то прироста затрат на электроэнергию (и повышения температуры в квартире :)) из-за использования 125Вт(maxTDP) феном2 вместо старого атлон x2 3200+ (24/7) не ощутил.

    P.S. Проброс USB реализованный подобным образом, честно говоря не понимаю зачем нужен. Никак не могу придумать сценарий практического применения :)

  34. Дмитрий Караваев

    Постскриптум разумеется к третьей части относится, последней её читал и как-то на автопилоте добавилось )

  35. Denis Trunin

    Михаил, а можно попросить как-то прокоментировать слова

    «Скажем так, не всем очевидно, что из десктопных процессоров только Intel I7 (900 серии) поддерживает технологи SLAT».

    Согласно википедии en.wikipedia.org/wiki/Extended_Page_Table

    любой corei процессор поддерживает Extended Page Table. На сайте интел вообще ничего нет по этому поводу

    Откуда вы взяли такую информацию?

    (сам собираюсь собирать такую штуку, но хочу купить i5-2500, как узнать, поддерживает ли от данную технологию?)

  36. Михаил Комаров

    Денис, после общения с товарищами из интел они уточнили что EPT повилась на архитектруе Nehalem . Т.е I3/I5/I7 будут поддреживать Remote FX. Мой товарищ поднял на ноуте I3 Remote FX.

  37. Уведомление: Новости компьютерного мира - Итоги конкурса Microsoft

  38. Уведомление: Мобильная виртуализация. Начало « Блог Дмитрия Пронькина

  39. Михаил

    Если бы еще написали как при минимальных затратах на железо пощупать технологии vMotion, HA и FT в домашней лаборатории думаю многие Вам сказали бы Большое спасибо.

  40. Владимир

    Интересно узнать из чего сейчас собрать домашнюю лабораторию для экспериментов с Sharepoint (2010, 2013) и какое ПО (HyperV на Win2008R2/Win2012/Vshpere) использовать для виртуализации если нужно?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Я не робот.