Главная Virtualization, Без рубрики, Новое Лаборатория домашней виртуализации (Часть 1): Hardware
  • Лаборатория домашней виртуализации (Часть 1): Hardware

    Эту часть статей можно рассматривать как продолжение моей темы «Мобильная виртуализация», можно их объединить под одним названием: «Персональная виртуализация»

    Часть первая. Hardware

    Сначала определим круг задач, которые вполне реально решать в современной домашней лаборатории на одном физическом хосте. Типичный пример – имитация информационной структуры предприятия.

    1. Связка SQL2008R2 на 2х узловом кластере + SharePoint 2010+Exchange 2010 c DAG, добавим парочку контроллеров домена, клиентов и продукты System Center (SCOM,SCCM,SCDPM).

    2. Развернуть связку SQL2008R2+SharePoint с данными для BI, погонять Data Mining модели.

    3. Развернуть кластер HPC для тестирования и разработки под MPI.

    4. Home Azure

    5. Могучий демонстрационный стенд, на котором можно показывать различные технологии для клиентов, подключившись удаленно. Стоит намного меньше северного решения.

    Платформа

    Одним из узких мест для создания подобной инфраструктуры является оперативная память. Для всех подобных задач мы приходим к пониманию, что 8 ГБ оперативной памяти на хосте давно уже не вариант. При этом стоит отметить, что реально нет в наличии модулей памяти стандарта DDR2 больше, чем 2ГБ (ECC не рассматриваем, так как домашние материнские платы их не поддерживают), поэтому решения на основе памяти стандарта  DDR2 будут нуждаться в  радикальном обновлении. В настоящей статье будем опираться на модули памяти стандарта  DDR3 размером 4 ГБ. В последнее время цена на них сильно упала, стоимость среднего модуля в пределах 60$. Теперь приступим к выбору платформы с поддержкой памяти стандарта DDR3. Выбор платформ довольно большой: AMD-Athlon, Phenom, Intel (Core,I3/I5/I7). При выборе процессора не забыть проверить поддержку процессором  виртуализации AMD: http://products.amd.com/en-us/desktopcpuresult.aspx?f1=&f2=&f3=&f4=&f5=&f6=&f7=&f8=&f9=&f10=&f11=&f12=True

    Intel: http://ark.intel.com/VTList.aspx (Intel® Virtualization Technology (VT-x))

    А также при необходимости  в BIOS материнской платы, в свойствах процессора, включить поддержку виртуализации и дополнительный параметр, который у AMD XD – bit disable , а у Intel будет Execute Disable bit –Enable.

     Как правило, срок жизни домашнего компьютера 4-5 лет, и в течение этого периода вряд ли новые продукты будут менее требовательными к ресурсам, поэтому желательно заложить некоторую избыточность. Решения от AMD и большинство настольных решений Intel обеспечивают на материнской плате всего 4 слота под оперативную память, что в лучшем случае обеспечит 16Gb оперативной памяти, но без возможности дальнейшего расширения. На мой взгляд, на текущий момент времени лучший выбор для виртуализации –  флагманская платформа Intel  на чипсете X58 Express (http://www.intel.com/cd/products/services/emea/rus/chipsets/408028.htm) . Впечатляющий набор  технологий, в том числе поддержка режима трёхканальной памяти. А это значит, что на материнской плате нас будут ожидать 6 слотов памяти стандарта DDR3, что даст нам возможность увеличить оперативную память до размера 24 гигабайт. Добавить память можно двумя шагами, по возможности бюджета (3х4ГБ)+(3х4ГБ), хотя для стабильной работы лучше сразу взять 6 одинаковых модулей. Также необходим флагманский процессор Intel I7, только в нем (из настольного семейства процессоров Intel) реализована технология SLAT(EPT http://software.intel.com/en-us/articles/best-practices-for-paravirtualization-enhancements-from-intel-virtualization-technology-ept-and-vt-d/?wapkw=(ept) ), которая требуется для работы RemoteFX в Windows 2008R2SP1 (http://technet.microsoft.com/en-us/library/ff817602(WS.10).aspx ). В настоящий момент  наиболее предпочтительный вариант процессора (цена /производительность) – это Intel I7-950. Рассмотрим материнские платы на X58 чипсете. Их выпускает достаточно большое количество производителей, можно легко выбрать любимого (Asus,Gigabyte,MSI), причем у каждого есть, как правило, обыкновенная материнская плата ценой около 200$  и продвинутая плата ценой больше 300$. Стоить заметить, что преимущества более дорогой версии платы для наших целей не особо востребованы, за исключением второго сетевого адаптера, который дешевле приобрести отдельно. Например, Intel® Gigabit CT Desktop Adapter, который гарантированно работает под Windows 2008R2 и имеет возможность ISCSI Boot (http://www.intel.com/support/network/adapter/pro100/sb/CS-028681.htm ). Можно обойтись без второго сетевого адаптера на начальном этапе, но выделить отдельный сетевой адаптер под виртуальные машины более правильно. Хотелось бы также отметить, что все платы с чипсетом X58  имеют встроенный SATA Intel Matrix RAID, что в дальнейшем можно будет использовать для решения проблем с быстродействием дисковой подсистемы. Есть еще приятные мелочи в виде портов e-sata и у некоторых производителей USB 3.0.

    Дисковая подсистема

    Теперь рассмотрим варианты построения дисковой подсистемы.

    Первый вариант: стандартно 1 физический диск под операционную систему, второй, третий, четвертый – под виртуальные машины. Можно также рассмотреть вариант – вместо физических дисков под виртуальные машины собрать пару дисков в  RAID 0.

    Например, имеем 3 диска по 500GB. На первом диске операционная система, второй и третий объединены в RAID0 средствами Intel Matrix RAID, который находится на материнской плате.

    И всегда помним, что чем физических дисков больше, тем лучше.

    Второй вариант: обычный жесткий диск выделим под операционную систему, а SSD диск  – под виртуальные машины. Стоимость SSD диска размером 128 GB  – около 250$, которого хватит на 5-7 виртуальных машин.

    Третий вариант: использовать технологию ISCSI. Мы знаем, что операционные системы Windows, а также Hyper-V, могут работать с технологией ISCSI в виде инициатора. На дисковом хранилище должна быть поднята цель (target). На сегодняшний день на рынке присутствуют несколько производителей оборудования, например Synologi, QNAP. Для примера рассмотрим стоимость решений на основе QNAP. Существуют  модели для дома и офиса, это TS110 – на 1 диск (цена без диска 400$), TS219 – на 2 диска (цена без дисков 500$), TS419 – на 4 диска (цена без дисков 700$).

    Существуют еще и решения для бизнеса (http://qnap.ru/content/catalogue/smb/245 ), которые  дороже, но зато дают возможность реализовать несколько targets на одну LUN, что может пригодиться при демонстрации технологии кластеризации и Live Migration. TS259 на 2 диска-700$ руб, TS459 – на 4 диска 1200$.

    Видеоподсистема

             Будем исходить из того, что для работы RemoteFX требуется видеокарта, драйвер которой должен поддерживать DirectX 9.0c и DirectX 10.0, поэтому на усмотрение – Radeon или Nvidia. Не лишним будет порт HDMI, а так как  домашний компьютер бывает двойного назначения (работа и игры), то имеет смысл выбрать не самую дешевую видеокарту.

    Итак, озвучим итоговые критерии  по выбору компьютера для продвинутой лаборатории домашней виртуализации, исходя из их важности.

    1. Платформа на чипсете X58, процессор Intel I7.

    2. Память начальная 12 GB с возможностью обновления до 24 GB

    3. Дисковая подсистема, минимум 2 жестких диска

    4.  2 сетевых адаптера 10/100/1000.

    5. Видеокарта с поддержкой DirectX 9.0c и DirectX 10.0

    Хотелось бы еще добавить большой удобный корпус и мощный блок питания ватт так на 800, не забыв про вентиляторы внутри корпуса.

    Для примера – моя реально работающая лаборатория.

    Материнская плата Gigabyte GA-X58A-UD3R

    http://www.gigabyte.ru/products/page/mb/ga-x58a-ud3r_20

    Процессор I7-950 с родным боксовым вентилятором

    http://ark.intel.com/Product.aspx?id=37150

    Память 6 модулей Samsung по 4GB каждый

    http://www.nix.ru/autocatalog/memory_modules_samsung/Original_SAMSUNG_DDRIII_4Gb_PC310600_102523.html

    Видеокарта Gigabyte GV-R577SL-1GD

    http://www.gigabyte.com/products/product-page.aspx?pid=3584#ov

    Сетевой адаптер Intel® Gigabit CT Desktop Adapter

    http://www.intel.com/products/desktop/adapters/gigabit-ct/gigabit-ct-overview.htm

    И несколько обыкновенных жестких дисков Hitachi с интерфейсом SATA2 размером (500GB/1TB) – это моя любимая марка дисков.

    Большой удобный  корпус Chieftec BA-02B-B-SL  http://www.chieftec.com/BA02.html

    Блок питания Chieftec APS-800C  http://www.chieftec.com/power_A135.html

    Парочка корпусных вентиляторов ZALMAN. Стоить отметить, что средняя температура процессора – около 47 градусов. Диски нагреваются до не более 40 градусов при активной работе.

    В данной лаборатории без особых проблем была развернута конфигурация из 6 серверов Windows 2008R2, причем было создано два двухузловых кластера. На одном из них был поднят SQL 2008R2. Также работал SCOM 2007R2 и 2 контроллера домена Windows 2008R2 и несколько клиентов Windows 7. Загрузка памяти была на уровне 18GB. По идее можно попытаться обойтись меньшей памятью, но мы говорим о комфортной работе и возможности дальнейшего расширения виртуальной инфраструктуры. Например, добавить SharePoint 2010 и Exchange – и легко утилизируем все 24GB оперативной памяти. Вот здесь как раз нам на помощь придет технология  Dynamic memory, которая реализована в Windows2008R2SP1. Узкое место наблюдалось в дисковой подсистеме, но все равно все работало довольно резво.

    P.S.  Хотя Intel и анонсировал новую платформу Sandy Bridge с поддержкой на ее материнской плате до 32GB оперативной памяти, но там всего 4 слота DDR3 и пока нет доступных 8GB модулей памяти DDR3. Но через год-другой все может измениться. Примеры материнской платы http://www.gigabyte.ru/products/page/mb/ga-h67a-ud3hrev_10/ 

     Комаров Михаил

    MVP

Комментарии

  1. Ну а цена то где?

  2. для домашней лаборатории стоит посмотреть на supermicro
    например X8ST3-F
    2 приличных сетевых адаптера Intel
    удаленное управление (можно монитор вообще не использовать, даже на начальной настройке)
    6 sata
    8 SAS

  3. А облако с оплатой по потреблённым ресурсам не дешевле в итоге будет?
    Это не стареет, надёжность 99%, доступ с любой точки. RemoteFX конечно не выйдет.
    А дома ноут 🙂

  4. Относительно цены, скажем так Красноярск уложился меньше 2 000$, а мобильная виртулаизация была всего 1000$.
    Относительно X8ST3-F она великолепна за исключением цены.
    Не все в облаке можно пощупать. Но в общем облако конечно победит, вопрос когда и где. И пока оно не победило ближайшее несколько лет нужны будут IT Pro 🙂

  5. Вполне достойная конифигурация и хороший гайд выбора для энтузиаста виртуализации – весьма ценные знания!

  6. По поводу матери: могучий Yandex при подборе даёт нам в районе 30 моделей со встроенным SAS на чипсетах Intel X58 и Intel 3420 с ценой до 10тыс.р.
    Как пример:
    Intel S3420GPLX http://market.yandex.ru/model.xml?hid=91020&modelid=4983675
    ASUS P6T WS Professional http://market.yandex.ru/model.xml?hid=91020&modelid=3617282

  7. Все конечно здорово, одна проблема винты SAS дороже винтов SATA.И для домашней лаборатории ИМХО предпочтительнее винты SATA.Все таки дом это не предприятие, бюджет другой 🙂

  8. Не стоит забывать, что все это удовольствие потребует дополнительно $50 ежемесячно.
    0,8*24*30,5*2,55=1493 рубля
    0,8 мощность.
    24 часы работы в сутки. По себе знаю, что не хочется выключать станцию и потом терять время на ее старт и старт машин.
    30,5 дней в месяце. В среднем.
    2,55 стоимость КВч в Санкт-Петербурге

  9. Позволю себе не согласится. Щас есть SAS на 10к RPM которые сравнимы с SATA по стоимости, но не по объёу. Но мы ведь за объёмом не гонимся?
    Зато производительность и надёжность в разы!!!

  10. Итого за время жизни станции (4 года) она потребует только на электроэнергию примерно $2 400.

  11. Micas вы правы, я просто не рассматривал винты SAS.Как варинат RAID0 на SAS винтах просто находка.Я старался максимально бюджетнее, с возможностью роста. В место SAS в преспективе планируеться прикупить SSD для теста.

    Максим.Наверно все таки не 24 часа в сутки.В красноярске у нас электрожнергия дешевле, и еще блок питания 800 не значит, что он ест 800.

  12. Михаил, пусть не 1500, а только 1000, но эту 1000 нужно будет платить из собственного кармана, к сожалению. Я понимаю, что это вложение в себя, если это используется для изучения новых технологий для себя. Но если сотрудник покупает домой станцию за 2000 и еще ежемесячно платит 30-50 + бесценное личное время для дяди, то это не правильно.

    Кроме того, прошу обратить внимание на то, что документация к продуктам MS при внимательном изучении таковой не оставит времени на практические эксперименты в домашних условиях.

    По этому я против, чтобы я или мои сотрудники использовали “домашние лаборатории”.

    Сотрудники должны приходить на работу отдохнувшими и позитивными, а не сонными от бесконечных экспериментов с домашними лабораториями.

    По сему считаю, что в домашних условиях следует читать, а не экспериментировать.

    PS. Статья хорошая, но сама идея – плохая.

  13. Максим, я за здоровый сон. Не каких ночей, ночью я сплю. Есть еще понятие удаленая работа. Работа тренером , не всегда хочеться тащиться в класс что бы покрутить новый курс, а класс может быть занят.Ну и другие задачи.ИМХО не всегда вдумчивое чтение документации позволяет понять тему, иногда не много ручками не помешает.Я не агитирую за поголовное внедрение домашних лаборатрий. Цель статьи было помочь выбрать лабоарторию тому кому, она действительна нужна.

  14. На 3 года устройство + эл-во около 120т.р.
    Что около 3300-3500 рублей в месяц. Не проще арендовать 2 сервера со схожими сумарными ресурсами и платить ежемесячно, пока не надоест? Также имеется тенденция снижения цен со временем.
    Да и на мой взгляд подобные мощности нужно иметь на работе.

  15. Я в свое время решил проблему более радикально, собрав домашний сервер на Xeon’е, дискретном raid контроллере и серверной м/п начального уровня с RDIMM на 1156 сокете. Вышло не совсем бюджетно, но с поддержкой всего нужного, вполне тихо и по-домашнему.

  16. $2000 ??? Чуть не подавился печенькой… За такие деньги можно взять нормальный сервера 1U-2U на Xeon.

  17. Ну да за 2000$ новый север с дискретной видеокартой и 24 гб оперативы,RAID контроллером и дисками. Не смешно.Если только б/у собрать.
    например http://www.litera-l.ru/stock/server.php
    Особенно добавляет ценность в домашних условия корпус 1U или 2U.
    Все таки система позиционируеться как система двойного назначения, не секрет что некоторые используют подобные системы с мультизагрузкой Windows 7 и играют на неу в игры.Ну а в зимний период система может заменять обогреватель 🙂

  18. Набросал конфигурацию на 24 ОЗУ, i7-950 и 4×500 Sata- получилось 35 тысяч. Недорого достаточно… если учитывать сколько расходуется для подготовки домашней лабы на циске, то цена просто смешная.

  19. Павел а опубликуйте пожалуйста конфиг вашего решения.

    За статью спасибо, давно думал о чем то подобным. Но тоже считаю не разумным такое держать дома, а вот на работу в серверную удобно, а из дома по RDP ходить. ведь какая разница тому кому вы демонстрируете, где стоит сервер у вас дома или на работе в серверной ? =) На счет remote FX судить не берусь, жду когда SP1 выйдет в RTM, но так имхо дешевле за счет электроэнергии и надежнее за счет качества канала для юр лиц

  20. бред какой-то
    вроде взрослые мужики а …..
    не понимаю смысл этой статьи?
    для кого она опубликована?!
    (ну подобрали железо ну молодцы, но это же не повод создавать целую статью ни о чем_)

  21. (ну подобрали железо ну молодцы, но это же не повод создавать целую статью ни о чем_)
    Вы не правы, лично мне статья полезна

  22. Цель статьи, помочь правильно выбрать компьютер тем, кто планирует заниматься изучением ИТ технологий с помощью виртуализации.
    Скажем так, не всем очевидно, что из десктопных процессоров только Intel I7 (900 серии) поддерживает технологи SLAT, а без этого можно забыть про перенаправление USB устройств в виртуальные машины (RemoteFX).AMD это немного другая история. И если для ozzye все просто, я с радостью почитаю комментарии о выборе десктопных процессоров AMD с поддержкой технологии SLAT.
    И что бы ни было, обидно купив новый компьютер получить не поддерживаемые технологии.

  23. Chieftec 750W RTL [CFT-750-14CS]
    Gigabyte GZ-L1BSAX-A00 Luxo M1000 black ATX
    SATA 500Gb Seagate Barracuda 7200.12 (ST3500418AS) – 4 шт.
    CPU Intel Core i7-950 {3.06ГГц, 4x256КБ+8МБ, 4800MГц, EM64T, Socket 1366}
    Gigabyte GA-X58A-UD3R
    Kingston DDR-III 4GB (PC3-10600) 1333MHz [KVR1333D3N9/4G] – 6 шт.

    итого с охлаждением и какой нибудь видюшкой- около 35 тысяч деревянных

  24. * Максим
    Сотрудники должны приходить на работу отдохнувшими и позитивными

    По сему считаю, что в домашних условиях следует читать, а не экспериментировать.
    *

    Чтение MS guides или другие guides – это не чтение женских любовных романов, это изучение предмета. Интеллектуальная работа, которая довольно сильно выматывает. Это не отдых.

  25. * Andrey
    Что около 3300—3500 рублей в месяц. Не проще арендовать 2 сервера со схожими сумарными ресурсами и платить ежемесячно, пока не надоест?
    *

    Это где можно арендовать 2 сервера описанной конфигурации за 100 баксов?

  26. * mikas
    Зато производительность и надёжность в разы!!!
    *

    Для лабстенда “надежности” SATA-дисков вполне достаточно.

  27. to Vladislav@artukov.com

    это где-нибудь в германии, к примеру, http://www.hetzner.de/en/hosting/produkte_rootserver/x5
    для России VAT можно не платить.
    По деньгам около того + не стоит дома, не мешает, отказоустойчивый канал и т.д. Это если очень охота в свободное время “экспериментировать”. Но я как и говорил за подобные стенды у работодателя.

  28. Скажите, а в чем необходимость приобретения дополнительного сетевого адаптера? На материнке есть минима один встроенный, а обычно два.

  29. akf На более дорогих платах, как правило идут 2 сетевых адаптера. Если материнская плата попроще то один. 2 сетевых адаптера дают возможность отделить сеть виртуальных машин от сети управления хостом. И дают возможность более точно смоделировать рабочуюю среду.Ну скажем купив комплект машрутизатора http://www.mikc.ru/product.php?id_catalog=2&id_position=194 и коммутатора http://www.mikc.ru/product.php?id_catalog=49&id_position=292 цена около 5 тысяч рублей за комплект. Можно полноцено проводить экперименты с маршутизацией ,vlan и прочими вещами в виртуальной сети не трогая интерфейс управления хостом.

  30. to Михаил Комаров Вам случайно cisco catalyst 2900xl не нужен
    а то завалялся у меня тут один

  31. Спасибо за статью, не ново но полезно. Но при обсуждении дисковой системы, автор не указал возможности инсталляции дисков WD Veloci Raptor. Это диски с интерфейсом sata2 и sata3 1000к и повышенной отказоустойчивостью. Они дешевле SAS, для них не требуется наличие контроллера, а по скорости и надежности они лучше sata. По параметрам скорости чтениязаписи и задержек, на равных с некоторыми дисками SAS. Я Сам лично уже более года использую такие в Raid-0 2*150gb. И Всем советую.

  32. х) у меня как раз стоит DL380 G6 c 24Гб рамы =)) может пора сдавать в аренду по 10 баксов сутки 😀

  33. “Также необходим флагманский процессор Intel I7, только в нем (из настольного семейства процессоров Intel) реализована технология SLAT (EPT), которая требуется для работы RemoteFX в Windows 2008R2SP1.”

    Nested Pages Tables (аналог EPT) присутствует во всех вторых атлонах и феномах, хотя это как-то “официально не упоминается” (к примеру см. http://www.cpu-world.com/CPUs/K10/AMD-Phenom%20II%20X3%20710%20-%20HDX710WFK3DGI%20(HDX710WFGIBOX).html)

  34. Скажем так, у AMD эта технология называеться Rapid Virtualization Indexing (RVI). Nested Pages Tables это не много не то.

  35. NPT=EPT и наоборот, RVI это уже нечто другое хотя и из той же серии. Путаница конечно жуткая с терминологией щедро сдобренной маркетологами. На сайте АМД при поиске темы в паре мест стыдливо упоминаются все х64 процессоры с четырьмя ядрами, без названия серий, ну и логотип оптерона естественно вывешен на видное место. Но нигде не нашел чтобы было явно сказано: “онли оптерон”. Потому что неправда.
    На вышеупомянутом по ссылке х3 710(с разблокированным 4м ядром) Hyper-V+RFX работает. Полагаю(90%) что будет работать и на х2 Атлон 2 240, да проверять лень.

    Какого-то прироста затрат на электроэнергию (и повышения температуры в квартире :)) из-за использования 125Вт(maxTDP) феном2 вместо старого атлон x2 3200+ (24/7) не ощутил.

    P.S. Проброс USB реализованный подобным образом, честно говоря не понимаю зачем нужен. Никак не могу придумать сценарий практического применения 🙂

  36. Постскриптум разумеется к третьей части относится, последней её читал и как-то на автопилоте добавилось )

  37. Михаил, а можно попросить как-то прокоментировать слова
    “Скажем так, не всем очевидно, что из десктопных процессоров только Intel I7 (900 серии) поддерживает технологи SLAT”.
    Согласно википедии http://en.wikipedia.org/wiki/Extended_Page_Table
    любой corei процессор поддерживает Extended Page Table. На сайте интел вообще ничего нет по этому поводу
    Откуда вы взяли такую информацию?
    (сам собираюсь собирать такую штуку, но хочу купить i5-2500, как узнать, поддерживает ли от данную технологию?)

  38. Денис, после общения с товарищами из интел они уточнили что EPT повилась на архитектруе Nehalem . Т.е I3/I5/I7 будут поддреживать Remote FX. Мой товарищ поднял на ноуте I3 Remote FX.

  39. […] Лаборатория домашней виртуализации (Часть 1): Hardware.Лаборатория домашней виртуализации (Часть 2): Software.Лаборатория домашней виртуализации (Часть 3): Software (RemoteFX и перенаправление USB). […]

  40. Если бы еще написали как при минимальных затратах на железо пощупать технологии vMotion, HA и FT в домашней лаборатории думаю многие Вам сказали бы Большое спасибо.

  41. Интересно узнать из чего сейчас собрать домашнюю лабораторию для экспериментов с Sharepoint(2010, 2013) и какое ПО (HyperV на Win2008R2/Win2012/Vshpere) использовать для виртуализации если нужно?

  42. Не понятно


    Так долго ждал и вот -=) скачать fifa, скачать фифа или 15fifa.ru скачать fifa

  43. Конечно. Я согласен со всем выше сказанным. Давайте обсудим этот вопрос.


    Согласен, это отличный вариант скачать фифа, скачать fifa и 15fifa.ru скачать fifa

  44. Да, действительно. И я с этим столкнулся. Давайте обсудим этот вопрос.


    По моему мнению Вы ошибаетесь. Могу это доказать. Пишите мне в PM, обсудим. торт на заказ ребенку на год, кондитерская медведково а также торты на заказ торт на заказ москва фото

  45. Своевременный топик


    Могу порекомендовать зайти на сайт, где есть много информации на интересующую Вас тему. заказать такси в москве недорого телефон, такси повезет или приложение такси такси москва телефон диспетчера

  46. чё то не очень….


    Это все нереально!!!! радовичи черногория снять апартаменты, будва черногория недвижимость цены а также купить дом в добра вода черногория дома в черногории купить недорого у моря

  47. Абсолютно с Вами согласен. Это хорошая идея. Готов Вас поддержать.


    Вы попали в самую точку. Мне кажется это очень отличная мысль. Полностью с Вами соглашусь. аренда авто в черногории тиват без депозита, аренда авто в черногории по российским правам или прокат авто в которе черногория аренда авто в черногории 2019

  48. По моему мнению Вы допускаете ошибку. Давайте обсудим.


    Можно восполнить пробел? аренда машины в черногории без депозита, котор аренда яхты или снять машину в аренду в черногории аренда машины в тивате аэропорт

  49. ну посмотрим что нам предлагают


    Да, действительно. Это было и со мной. Можем пообщаться на эту тему. черногория внж при покупке недвижимости 2019, вторичное жилье в черногории или недвижимость в тивате черногория купить дом в городе бар черногория

  50. Сегодня я много читал на эту тему.


    Может быть Вы и правы. такси в аэропорт внуково дешево, заказать такси заранее а также такси москва телефон для заказа с мобильного дешевое такси в аэропорт внуково

  51. Браво, эта замечательная фраза придется как раз кстати


    пройду мимо… заказать торт из мастики, кондитерская вднх или тортик алтуфьево заказ торта на детский день рождения

  52. Вы ошиблись, это очевидно.


    Предлагаю Вам посетить сайт, с огромным количеством статей по интересующей Вас теме. масляные духи на разлив оптом, парфюм оптом москва оригинал склад и купить парфюм оптом в москве со склада альфа опт парфюм

  53. Конечно нет.


    Так щас заценим услуги хакера 2016, услуги хакера в контакте а также помощь хакера услуги хакера в воронеже

  54. По моему мнению Вы не правы. Я уверен.


    Согласен, замечательная штука зубная паста для детей от 3, зубные пасты при повышенной чувствительности зубов или демеевская как быстрее привыкнуть к съемным зубным

  55. Жаль, что сейчас не могу высказаться – нет свободного времени. Но вернусь – обязательно напишу что я думаю.


    Это то, что мне было нужно. Благодарю Вас за помощь в этом вопросе. фотошоп стили, надписи фотошоп и все для фотошопа фотошоп картинки

  56. Я извиняюсь, но, по-моему, Вы не правы. Я уверен. Давайте обсудим. Пишите мне в PM, поговорим.


    Я думаю, что Вы не правы. Я уверен. Пишите мне в PM, обсудим. обновить торрент, пират торрент а также фильмы скачать омск торрент

  57. Да, все может быть


    Я думаю, что Вы допускаете ошибку. Давайте обсудим. Пишите мне в PM, поговорим. открытие новых станций метро к 2020 году, новая линейка ваза к 2020 году и Гретель и Гензель (2020) трейлер на русском. Отзывы от зрителей новое метро до 2020 года на карте

  58. Я извиняюсь, но, по-моему, Вы допускаете ошибку. Предлагаю это обсудить.


    Вы оказались правы. Благодарю за совет, как я могу Вас отблагодарить? пират торрент, торрент флеш или фильм бруно скачать tnc торрент

  59. Совершенно верно! Именно так.


    Я пожалуй просто промолчу новая москва карта границы до 2020 года, новая нива 2020 года фото и Плов с курицей в мультиварке 2020 – пошаговый рецепт с фото барбоскины смотреть бесплатно новые серии 2020 года

  60. Не могу сейчас принять участие в дискуссии – нет свободного времени. Очень скоро обязательно выскажу своё мнение.


    Могу порекомендовать зайти на сайт, на котором есть много статей по этому вопросу. миллиарды сериал, сериал шпионка и турецкие сериалы 2019 сериал люцифер

  61. Очень забавная штука


    круто!но буду ждать качество. заказали ddos, где заказать ddos атаку или ddos сервис здесь сайты взлом

  62. Прошу прощения, это мне совсем не подходит.


    По-моему это очевидно. Советую Вам попробовать поискать в google.com казино магазин, webmoney казино или casino.co.ua олимп казино

  63. Я хорошо разбираюсь в этом. Могу помочь в решении вопроса. Вместе мы сможем найти решение.


    Конечно. Так бывает. Можем пообщаться на эту тему. Здесь или в PM. пакеты почтовые екатеринбург, пакет крафт почтовый или стоимость конверта а4 почта россии почтовый пакет новосибирск

  64. Не всегда,иногда и раньше=)


    Ну кто его знает… требования технических условий, атс технические условия и сайт технические условия щебень

  65. Я извиняюсь, но, по-моему, Вы не правы. Давайте обсудим. Пишите мне в PM, поговорим.


    Эта отличная мысль придется как раз кстати joy казино, казино смотреть или casino.co.ua эверум казино

  66. суппер )))) посотрите – непожелеете


    Сегодня я много читал по этому вопросу. оптимизация технических условий, технические условия проектирование или тут росстандарт технические условия

  67. Извините за то, что вмешиваюсь… Мне знакома эта ситуация. Можно обсудить. Пишите здесь или в PM.


    Прикольные слова новости казино, казино бонус или 1xbetzerkalorabocheye.ru казино франк

  68. Меня тоже волнует этот вопрос. Подскажите, где я могу об этом прочитать?


    По моему мнению Вы допускаете ошибку. Давайте обсудим. Пишите мне в PM, поговорим. собрание казино, zzslot казино и melbetina.com gaminator казино

  69. Шутки в сторону!


    Жаль, что сейчас не могу высказаться – нет свободного времени. Вернусь – обязательно выскажу своё мнение по этому вопросу. 1xbet казино, казино лайв и promobk.ru казино fonbet

  70. Вы не правы. Предлагаю это обсудить. Пишите мне в PM, поговорим.


    ну и чё, страна здаровая, а толку? gaminatorslots казино, бесплатно казино и regamega1x.org лайф казино

  71. По моему мнению Вы не правы. Давайте обсудим это. Пишите мне в PM, пообщаемся.


    Охотно принимаю. Вопрос интересен, я тоже приму участие в обсуждении. Вместе мы сможем прийти к правильному ответу. казино рояль, мобильное казино а также yanesy.ru нива казино

  72. тема


    забираааююю!!! СПС ОГРОМНЕЙШЕЕ!!!! фиксированная ставка, кредит ставки а также регистрация на Бвин liga ставок

  73. мне б такой


    Крута тумбочка полезные советы кошатникам, полезные советы дачнику и https://allgta.ru/ полезные советы вязальщицам

  74. красиво))


    Я считаю, что Вы допускаете ошибку. Пишите мне в PM, обсудим. статья универсальные учебные действия, учебная статья по аудиту или https://borismarkin.ru/2019/12/01/5-luchshih-usilitelej-sotovogo-signala/ учебный отпуск оплата статья

  75. Конечно. Я согласен со всем выше сказанным.


    Какие нужные слова… супер, великолепная фраза усиления сотовой связи на даче, как сделать усиление сотовой связи или https://sputnik42.ru/usilenie-sotovoj-svyazi/kak-vybrat-usilitel-sotovoj-svyazi-na-dachu-vidy-usilitelej-mobilnoj-svyazi-dlya-zagorodnogo-doma/ билайн усиление сигнала сотовой связи

  76. Полностью разделяю Ваше мнение. В этом что-то есть и это отличная идея. Готов Вас поддержать.


    Супер клас!!! установка спутниковой интернет, установка розеток интернет а также https://win8os.ru/ интернет установка скачать

  77. Интересная тема, приму участие.


    В этом что-то есть. Спасибо за помощь в этом вопросе, может я тоже могу Вам чем то помочь? полезные советы психология, полезные советы неумывакина или https://allgta.ru/usilenie-sotovoj-svyazi/usiliteli-sotovoj-svyazi-dlya-dachi/ полезные советы компьютерные

  78. для общего развития посмотреть мона, а так могли бы и лучьше,


    Я думаю, что это отличная идея. статья праздник начало учебного года, статьи об учебных курсах и https://borismarkin.ru/ составить план учебной статьи

  79. Вы абстрактный человек


    Поздравляю, ваша идея пригодится значок сети 4g, стандарт сети 4g и https://revelationonline.su/ диапазон сети 4g

  80. не! МЛЯ ВЫ ТОЛЬКО УМЕЕТЕ ПОЗИТИВНО ДУМАТЬ!


    Я конечно, прошу прощения, но, по-моему, это очевидно. проект усиление сотовой связи, усиление приема сигнала сотовой связи а также https://sputnik42.ru/usilenie-sotovoj-svyazi/kak-vybrat-usilitel-sotovoj-svyazi-na-dachu-vidy-usilitelej-mobilnoj-svyazi-dlya-zagorodnogo-doma/ установка усиления сотовой связи

  81. Хотя, надо подумать


    Что бы Вы стали делать на моём месте? установка интернет клиент, спутник интернет установка и https://win8os.ru/ интернет мегафон установка

  82. Вы допускаете ошибку. Давайте обсудим это. Пишите мне в PM.


    Замечательно, весьма полезная информация blacked com porno, blasked парно скачать бесплатно и кармелла бинг порно порно мама учит дочь заниматься сексом

  83. кульно!!!


    Я извиняюсь, но, по-моему, Вы ошибаетесь. Давайте обсудим. danejones porn, маша рябушкина видео или самый лучший секс в порно пышных брат и сестра

  84. Извините за то, что вмешиваюсь… Но мне очень близка эта тема. Готов помочь.


    Совершенно верно! Мне кажется это очень отличная идея. Полностью с Вами соглашусь. evelina darling porn, молодая девушка хочет секса или порнуха скачать бесплатно порно с денни

  85. Хороший!!!Будем ждать лучшего качества


    По-моему это только начало. Предлагаю Вам попробовать поискать в google.com ндфл ставки, вклады ставки а также Париматч официальный сайт вилка ставки

  86. Я считаю, что Вы допускаете ошибку. Могу это доказать.


    Абсолютно с Вами согласен. В этом что-то есть и мне кажется это отличная мысль. Полностью с Вами соглашусь. верификатор ставок, налоговые ставки или Леон сделать ставку mosprime ставка

  87. Извините, что не могу сейчас поучаствовать в дискуссии – нет свободного времени. Вернусь – обязательно выскажу своё мнение по этому вопросу.


    Весьма забавная информация стс фильмы, русский фильм или торрент кпк фильм пассажиры

  88. Не могу сейчас поучаствовать в обсуждении – нет свободного времени. Но освобожусь – обязательно напишу что я думаю.


    Я думаю, что Вы допускаете ошибку. Могу это доказать. Пишите мне в PM. барселона это, барселона лиссабон или трансферы в испании игры барселоны

  89. Любопытно, но не понятно


    Извиняюсь, но не могли бы Вы дать больше информации. фильм сорок первый, фильмы похожие на орудие смерти и утомленные солнцем 2 предстояние скачать торрент тени исчезают в полдень 1 серия

  90. Я извиняюсь, но, по-моему, Вы ошибаетесь. Пишите мне в PM, пообщаемся.


    мне понравился…советую,тем кто не смотрел,посмотрите обезательно – неразачируетесь зенит барселона, барселона майорка и заказать такси барселона барселона трансляция

  91. Абсолютно с Вами согласен. В этом что-то есть и идея отличная, согласен с Вами.


    Какой занимательный вопрос барселона атлетико, футбол барселона и барселона андорра барселона твиттер

  92. Я думаю, что Вы допускаете ошибку. Давайте обсудим это.


    Полностью разделяю Ваше мнение. В этом что-то есть и идея хорошая, поддерживаю. час пик 2 торрент, фильм экипаж 1979 актеры или утомленные солнцем 2 предстояние скачать торрент фильм неуловимая четверка

  93. неочень впечатляет


    Конечно. Так бывает. Давайте обсудим этот вопрос. полицейские и воры, третья мировая сериал и руд и сэм сериал литейный 1 сезон

  94. Нормально сочиняет


    Авторитетная точка зрения, забавно… видео взрослые ххх, взрослые видео вк а также на этом сайте хоум видео взрослое