Изследване: Виртуален суперкомпютър от браузъри – струва ли си?

(Нетърпеливите могат директно да прескочат до частта Ако пожелаете да участвате, след което да се върнат към скучните технически подробности)

Въпреки непрекъснатото поевтиняване на изчислителните ресурси, закупуването на голяма изчислителна машина все още е проблем пред редица недобре финансирани групи. Също така не всеки може да си позволи закупуването на изчислително време от доставчици на облачни услуги. Много преди времето на облаците, проектът SETI (Search for Extra-Terrestrial Intelligence) популяризира изчислителен модел, при който хиляди домашни потребители можеха да дарят неизползваното изчислително време на собствените си компютри за извършване на научни изследвания. SETI@home, както се наричаше първоначално проектът, стана един от най-мощните виртуални суперкомпютри в света. Идеята беше доразвита по-късно под формата на универсалната платформа BOINC, която позволява на всеки да създаде свой виртуален суперкомпютър, ако успее да убеди достатъчен брой потребители да инсталират платформения клиент и да се присъединят към проекта. Необходимостта от инсталиране на специален клиент донякъде се оказа пречка пред редица потребители с недостатъчни технически познания. От друга страна, сложната сървърна инфраструктура, необходима за работата на BOINC, се оказа пречка пред редица научни проекти.

В същото време сме свидели на постепенна промяна в парадигмата за компютър. Освен неспирното навлизане на таблетите, съществува реална опасност мощните персонални компютри да се превърнат в нетбуци на стероиди, прости платформи за изпълнение на уеб браузъри. За справка: Google Chromebook Pixel.

Съвременните браузъри на практика са малки виртуални машини, които, освен че могат да показват картинки и текст, позволяват изпълнение на изключително сложна логика, написана на JavaScript. По естествен път възниква въпроса, не може ли да се използва тази сила на браузърите за създаване на разпределени изчислителни системи, при които крайният клиент не трябва да инсталира нищо (zero setup distributed computing) – достатъчно е последният просто да посети определена страница в Интернет, за да дари изчислителните си ресурси.

Идеята не е моя. Още преди няколко години, когато беше първоначалният бум на BitCoin, някой се беше сетил да напише JavaScript код за копаене на BitCoin, след което редица хора се опитаха да се възползват от различни XSS атаки, за да превърнат браузърите на нищо неподозиращи хора в копачи. JavaScript обаче няма целочислени типове, а представя вътрешно всичко като числа с плаваща запетая. Съответно криптографските операции, необходими за копаенето на BitCoin, бяха изключително бавни в реализация на JavaScript. Не така стоят нещата с редица научни програми, които извършват предимно изчисления с плаваща запетая.

Това ме наведе на мисълта: колко точно по-бавен е JavaScript в сравнение с традиционните компилирани езици, използвани в научната и инженерна практика, като Fortran и C/C++? Така се роди идеята за това изследване, чиято цел е да отговори по наукообразен начин на поставения въпрос.

Проблемът

Съществуват десетки браузъри и операционни системи, върху които те се изпълняват. Отделно съществуват стотици видове “железа”, върху които пък се изпълнява стекът от браузъри и операционни системи. Това прави трудно да се даде еднозначен и директен отговор, още повече, че браузърните технологии непрекъснато се усъвършенстват. Също така едно сериозно изчисление изисква продължителна работа на скрипта, което не се харесва на много от браузърите.

Въпреки всички технически детайли, големият въпрос е: струва ли си? С други думи: какво количество изчислителни ресурси може да се очаква от един средностатистически потребител?

Методът

Всеки компютър има ограничен изчислителен капацитет. Използването на интерпретиран език като JavaScript допълнително редуцира полезната част от този капацитет. Фактът, че почти никой не държи пуснат браузър 24/7 – още повече. Така че разработих един тест с две лица: първото лице е т.нар. нативен тест, който представлява компилирана и оптимизирана програма, която измерва базата (в случая – граничните възможности) на “желязото” (хардуера); второто лице е реализация на същия алгоритъм, но на JavaScript, така че да може да се изпълнява в модерни браузъри. Тъй като и двете реализации правят едно и също, времето за изпълнение на всяка от тях може директно да бъде съпоставено и така да се оцени, какъв процент от наличните ресурси могат да се оползотворят през JavaScript.

JavaScript версията има възможност да работи в режим на непрекъснато повторение. Така може да се оцени влиянието на изпълнението на заден фон и на нормалната работа на потребителя върху скоростта на изпълнение на работните скриптове, както и обратното влияние.

Призивът

По съществото си това е статистическо изследване. Подобни изследвания изискват множество участници, които малко или много покриват широк спектър от потребителски профили и компютърни конфигурации. Въпреки че съм тествал стотици пъти собствения си компютър по време на разработката на софтуера, това няма абсолютно никаква статистическа тежест. Затова призовавам всичките си познати и непознати да станат участници, пък било то дори за малко, в това изследване.

Какво се изисква от вас? Минимални усилия да изтеглите нативния клиент и да го стартирате, след което да регистрирате компютъра си и да започнете да изпълнявате браузърния тест, докато вършите нормалната си работа.

Какво печеля аз? Анонимна статистическа информация за относителната скорост, с която различни браузъри изпълняват научни алгоритми върху различни хардуерни конфигурации. Имам някои идеи за платформа (с отворен код, разбира се) за подобни приложения, но реализацията ще изисква значително количество човешки ресурси, така че събраната информация ще позволи евентуално да се спести прахосването на ресурсите (да се чете: свободното ми време, а по-късно и свободното време на други хора). Но най-важното е, че ще спечеля спокойствие нощем, защото идеята за това изследване се върти в главата ми от доста време насам и не ми дава покой :)

Какво печелите вие? Удовлетворение, че допринасяте за някаква мъгливо дефинирана научна и инженерна кауза. Но, ей, това все пак е наука. След време, също така, ще разберете кой браузър има най-добър JavaScript двигател, поне що се отнася до изпълнението на научни програми.

Ако пожелаете да участвате

Прекрасно! Предварително благодаря за което. Изследването се намира тук:

http://research.hiliev.eu/jshpcstudy/

Смятам, че инструкциите там са достатъчно подробни, но, все пак, ето описание, стъпка по стъпка, какво е необходимо да направите.

Тъй като моделът за сигурност на JavaScript не му позволява да има достъп до ключови параметри на компютъра, на който се изпълнява браузърът, а също така с цел тестване на способностите на самото “желязо”, е необходимо първо да свалите от страницата на изследването нативен клиент за операционната система, с която работи вашия компютър. За момента такъв е наличен само за Windows, така че инструкциите по-долу са валидни за нея ОС. Нативният клиент се разпространява като ZIP архив за максимална преносимост и няма нужда от инсталиране, т.е. може да се използва и от потребители, които нямат администраторски права. Необходимо е единствено да разархивирате сваления файл и да стартирате HPCGUI.exe. Ако получите съобщение за грешка при стартиране или по време на изпълнение на HPCGUI, моля погледнете секцията Известни проблеми и разрешенията им за евентуално налично решение.

../images/147.thumbnail.png

Главен прозорец на нативния клиент

Работата с програмата е изключително елементарна: необходимо е просто да натиснете Run simulation(s). Клиентът ще изтегли автоматично последната версия на пакета от тестове и що го стартира:

../images/148.thumbnail.png

Работеща симулация

Когато тестът приключи, резултатът от него, форматиран като XML, ще се появи в голямото текстово поле. Необходимо е да пренесете това съдържание в полето за регистрация на страницата на изследването. Бутонът Copy output е поставен за удобство – след натискането му, резултатът ще бъде поставен в клипборда на Windows:

../images/149.thumbnail.png

Резултатът в нативния клиент

Поставете копираното съдържание в текстовото поле във формата за регистрация на страницата на изследването и натиснете Submit:

../images/150.thumbnail.png

Форма за регистрация в сайта

При успешно изпращане на резултатите, започва същинското изследване:

../images/151.thumbnail.png

JavaScript тест в действие

Тестът може да работи в два режима: единичен и непрекъснат. Единичният режим, който е подразбиращият се в случая, е подходящ за тестване на върховната производителност на даден браузър. Непрекъснатият режим, който се активира при сложена отметка на Continuously, повтаря до безкрайност теста с кратки почивки от по 30 секунди между отделните изпълнения.

За целите на експеримента е необходимо или да пуснете многократно единичен тест, или да го оставите да работи известно време в непрекъснат режим. За предпочитане е да направите и двете, като единичният тест е хубаво да бъде пуснат няколко пъти в единствения таб на единствения прозорец на току що стартиран браузър, когато никое друго “тежко” приложение не използва ресурсите на компютъра. Това ще даде оценка на праговите възможности на JavaScript интерпретатора на вашия браузър.

Ядрото на изследването е непрекъснатият режим. Той е предназначен да изследва поведението на JavaScript интерпретатора на вашия браузър, когато даден скрипт се изпълнява непрекъснато на заден фон. Това е и режимът, който най-много ме интересува, тъй като в подобен режим би се изпълнявало едно типично разпределено браузърно приложение. Част от възможните сценарии са:

  • единствен прозорец с единствен таб, в който работи тестът, но прозорецът не е на преден план, примерно е минимизиран или друго приложение е на преден план;
  • единствен прозорец с няколко таба, като табът с теста не е на преден план;
  • няколко прозореца, като тестът се изпълнява в прозорец, който не е на преден план.

Колкото по-дълго време работи тестът и колкото повече нещата, които правите, докато той върви, се доближават до нормалната употреба на компютъра, толкова по-значим ще бъде приносът ви към изследването. Забележете, че тестът не може по никакъв начин да следи същината на вашата активност, като последната се отразява единствено под формата на различно забавяне в изпълнението на тестовия скрипт. Въпроси като колко точно време прекарвате в (а)социални мрежи и по сайтове за възрастни, както и каква музика и филми пиратствате, изобщо не попадат в кръга на интересите ми. Всъщност, шепата читатели тук са всички до един достатъчно технически грамотни и нямат нужда от подобни обяснения, но година и нещото престой в Германия вече дава някои отражения.

Добре би било, ако разполагате с няколко инсталирани браузъра, да пуснете теста във всеки един от тях. След като регистрирате компютъра си с един от браузърите, можете да използвате малката форма в горния край на страницата на изследването, където следва да впишете т.нар. идентификатор на тествания компютър (benchmark ID), който може да получите, натискайки бутона Copy benchmark ID на нативния клиент.

Въпроси и отговори

Какви тестове са включени в пакета?

Към настоящия момент пакетът включва единствен тест – молекулярна динамика на симулирана система от 1000 атома, които взаимодействат помежду си посредством потенциал на Lennard-Jones. Този потенциал в добро приближение описва взаимодействието между атоми на благородни газове като хелий (He), неон (Ne), аргон (Ar) и т.н. Също така потенциалът добре описва взаимодействието между атоми на благородни метали и въглеродни подложки, например при симулиране на процеса на изпарително покриване на въглеродни нанотръби със злато или платина за каталитични цели.

Защо резултатите от нативния клиент се различават от тези от теста в браузъра?

Поведението на системите от повече от две тела е хаотично – малките разлики в началните условия нарастват експоненциално с еволюцията на системата във времето. Също така, молекулярната динамика е метод за приближено решаване на уравненията на движение, а и компютрите работят с крайна точност на представянето на числата с плаваща запетая. По тази причина точната форма на траекториите и стойностите на различните величини на всяка стъпка нямат особен физичен смисъл, а само техните термодинамични средни стойности. Консултирайте се с произволен курс по термодинамика за по-задълбочено обяснение – ключовата дума е ергодична теорема.

Различната реализация на математическите операции в различните браузъри също може да доведе до разлика в показваните стойности. Докато Firefox, Safari и Internet Explorer дават идентични резултати, то тези от Chrome се различават от останалите. Това е напълно нормално.

Каква точно информация изпраща нативния клиент?

Нативният клиент използва програмата CHKCPU32.exe, включена в разпространявания архив. CHKCPU32 предоставя следната информация за техническите характеристики на процесора на вашия компютър:

  • модел и производител;
  • брой процесори, ядра и хардуерни нишки;
  • тактова честота;
  • поддържано множество инструкции;
  • размер на кеш паметта.

На практика нативният клиент изпраща изхода от изпълнението на командата CHKCPU32 /X. Примерен резултат от моя собствен компютър:

<?xml version="1.0" encoding="utf-8" ?>

<chkcpu32>
  <ident>CPU Identification utility</ident>
  <version>v2.11 final</version>
  <copyright>(c) 1997-2013 Jan Steunebrink</copyright>
  <cpu_vendor>Intel </cpu_vendor>
  <cpu_model>Pentium Dual-Core G600/G800 series Q0-step</cpu_model>
  <cpu_speed>1700</cpu_speed><speed_unit>MHz</speed_unit>
  <cpu_name>Intel(R) Core(TM) i5-2557M CPU @ 1.70GHz</cpu_name>
  <cpuid_sign>0x0206A7</cpuid_sign>
  <physical_cpus>1</physical_cpus>
  <cores>2</cores>
  <threads>4</threads>
  <htt>0</htt><xd>1</xd><_64bit>1</_64bit><vt>0</vt>
  <mmx>1</mmx><_3dnow>0</_3dnow><sse>1</sse><sse2>1</sse2><sse3>1</sse3>
  <ssse3>1</ssse3><sse41>1</sse41><sse42>1</sse42><sse4a>0</sse4a>
  <l1>64 KB</l1>
  <l2>256 KB</l2>
  <l3>3072 KB</l3>
</chkcpu32>

Тази информация се използва от сървъра, за да предостави на нативния клиент версия на пакета от тестове, която е максимално оптимизирана за конкретното “желязо”. Никъде в нея не се съдържа лична информация.

Какво точно е “идентификатор на тествания компютър” и доколко той съдържа лична информация?

Идентификаторът (benchmark ID) позволява да бъде отличен един тестов компютър от друг, както и да бъдат свързани резултатите от нативния клиент и браузърните тестове (моделът на сигурност на браузърите не позволява скриптовете да достъпват информация извън т.нар. “пясъчник”, така че директен обмен между нативния клиент и браузъра е невъзможен). Технически представлява MD5 трансформация на името на компютъра, “осолена” със серийния номер на системния том. Комбинацията от двете е достатъчно уникална, така че не се очакват колизии по време на изследването. MD5 е еднопосочна трансформация, т.е. практически невъзможно е, дори ако използвам (нелегално) всички ресурси на суперкомпютъра на работа, да възстановя нито името на компютъра ви, нито серийния номер на системния том от идентификатора.

На практика вашето участие в изследването е анонимно, освен ако не решите да споделите изрично кой стои зад даден идентификатор.

Кои браузъри и операционни системи се поддържат?

Всеки съвременен браузър следва да работи. Тествал съм с Firefox 19+, Chrome и IE 9 на Windows 7. IE 9 е значително по-бавен от останалите браузъри, особено в 64-битов режим, в който е пъти по-бавен от иначе бавния 32-битов IE 9. По данни от други хора, IE 10 на Windows 8 се държи много по-добре.

За момента се поддържа само Windows, тъй като нативните клиенти за другите системи са още в процес на разработка. По редица причини програмата е тествана само на Windows 7 x64 с инсталирано MS Visual Studio 2010. Напълно е възможно да се появят проблеми на по-ранни или по-късни операционни системи – ако това се случи, оставете коментар с описание на проблема. Участници с Windows XP, Windows Vista, Windows 8 или сървърна версия на Windows са добре дошли.

Известни проблеми и разрешенията им

Стартирането на HPCGUI.exe пропада с грешка за липсващ MSVCR100.dll или MSVCP100.dll

Необходимо е да свалите и инсталирате (последното изисква администраторски права):

Microsoft Visual C++ 2010 Redistributable Package x86

Двете динамични библиотеки са включени в архива, но е възможно да имат допълнителни зависимости. Работя за статичното им включване в изпълнимия файл.

Стартирането на симулацията от нативния клиент пропада с грешка:

Execution of command '\some\long\path\simpack_win_opt.exe \other\long\path' failed (error 193)

Вероятно пътят до папката с нативния клиент е твърде дълъг. Преместете папката на друго място така, че пътят до нея да е по-къс. Това изглежда е ограничение в използваната библиотека от инструменти, което ще се опитам да премахна по-нататък.

Заключителни бележки

Изследването е в ранна бета, затова и публикувам текста единствено на български език. Възможно е да има още много грешки в програмите. Възможно е и хостингът ми да не бъде особено доволен, ако това стане твърде популярно. Затова всякакви положителни и отрицателни отзиви и обратна връзка са добре дошли. Ако нещо не работи, както се очаква, или просто искате да изразите възхищението или възмущението си, пишете ми на research маймуна icaci точка info.

MPI Trace Art

The internal working of most MPI libraries is considered black magic by many. Indeed, the PMPI profiling interface, used by virtually all portable tracing and profiling libraries, treats all collective operations as black boxes and one only sees coloured polygons in the trace visualisation and all messages sent between the processes in order to implement a given collective operation remain hidden. Fortunately the most widely used general purpose MPI implementations come with openly accessible source codes and one can easily reimplement all collective algorithms using regular point-to-point MPI operations in order to be able to trace them and to analyse their performance. Some nice graphics could also be produced as a by-product. Surprisingly, it turns out that some of those traces resemble modern art. And thus the MPI trace art is born.

Motivated by some unusual behaviour of the MPI broadcast operation in Open MPI on RWTH’s compute cluster (unusually long completion time given a certain “magic” number of MPI processes), I reimplemented some of the broadcast algorithms from the tuned module of the coll component type and traced the result with VampirTrace. tuned is currently the collective communications module that gets selected for most cluster jobs unless one intervenes in the module selection process. It implements several different algorithms and selects between them using an empirically derived heuristic logic, unless a special file with dynamic rules has been provided. Here is what the default algorithm for broadcasting large messages to a large number of processes looks like in Vampir:

/images/coll_tuned_bcast_intra_pipeline.thumbnail.png

MPI_Bcast with segmented pipelining

Each message is split into many segments of equal size (except the last one that could be shorter) and then a pipeline is built — the root rank process sends to the next rank, which sends to the rank after it, and so on. The change of slope between ranks 11 and 12 is a clear sign of inter-node communication with different latency and/or bandwidth. Since the InfiniBand network has higher latency than the shared memory, used for intra- node messaging, a build-up of messages is observed which leads to the compression of the message lines the further it goes in time. Another such slope change is present between ranks 23 and 24, but it does not lead to another bunching of message lines as they have already been spread out while crossing between ranks 11 and 12. The narrow polygon on the left side is an MPI_Barrier collective call and is an example of how opaque are the MPI collectives when seen through the PMPI interface.

Note the overall peaceful feeling, streaming from the communication structure — it almost looks like a laminar fluid flow. No surprise that this is the best performing broadcast algorithm, which is available in Open MPI, when it comes to large messages and a huge number of participating ranks.

A variation of this algorithm uses several pipelines to transport the segments:

/images/coll_tuned_bcast_intra_chain.thumbnail.png

MPI_Bcast with segmented chaining (4 chains)

The root rank feeds simultaneously several separate chains (or short pipelines) — four in this specific case. As the time between two consecutive segments are sent to the same chain is more than the time it takes for the segments to traverse the InfiniBand link between ranks 11 and 12, no bunching of message lines is observed as in the case with the full pipeline.

There are also algorithms that communicate messages over a tree structure. They make for less pretty and more “angry” looking pictures.

/images/coll_tuned_bcast_intra_bintree.thumbnail.png

MPI_Bcast with segmented binary tree distribution

/images/coll_tuned_bcast_intra_binomial.thumbnail.png

MPI_Bcast with segmented binomial tree distribution

Communication in the top picture follows a binary tree pattern while that in the bottom one – a binomial tree. Both trees differ in the distribution of process ranks among the nodes of the tree and in their breadth/depth given the same number of ranks. Although the overall message line density looks nearly the same (especially when looked at from a distance), on close inspection one can see that the “rays” of messages near the bottom actually follow completely different patterns.

Besides being pretty, these traces are instructive too. Many times the really performant implementations of MPI collectives are quite complicated and not always obvious. That’s why it is best to stick with the vendor provided collectives and not to try to reimplement them in your own code (unless one reimplements them for debugging or research purposes).

More trace art will come some day.