Експеримент Решетката е на диета; Fraunhofer IAO - БЛОГ

Откако Светската мрежа револуционизираше Интернет во 90-тите години на минатиот век, веќе неколку години се соочуваме со уште еден револуционерен развој: мрежно сметање (de.wikipedia.org/wiki/Grid-Computing) Во мрежните компјутери, децентрализираните компјутери и компјутерските кластери се комбинираат во „виртуелен супер компјутер“ преку Интернет. Ова обезбедува директен пристап до ресурсите на мрежата, како што се компјутери, мемории, научни инструменти и експерименти, апликации, податоци и сензори.

fraunhofer

Од 2001 година, IAO управува со мрежата за ресурси на Fraunhofer (www.fhrg.fraunhofer.de) заедно со неколку други институти на Fraunhofer. Од започнувањето на иницијативата Д-Грид (www.d-grid.de/) во 2005 година, Фраунхофер ИАО исто така беше вклучена во разни области на мрежно сметање. Фокусот е на подобрување на употребливоста на услугите, подобрување на безбедносната архитектура и развој на деловни модели за давателите на ресурси и услуги.

Во овој контекст, ние би сакале да ве запознаеме со експериментален пристап до мрежата: LiDiC - лесен дистрибуиран компјутер. Со овој пристап, се поставува "лесна" мрежна околина со употреба на нормални Интернет прелистувачи, овозможени со JavaScript. Било кој број од овие прелистувачи се насочени кон одредена URL-адреса и работните пакети се пренесуваат на прелистувачот со употреба на JavaScript и AJAX технологија. Работните пакети се обработуваат од прелистувачите и резултатите се испраќаат назад до серверот.

Големата предност на овој пристап е тоа што не бара инсталација на клиент, така што за разлика од другите мрежни проекти како што се SETI @ home или мрежата на Светската заедница, секој корисник на Интернет може веднаш да учествува во пресметките. Поради лесниот пристап, може да се каже: LiDiC е мрежа со диета!

Слика 1 ја покажува основната структура: Управувачот за работа ги создава работните пакети кои се дистрибуираат до достапните веб-прелистувачи (работници) од HTTP сервер. Резултатите од работниците се испраќаат назад до серверот, што потоа ги прави достапни за мајсторот за работа.

Како може таквата мрежа успешно да се користи во секојдневниот дигитален живот од страна на компании и приватни лица? Една можност е домашна употреба, бидејќи денес многу компјутери работат повеќежилни процесори кои не се користат во целост од секојдневните канцелариски апликации. Современите прелистувачи поддржуваат ефикасна распределба на отворени прозорци на различни јадра на процесорот, што значи дека секој вработен може да има внатрешна мрежа на компанијата пресметана во еден или повеќе прозорци на прелистувачот, без тоа да има влијание врз перформансите на останатите апликации или сурфање на Интернет.

Сл. 1

Оптимално искористување на сопствените компјутерски ресурси на компанијата би бил резултат и поради лесниот пристап не би било потребно да се инсталира клиентска апликација на сите компјутери вработени.

Покрај тоа, имаше изолирани обиди да се користи таква мрежа комерцијално. Пример за ова е компанијата PluralProcessing, која им нуди на операторите на веб-страници пари доколку интегрираат Java аплет во нивната веб-страница. Користејќи го овој аплет, дистрибуираните пресметки се вршат во веб-прелистувачите на посетителите на страницата.

Пристапот презентиран во оваа статија треба да се гледа како експеримент. При продуктивно работење, големите оптоварувања мора да бидат обработени и исто така мора да се земат предвид аспектите на синхронизација и безбедност. Покрај тоа, избраниот протокол HTTP и пресметките во JavaScript резултираат со голем режим, поради што пристапот може брзо да стане неефикасен ако се примени на погрешен домен на проблем. Како и да е, мрежната инфраструктура заснована на прелистувачот нуди примамлива можност потенцијално секој компјутер со Интернет врска да придонесе за пресметување на времето на мрежата.

Детали за експериментот

Ја одбравме пресметката на најкратката патека како задача за експериментот
помеѓу почетен јазол и кој било јазол во насочен график (de.wikipedia.org/wiki/Graphentheorie). Типично, алгоритмот Dijkstra [Dijkstra59] се користи за пребарување на минималното растојание во насочен графикон, но може да се паралелизира само недоволно. Затоа, го спроведовме првото пребарување предложено во говорот на Google (nl.youtube.com/watch?v=BT-piFBP4fE), во кој се воведува паралелизам преку моделот MapReduce [Dean04].

Сл. 2
Со овој алгоритам, работниот господар поминува низ неколку повторувања на пребарувањето први на ширина и со тоа го одредува глобалниот оптимум на најкратките патеки на графиконот. Како збир на податоци, ние користиме синтетички генериран графика »Мал свет» според [Wenzel02] со 100.000 јазли и 400.218 насочени рабови (види слика 2).

[Дијкстра59] Е.В.Дијкстра. Белешка за два проблеми во врска со графиконите. Нумеричка математика 1. стр. 269–271. 1959 година.
[Wenzel02] L. Wenzel. Колку е мал светот. Кутија со алатки. 2002 година.
[Дин 04] De. Дин, С. Гемават. MapReduce: Поедноставена обработка на податоци на големи групи. OSDI. 2004 година.