Компьютерра PDA 03.04.2010-09.04.2010 - Компьютерра

Конечно, современные технологии производят невообразимое в прошлом количество материальных благ. В результате у массы людей появилась масса свободного времени (а в традиционном обществе с трёх лет - пасти гусей), и подавляющее их большинство используют это время не для благих дел - ну уж такова человеческая природа! Кстати, и у российских "белых воротничков", занятость которых ближе к американской, чем к европейской, - похоже часов сорок восемь в неделю и выше, - есть соблазн сэкономить время на детях, подсунув им вместо родительской заботы компьютер, как нерадивые матери традиционного общества совали детям в рот соску из жёванного мака. Но это - выбор людей. И кто-то наверняка использует новомодные 3D-технологии для того, чтобы не смотреть на неубранные улицы и загаженные подъезды. А кому-то технологии объёмного видения помогут заглянуть в тайны Вселенной, как это делается уже сейчас. Кому что нравится, как сказал кот, занявшись чем-то у себя под хвостом...

Что вычисляют российские суперкомпьютеры

Автор: Игорь Осколков

Опубликовано 06 апреля 2010 года

На днях был опубликован обновлённый Топ-50 - рейтинг самых мощных компьютеров России и СНГ. Всего за полгода суммарная производительность всех систем выросла в два с лишним раза.

Лидером на этот раз стал суперкомпьютер МГУ "Ломоносов" с пиковой производительностью 414.42 терафлопс, построенный компанией "Т-Платформы". На втором месте находится система с пиковой производительностью 140.16 терафлопс, которая принадлежит МСЦ РАН и создана компанией HP. Оба суперкомпьютера входят во всемирный рейтинг суперкомпьютеров Top-500 и занимают в нём 12 и 38 места соответственно. Ни одна другая машина из России в Top-500 не попала.

Насколько полна информация, которой располагали составители Топ-50? Не остались ли в стороне от их внимания не менее производительные системы, используемые в России? Да и вообще, что означает термин "суперкомпьютер" в наше время, когда большинство высокопроизводительных систем основано на тех же процессорах, которые используются в дешёвых персоналках?

С одной стороны, суперкомпьютером можно считать любую вычислительную систему, заметно превосходящую по мощности обычные общедоступные компьютеры. С другой стороны, для того, чтобы попасть в рейтинг, этого мало.

Например, в рейтинги суперкомпьютеров не включают разного рода GRID-компьютеры и распределённые вычислительные сети, узлы которых значительно удалены друг от друга и объединяются через интернет. Причина в том, что из-за медленных соединений между узлами они неспособны одновременно задействовать все процессоры для решения общей задачи.

Кроме того, участие в рейтинге - дело сугубо добровольное. Если компания или организация не захочет сообщать о своём суперкомпьютере, о нём никто не узнает. Поводы для скрытности вообразить нетрудно: начиная от нежелания отрывать машину от работы (никакой выгоды победа в рейтинге не даёт) и заканчивая секретностью (никто не знает, какими вычислительными мощностями обладают спецслужбы или военные).

Если в мировом рейтинге более половины всех суперкомпьютеров так или иначе используется в промышленности, то в России большая часть (76% последнего Топ-50) суперкомпьютеров применяется исключительно в научных и образовательных целях. Сугубо инженерными задачами занимаются только три суперкомпьютера из рейтинга Топ-50: суперкомпьютер НПО "Сатурн", на котором рассчитываются авиационные двигатели, система одной неназванной компании (21-е место в списке) и установка фирмы "T-Сервисы", предоставляющей услуги по моделированию и расчётам. 

По одной системе есть у логистической компании (24-е место) и некого провайдера IT-услуг (18-е место). Две системы из Топ-50 используются для финансовой аналитики и обработки транзакций (одна из них – в Сбербанке), и одна принадлежит студии A-VFX - на ней рендерят спецэффекты для кино и рекламы.

Бросается в глаза отсутствие в списке новомодных кластеров для облачных вычислений, а также крупных веб-сервисов вроде поисковых систем, видеопорталов или социальных сетей. Между тем, часть дата-центра "Яндекса" или Google вполне может считаться суперкомпьютером. Эти системы, как правило, являются большими массивами отдельных серверов, связанных между собой высокопроизводительной сетью.

"На таких машинах вполне возможно запустить тест Linpack, - комментирует генеральный директор компании "Т-Платформы" Всеволод Опанасенко, - Это часто делают на Западе – в мировом рейтинге Тор-500 очень много телекоммуникационных систем. В российском же рейтинге пока всего одна – на восемнадцатом месте."

"Не каждый cloud computing хостинг может конкурировать с крупными суперкомпьютерами, - говорит технический директор компании "Оверсан-Скалакси" Александр Титов. - Для суперкомпьютерных вычислений важна скорость передачи данных между машинами. В нашей хостинг-среде используется интерконнект Infiniband QDR, что дает ей возможность не смотреться на фоне мощных российских суперкомпьютеров бледно". "Облако" компании "Оверсан" состоит из двухста узлов с двумя процессорами Xeon 5550, соединенных по Infiniband QDR и работающих с кластерной файловой системой GPFS.

Впрочем, тест Linpack на системе "Оверсана" не прогоняли (и в дата-центрах других интернет-компаний, скорее всего, тоже), и потому его точной производительности никто не знает. "Для того чтобы запустить тест Linpack на всей установке, её надо на некоторое время полностью вывести из эксплуатации", - объясняет Всеволод Опанасенко. На это пойдёт не всякий. К тому же не все компании хотят афишировать мощность своих систем, да и технические сложности различного рода тоже возможны.

Большинство современных суперкомпьютеров использует процессоры архитектуры x86. Из общего ряда выбиваются несколько систем с более специфической архитектурой: массивно-параллельная установка IBM Blue Gene в МГУ, суперкомпьютер SGI с процессорами Itanium в Росгидромете, а также часть гибридной системы в ВлГУ на базе девятиядерных процессоров PowerXCell 8i, родственных процессорам Cell из игровой приставки Playstation 3.

Растёт интерес к использованию гибридных систем, в которых используются разные типы процессоров, в том числе графических ускорителей. Например, в составе комплекса "Ломоносов" есть подобные узлы, но при тестировании для Топ-50 они не использовались и не указаны в характеристиках системы. Американский Консорциум по развитию многоядерных гибридных архитектур считает, что уже через несколько лет первые строчки в рейтинге Top-500 будут принадлежать именно таким системам.

Анатолий Вассерман: Пирамида Маслоу

Автор: Михаил Карпов

Опубликовано 06 апреля 2010 года

Выпуск 204

Анатолий Вассерман говорит о пирамиде Маслоу, а также о том, какую роль играет в ней государство и за формирование какого её уровня оно должно отвечать.

Скачать ролик на свой компьютер

В оформлении блога использованы иллюстрации TALLSTUDIO.ru

Машинное обучение улучшило "Яндекс"

Автор: Андрей Письменный

Опубликовано 06 апреля 2010 года

"В прошлом году у нас произошёл сильный прорыв в качестве поиска", - сообщил генеральный директор компании "Яндекс" Аркадий Волож на недавней пресс-конференции, посвящённой технологии MatrixNet. Новый алгоритм ранжирования помогает "Яндексу" выдавать более точные результаты в ответ на поисковые запросы. Его позитивное влияние отразилось и на популярности поисковика.

Новая технология работает в последней версии поисковика, носящей кодовое название "Снежинск", с ноября 2009 года. "Если версия улучшает качество на 1%, она выкладывается в продакшн. Большие релизы с названиями - это 1-2 процента качества. А со "Снежинском" нам удалось выиграть пять процентов," - говорит Волож. По его словам, успех "Матрикснета" настолько заметен, что им заинтересовались другие крупные поисковики (Волож дипломатично назвал их "конкурирующими компаниями из Калифорнии").

Необычность "Матрикснета" заключается в том, что алгоритм при оценке страницы учитывает не десятки или сотни факторов, а чуть ли не тысячи. Причём он устойчив к "переобучаемости" (то есть менее склонен случайно принимать за важные параметры что-нибудь явно бессмысленное, чем предшественники) и достаточно быстр.

Собственно говоря, в скорости работы и кроется главное преимущество "Матрикснета". Сравнимые по другим показателям методы машинного обучения существовали и раньше, но из-за недостаточной скорости они не годились для поисковой машины. В "Яндексе" придумали, как оптимизировать алгоритм.

Объяснить принцип работы "Матрикснета" простыми словами не так легко. Сотрудники "Яндекса" хоть и берутся это делать, но в результате примеры оказываются расплывчатыми. Видимо, математика, использующаяся в машинном обучении, плохо приспособлена для изложения на примерах с яблоками. Но в целом преимущество нового алгоритма кажется вполне понятным: чем длиннее и сложнее формула ранжирования, тем точнее поиск. "Матрикснет" умеет оперировать десятками тысяч коэффициентов.