Во вступительной статье данного цикла, я пострался вкратце рассказать о вкладе Intel и AMD в развитие рынка High Performance Computing (HPC). Но если эти две компании практически доминируют на рынке настольных систем, то до этого им далеко в мире высокопроизводительных машин. Соперниками у них выступают такие тяжеловесы, как IBM и SUN.
О детищах первой мы и поговорим в этой статье. Первый мой пост кое-кто обвинил в отсутствии подробностей, поэтому на этот раз я постараюсь дать больше технической информации.
О роли IBM на компьютерном рынке сказано и написано очень много, но врядли мы бы столько о ней говорили еслиб не её отделение разработок, которое позволяет компании до сих пор держать первое место по количеству регистрируемых патентов. Одним из проектов над которым, непокладая рук, трудятся инженеры IBM больше 25 лет – серия процессоров Power (Performance Optimization With Enhanced RISC) – краеугольный камень серверной мощи IBM.
Начало
Разработки нового чипа начались в далёком 1986 году, и их результатом стало появление систем семейства платформ «RISC System/6000» или «RS/6000». Семейство делилось на 2 класса – рабочие станции и серверы. В первых использовалось семейство процессоров POWERStation, во вторых POWERServer. Сам процессор, сначала имевший кодовое название RIOS-1 и RIOS-9, и только позже Power1, имел многочиповую архитектуру . RIOS-1 состоял из 11 микросхем - кэш инструкций, блок арифметико-логических операций, блок вычислений с плавающей точкой, 4 микросхемы кэша данных, устройство управления памятью, 2 блока ввода/вывода, тактовый генератор. В более дешёвом варианте RIOS-9 было только 8 микросхем - был «обрезан» кэш до 2 микросхем и оставлен только один блок ввода/вывода. Был также разработан однокристальный процессор для станций «RS/6000» нижнего ценового сегмента.
Спустя 5 лет на смену удачномо Power1 пришёл Power2. В него добавили второй блок арифметико-логических операций и второй блок вычислений с плавающей точкой. Также был расширен набор инструкций. Благодаря этим и ряду других улучшений получился один из самых быстрых процессоров своего времени. В 1996 году был выпущен POWER2 Super Chip P2SC, в один кристалл которого были собраны ВСЕ блоки Power2. На момент своего появления это был самый большой по площади и количеству транзисторов процессор в мире. И, наверное, это был первый процессор с интегрированным контроллером памяти. Именно это процессор стоял в знаменитом Deep Blue, который в 1997 году одержал первую победу в шахматы над Гарри Каспаровым.
Лирическое отступление
В 1991 году IBM решила, что можно попоробовать использовать свои технологические наработки в области процессоростроения в массовом сегменте рынка. После переговоров с Apple было решено приступить к совместной разработке однокристальных CPU. Apple, в свою очередь, подключила к этому делу Motorola, поскольку была её самым большим клиентом на рынке микропроцессоров класса настольных систем. Сложившийся альянс, получивший название AIM (Apple-IBM-Motorola) позволил использовать все преимущества Motorola, как одного из самых больших производителей микросхем; IBM, как разработчика, и Apple, как производителя готовых систем. Первым результатом сотрудничества стала разработка (спустя 2 года после начала) архитектуры PowerPC — модифицированной версией POWER. Были добавлены вычисления с плавающей точкой над числами одинарной точности, универсальное умножение и деление регистра на регистр но зато удалены некоторые наборы комманд характерные для серверных применений. Кроме того, была создана 64-битная версия архитектуры. За время существования альянса была выпущена целая плеяда процессоров удачных и не очень:
601 MPC601 50 и 66 МГц
602, потребительский (объединённая шина данных/адресов)
603 для ноутбуков
603e
604
604e
620 — первая 64-битная реализация
x704 BiCOMOS, воплощение PowerPC от Exponential Technologies
750 (PowerPC G3) (1997) 233 МГц и 266 МГц, 740, 745, 755
7400 (PowerPC G4) (1999) 350 МГц, 7410 с поддержкой AltiVec, SIMD-расширением спецификаций PPC
750FX, представленный IBM в 2001 и появившийся на рынке в начале 2002 с частотой 1 ГГц
Семейство 7450
970 (PowerPC G5) (2003) 64-бит, основанный на IBM POWER4, оснащённом дополнительно VMX (AltiVec-совместимыми SIMD-расширениями), на частотах 1,4 ГГц, 1,6 ГГц, 1,8 ГГц, 2,0 ГГц и 2,5 ГГц
Gekko 485 МГц (используется в игровых приставках Nintendo GameCube)
Broadway - 729 МГц процессор. Разработан IBM совместно с Nintendo для игровой приставки Nintendo Wii
Кроме того процессоры Power PC используются в качестве управляющих ядер в многоядерных системах.
Например :
Разработка KiloCore совместное детище IBM и Rapport объединяющее до 1024 ядер в одном кристалле. На данный момент существуют инженерные образцы имеющи 256 восьмиразрядных процессорных элементов, работающих на частоте 125 МГц.
Cell - совместная разработка IBM, Sony и Toshiba. В нынешнем варианте мультиядерный чип состоит из одного "Power Processor Element" ("PPE") и многочисленных "Synergistic Processing Elements" ("SPE"), объединённых в одном кристалле высокопроизводительной шиной "Element Interconnect Bus" ("EIB"). PPE представляет собой два 64-разрядных процессорных ядра (на основе POWER-архитектуры) с поочерёдным выполнением команд (in-order execution), в отличие от внеочередного выполнения (out-of-order execution), присущего всем современным процессорам. PPE поддерживает технологию одновременной обработки двух потоков (SMT - Simultaneous Multi-Threading), примерным аналогом которой является Hyper-Threading в Pentium 4. В PPE присутствует блок VMX (VMX - Vector Multimedia eXtensions, более известный как AltiVec). Объём кэша L1 составляет 64 Kb (по 32 Kb на кэш инструкций и данных), L2-кэша - 512 Kb.
SPE представляет собой специализированный векторный процессор, обрабатывающий SIMD-инструкции (аналог SSE в Pentium и 3Dnow! в Athlon). Архитектура SPE довольно проста и напоминает процессоры эры PowerPC 601 и первых Pentium: четыре блока для работы с целочисленными векторными операциями и четыре блока для работы с числами с плавающей запятой. Правда, при этом большинство арифметических инструкций представляют собой 128-разрядные векторы, разделённые на четыре 32-битных элемента. Каждый SPE оснащён 128 регистрами, разрядность которых - 128-бит. Вместо кэша L1 процессор содержит 256 Kb собственной "локальной памяти" (local memory, также называемой local store) разделённой на четыре отдельных сегмента по 64 Кбайт каждый, а также DMA-контроллер. Последний предназначен для обмена данными между основной памятью (RAM) и локальной (LM/LS), минуя PPE.
Шина EIB связывает в единую систему PPE, SPE, а также контроллеры MIC (Memory Interface Controller) и BIC (Bus Interface Controller). Она представляет собой четыре концентрических кольца (шириной 128 бит на кольцо), проходящих через все элементы Cell. Для уменьшения возникающих шумов одна пара "колец" передаёт данные в одном направлении, а вторая - в обратном. Данные, проходящие из одного SPE в другой, используют установленные в них специальные буферы/повторители, обеспечивающие беспрерывное движение данных по шине. Передавая по 96 байт за цикл, EIB способна обрабатывать более 100 уникальных запросов.
Это краткое описание архитектруры, кому интересно – поройте интернет.
На данный момент Cell используются не только в Sony Playstation 3 ( немного урезанный вариант для уменьшения процента бракованных чипов), но и в серверах. Например Mercury Computer Systems предлагает блэйд системы 25U/42U, с 28 блэйдами для 25U кабинета или 42 для 42U. Блэйды построены на двух CELL BE процессорах, работающих на частоте 3.2 Ггц. По заявлению производителя максимальная конфигурация с 42 блэйдами обеспечивает производительность в 17.2 TFLOPS. Подробнее тут : http://www.mc.com/products/systems.aspx
Да и сама IBM имеет линейку BladeCenter QS21 построенную на тех же процессорах. http://www-03.ibm.com/systems/bladecenter/hardware/servers/qs21/index.html
Xenon - процессор разработки IBM для игровой приставки Microsoft XBox 360 –трехъядерный процессор, основанный на классической архитектуре IBM PowerPC, с рабочей частотой 3.2 GHz, 1 MB кэша второго уровня и возможностью обработки двух потоков команд на ядро.
Характеристики:
90-нм технологический процесс, в 2007 г. усовершенствованный до 65-нм (в 2008 г. вероятен переход на 45-нм); 165 млн транзисторов;
три симметричных ядра, каждое выполняет по 2 потока на тактовой частоте 3,2 ГГц;
SIMD: VMX128 с 2× (128×128 bit) регистрами в каждом ядре;
1 МиБ кэш-памяти II уровня на половинной частоте в 1,6 ГГц, присоединено по 256-битной шине, может временно запираться графическим сопроцессором;
скорость передачи данных в кэш II уровня — 51,2 ГиБ/с (256 бит × 1600 МГц);
скорость передачи по внешней шине (Front-Side Bus) — 21,6 ГиБ/с;
скорость обработки точек: 9,6 млрд/с;
теоретическая производительность — 116 Гфлопс;
выполнение командного потока только в прямом порядке, без опережения;
в постоянную память (ПЗУ) записана программа загрузки (Secure Bootloader);
порядок записи байтов — от от старшего к младшему (big endian).
Такова история PowerPC на данный момент, а мы вернёмся назад в мир серверов.
Продолжение с использованием лирического отступления.
IBM RS64
После создания процессоров PowerPc серверы нижнего уровня компании IBM постепено начали использовать их. Но High-End системы семейства RS/6000 продолжали строиться на Power, используя его непревзойдённые возможности, например при операциях с плавающей точкой. Стоит также отметить, что IBM до сих пор имеет 2 собственные операционные системы. Первая – это широко известная AIX (Advanced Interactive eXecutive), построенная на UNIX System V Release 2.
Вторая - это OS/400, ныне известная как i5/OS – собственная разработка компании, построенная для использования с линейкой серверов AS/400 (сейчас eServer iSeries). Так вот до 1997 в последних использовались процессоры, к Power не имевшие никакого отношения – они были построены на архитектуре Internal Microprogrammed Interface (IMPI). Перд инженерами IBM встала задача разработки универсального процессора. Итогом работ стал новый набор инструкций под названием Amazon, базировавшийся на инструкциях PowerPC, куда были введены часть инструкций Power + набор IMPI инструкций, необходимый для поддержки платформы AS/400. Первыми процессорами, построенными на архитектуре Amazon были: Muskie(многочиповый) и Cobra (однокристальный), выпущенные Ротчерстерской коммандой разработчиков. Несмотря на то, что процессоры и использовани набор инструкций Amazon, применялись они только на платформах AS/400, поскольку реализована в них была только часть набора комманд Amazon, необходимых для работы AS/400. В 1997 появился RS64 (Apache) разработанный той же коммандой инженеров, с расширенным набором комманд, объединившим в себе наборы инструкций Cobra, Muskie, а также PowerPC (32- и 64-bit). Таким образом было получено «универсальное» семейство, на котором можно было строить и семейство AS/400 и RS/6000. В случае с AS/400 он назывался PowerPC-AS, а в серверах RS/6000 RS64-I. Развитие семейства RS64 закончилось на RS64-IV - Sstar выпущенном в 2000 году, работавшему на частоте 600-750 МГц
Power…power…power.
В 1998 году IBM разродилась Power3. Новый процессор включал в себя набор инструкций 32/64-bit PowerPC (существовавшие на момент выпуска) и поначалу даже назывался PowerPC 630 но, видимо, для предотвращения путаницы в позиционировании продукта на рынке, был переименован. Использовался в серверах и рабочих станциях IBM RS/6000 на тактовой частоте 200 МГц. Имеел в своем составе 15 млн транзисторов на подложке площадью 270 кв. мм. Более поздние модели POWER3-II были изготовлены с применением медной технологии 0,25 мкм и достигали частоты в 450 МГц при размере подложки 170 кв. мм. Power3 содержал два блока вычислений с плавающей точкой, три блока вычислений с фиксированной точкой и два блока ввода/вывода.
Его преемником в 2001 году естественно стал
Power4, наконец объединивший две процессорные линейки IBM (RS64 и Power). 175 миллионов транзисторов, частота 1.1/1.3ГГц. Он поддерживал ПЯТЬ наборов инструкци: 64-bit Amazon (PowerPC-AS), 64-bit PowerPC, 32-bit PowerPC, 64-bit POWER, and 32-bit POWER – наконец универсальное решение. Примечателен он также тем, что стал первым микропроцессором, содержавшим 2 ядра на одной подложке. На кристалле имелся единый для обоих процессоров кэш 2-го уровня объемом 1450 КБ, управляемый тремя раздельными контроллерами, подключенными к процессорным ядрам через коммутатор (Core Interface Unit, CIU). Контроллеры работали автономно и могли выдавать за такт 32 байта данных.
Каждый из процессоров использовал для коммуникации с CIU две раздельные 256-битные шины для выборки инструкций и загрузки данных, а также отдельную 64-битную шину для сохранения результатов. Пропускная способность L2-кэша порядка 100 GB/s. У каждого из процессоров имелся специальный блок для поддержки некэшируемых операций (Noncacheable Unit). Контроллер кэша 3-го уровня и контроллер памяти также размещены на кристалле. Для связи с кэшем 3-го уровня, работающим на 1/3 частоты процессора, и памятью использовались две 128-битных шины, работающих на 1/3 частоты процессора. Пропускная способность интерфейса памяти - около 11 GB/s. Потоками данных из памяти, кэшей 2-го и 3-го уровня, а также шинами между чипами управляет устройство, называемое "Fabric Controller". Четыре чипа POWER4 могли быть упакованы в один модуль, образуя 8-процессорный SMP. Для связи с другими чипами POWER4 на одном модуле логически используются четыре 128-битные шины, работающие на половинной частоте процессора. Физически они реализованы как шесть однонаправленных шин, три в одном, три в другом направлении, их суммарная пропускная способность порядка 35 GB/s.
Вот наконец мы и добрались до современности. 2004 год и поныне. Процессор
Power5. По сути, является усовершенствованной версией своего очень успешного предшественника POWER4, хотя разработчики нового процессора подчеркивали, что его нельзя рассматривать как всего лишь модификацию предшественника. На кристалле POWER5 размещалются два одинаковых процессорных ядра и общая кэш-память второго уровня (L2) объемом 1,875 Мбайт, выполненная в виде трех отдельных блоков, у каждого из которых имеется свой отдельный контроллер.
Физический адрес данных определяет, в каком блоке кэш-памяти второго уровня находятся данные. Каждое из процессорных ядер может независимо обращаться к любому из трех контроллеров кэш-памяти второго уровня. Тактовая частота POWER5 составляла от 1,5 до 1,9 ГГц.
Одним из главных новшеств в конструкции кристалла по сравнению с POWER4 стала интегрированная кэш-память третьего уровня объемом 36 Мбайт. Стоит отметить, что в предыдущем поколении процессора 32-Мбайт кэш-память располагалась вне кристалла. Благодаря ее переносу ближе к процессорному ядру при отсутствии нужных данных в кэш-памяти второго уровня, ядру намного реже приходилось обращаться за пределы кристалла, за счет чего в SMP-системе уменьшался обмен данными между кристаллами. В результате, если системы на базе POWER4 нельзя было масштабировать до числа процессоров свыше 32, поскольку это привело бы к резкому увеличению задержек из-за роста межпроцессорного трафика, то POWER5 позволял строить 64-процессорные конфигурации. Кроме того, переход на более жесткие проектные нормы 0,13 мкм позволил конструкторам POWER5 интегрировать в него и контроллер памяти, избавившись от микросхемы, которая в POWER4 отвечала за управление памятью, что дополнительно сократило латентность считывания данных из памяти.
Ещё из отличий стоит упомянуть поддержку многопоточности (SMT) с возможность подстройки - если возникает длительная задержка при выполнении команды одного потока, то все ее исполнительные блоки временно передаются другому потоку. Появляется технология ViVA (Virtual Vector Architecture), позволяющая объединять несколько процессоров Power5 в один векторный. Усовершенствовано управление электропитанием. Серверы IBM, построенные на этом процессоре, поддерживают функции виртуализации: логическое разбиение и микро-разбиение. Для каждого ЦПУ может быть создано до 10 логических разделов. Память, вычислительная мощь процессоров и каналы ввода/вывода могут динамически перераспределяться между разделами. Выпускается в вариантах c 1 процессором и с 4 процессорами на плате. Усовершенствованная версия POWER5+ имеет два процессора на плате.
А относительно недавно появился и
Power6.
Работающий на тактовой частоте 4,7 ГГц двухъядерный процессор в два раза превзошел по скорости POWER5, потребляя почти столько же электроэнергии на питание и охлаждение. Это означает, что за счет новых процессоров можно либо вдвое повысить производительность, либо снизить энергопотребление почти наполовину. На момент выхода, согласно результатам в ключевых тестах TPC-C, новые серверы IBM с числом ядер от двух до 16 по производительности в пересчете на ядро опережали системы HP Superdome в три раза. По скорости работы процессор POWER6 почти в три раза опережал Itanium. Еще более глубокое впечатление произвела пропускная способность процессора POWER6 — 300 Гбайт/с, что в 30 раз превышает показатели процессора Itanium . Power6 состоит из примерно 790 млн транзисторов и имеет площадь 341 мм² при технологическом процессе 65 нм. Начал выпускаться 8 июня 2007 г. с частотами 3,5 ГГц, 4,2 ГГц, 4,7 ГГц, однако в IBM заявляют, что опытные образцы достигают частоты в 6 ГГц. Первые кремниевые прототипы были изготовлены в середине 2005 г.
Кристалл Power6
Процессор имеет два ядра и 128 КБ кэш I уровня (поделенный на 64 КБ кэш данных и 64 КБ кэш инструкций), 2-уровневый конвейер, выполняющий два независимых чтения по 32 бита или одно 64-битовое за тактовый цикл. Каждое из ядер обладает 4 МБ кэш-памяти II уровня, частично разделяемого между ними (одно из ядер получает кэш под свое управление, второму предоставляется к нему быстрый доступ). Процессору выделяется 32 МБ кэша III уровня на отдельном кристалле, присоединенного к шине с пропускной способностью 80 ГБ/с.
Каждое из ядер способно выполнять два потока команд одновременно и включает два целочисленных блока, два блока двоичных вычислений с плавающей точкой, один блок десятичных вычислений с плавающей точкой. Впервые десятичные вычисления были реализованы на аппаратном уровне. Для этого задействованы 50 новых команд, осуществляющих математические операции и перевод из двоичной в десятичную систему счисления и обратно. Расширение адресовано серверам семейства System z.
В процессоре также присутствует блок AltiVec. Несколько процессоров могут быть объединены в единый векторный процессор, т. н. ViVA-2 (Virtual Vector Architecture).
В кристалле POWER6 реализовано несколько дополнительных технологий для сокращения энергопотребления и уменьшения тепловыделения серверов. В отсутствие полезной нагрузки тактовая частота процессора может радикально снижаться, снова повышаясь при появлении каких-то задач. Кроме того, энергия дополнительно экономится за счет динамического отключения питания неиспользуемых фрагментов памяти (с повторным их включением по мере необходимости). При превышении температурного порога процессор POWER6 способен снижать скорость выполнения команд, чтобы остаться в пределах заданного пользователем допустимого температурного коридора.
Одно из главных отличий от архитектуры POWER5 заключается в том, что IBM сознательно отказалась от внеочередного исполнения команд и заменила его последовательным исполнением. Такое серьезное изменение означает, что для «выжимания» максимальной производительности старые программы должны быть перекомпилированы. Тем не менее, согласно заявлению старшего конструктора компании, даже на неизмененных старых программах новый процессор значительно опережает предшественников.
Одно из интереснейших нововведений архитектуры POWER, доставшееся ей по наследству от мэйнфреймов System z, заключается в инновационном механизме обеспечения повышенной устойчивости систем на базе POWER6 к сбоям и отказам. Для этого на уровне процессора реализована процедура проверки целостности результатов исполнения инструкций по завершении каждого процессорного цикла. В случае возникновения ошибки, процесс откатывается назад, к заранее созданной контрольной точке в которой хранится образ его достоверно рабочего состояния, и снова запускается на исполнение. Если ошибка не воспроизводится, процесс исполняется далее своим чередом. Если же ошибка целостности возникает вновь, процессор объявляется физически неисправным и выводится из эксплуатации, а все исполнявшиеся на нем процессы автоматически переносятся на другие аппаратные ресурсы. Стоит отметить, что это механизм для своей работы не требует внесения каких-либо изменений в существующее или вновь разрабатываемое программное обеспечение.
Ключевой особенностью RISC-машин IBM является высокоэффективная симметричная многопроцессорная (SMP) архитектура, поэтому неудивительно, что при разработке POWER6 большое внимание было уделено проблемам оптимизации межпроцессорного взаимодействия и подсистема, отвечающая за построение многопроцессорных конфигураций, была коренным образом переработана. Реализованная в POWER5 архитектура организации межпроцессорных взаимодействий с использованием усовершенствованного распределенного коммутатора была заменена в POWER6 архитектурой с использованием полностью интегрированных в кристалл микропроцессора механизмов универсальной шины межсоединений (Fabric Bus). Контроллер шины (Fabric Bus Controller, FBC), отвечающий за межузловые (Inter-Node) соединения и соединения внутри узла (Intra-Node) был модернизирован и теперь работает на частоте процессора, обеспечивая каналы пропускной способностью 80 Гбайт/с и 50 Гбайт/с для внутриузлового и межузлового взаимодействия соответственно. В POWER6 присутствует три Intra-Node шины, предназначенные для построения узлов с 8 процессорами максимум, и две Inter-Node шины, предназначенные для объединения в одну SMP-машину максимум 8 узлов (архитектура POWER5 позволяла объединять до 4 узлов). Ключевой особенностью этой реализации также является тот момент, что в POWER6 используются универсальные когерентные шины, обеспечивающие одновременно и передачу данных и синхронизацию состояний.
В многопроцессорной конфигурации допустимо соединение до 32 процессоров через две шины межпроцессорного обмена (50 ГБ/с). Поддерживается параллельная работа до 1024 виртуальных машин.
Процессор поставляется в многочиповом корпусе MCM, аналогично POWER5. В корпусе размещается до 4 процессоров POWER6 и общий кэш III уровня. Присутствует интерфейс контролирующего процессора, который может наблюдать и управлять потреблением энергии и производительностью по заданному графику.
Применяются новые процессоры в системах IBM System i 570 и System p 570, которые могут быть сконфигурированы на макс. 16 ядер и тактовую частоту 3,5, 4,2 и 4,7 ГГц. Обе системы способны работать на AIX версий 5.3L и 6, а также GNU/Linux и i5/OS.
Такова история и реальность. Надеюсь нигде не ошибся. Если ошибся прошу поправить.
В ходе написания статьи использовались материалы из:
www.ibm.com
http://www-941.ibm.com/collaboration/wiki/dashboard.action
http://ru.wikipedia.org/
http://en.wikipedia.org/
http://www.bytemag.ru/
http://www.3dnews.ru/
http://archive.rootvg.net/column_risc.htm
http://www.the400squadron.com/amug/200406/NotPowerPC.htm
