Лекция. HPC - High Perfrmance Computing (Перевозчиков) (Электронные лекции)

Welcome to the waitless worldВсё меняется.И HPC тоже…Алексей ПеревозчиковServer Solutions Product Manager82189117@ru.ibm.com2010 Patent Leadership (18 лет лидерства)TotalsIBM5,896Samsung4,551Microsoft3,094Canon2,552Panasonic2,482Toshiba2,246Sony2,150Intel1,653LG Electronics1,490HP1,480* Source: IFI Patent IntelligenceIBM Austin the Home of Power Systemsdevelopment: 950 Patents#1 IBM location for 8th yearSoftwareGroup$6BIn R&DSystems &TechnologyGroupResearch© 2014 IBM Corporation2012 Patent Leadership (20 лет лидерства)TotalsIBMSamsungCanonSonyPanasonicMicrosoftToshibaHon Hai PrecisionGeneral ElectricLG Electronics6,4785,0813,1743,0322,7692,6132,4472,0311,6521,624Source: IFI Patent IntelligenceHP#151,394Intel#181,290Oracle is not in the top 50SoftwareGroup$6BIn R&DSystems &TechnologyGroupResearchStreamingAnalytics32 Nanometer factory© 2014 IBM CorporationWelcome to the waitless worldRPE2© 2016 IBM CorporationWelcome to the waitless world© 2016 IBM CorporationWelcome to the waitless worldА тем временем… IBM сообщила об открытииспособа контроля одновременно обоих типовквантовых ошибок и …© 2016 IBM Corporation6Welcome to the waitless world© 2016 IBM Corporation7Энергоэффективность•8© 2014 IBM CorporationPOWER8940 лет микропроцессорам: тенденции10Планы развития процессора POWERPOWER9POWER822nmPOWER5/5+130/90 nmDual CoreEnhanced ScalingSMTDistributed Switch +Core Parallelism +FP Performance +Memory Bandwidth +Virtualization2004POWER6/6+65/65 nmDual CoreHigh FrequenciesVirtualization +Memory Subsystem +AltivecInstruction RetryDynamic Energy MgmtSMT +Protection Keys2007POWER7/7+45/32 nmEight CoresOn-Chip eDRAMPower-Optimized CoresMemory Subsystem ++SMT++Reliability +VSM & VSXProtection Keys+2010More CoresSMT+++Reliability ++FPGA SupportTransactional MemoryPCIe Acceleration2014Extreme AnalyticsOptimizationExtreme Big DataOptimizationOn-chip acceleratorsПроцессор POWER8Процессор POWER8Ядра• 12 ядер (SMT8)• 8 dispatch, 10 issue,16 exec pipe• 2X internal dataflows/queues• Enhanced prefetching• 64K кэш данных,32K кэш инструкцийАкселераторы• Криптография• Расширение памяти• Транзакционнаяпамять• Поддержка VMM• Перемещениеданных / VMТехнология22nm SOI, eDRAM, 650mm2, 4.2B transistorsУвеличенные кэши•512 KB SRAM L2 / core•96 MB eDRAM shared L3•Up to 128 MB eDRAM L4(off-chip)Память•Up to 230 GB/ssustained bandwidthEnergy Management• On-chip Power ManagementMicro-controller• Integrated Per-core VRM• Critical Path MonitorsШинные интерфейсы•Durable open memory attachinterface•Интегрированный PCIe G3•SMP Interconnect•CAPI (Coherent AcceleratorProcessor Interface)Ядро POWER8 (относительно POWER7)••••••••SMT4 SMT88 dispatch10 issue16 execution pipes:2 FXU, 2 LSU, 2 LU, 4 FPU,2 VMX, 1 Crypto, 1 DFU,1 CR, 1 BRLarger Issue queues(4 x 16-entry)Larger global completion,Load/Store reorderImproved branch predictionImproved unaligned storageaccessDFUISUIFUFXULSUVSU• 2x L1 data cache (64 KB)• 2x outstanding data cachemisses• 4x translation CacheWider Load/Store• 32B 64B L2 to L1 data bus• 2x data cache to executiondataflowEnhanced Prefetch• Instruction speculationawareness• Data prefetch depth awareness• Adaptive bandwidth awareness• Topology awarenessMemory Buffer Chip…with 16MB Cache…“L4 cache”Модули памяти наполняютсяинтеллектом•Умная система кэширования•Оптимизация энергии•НадежностьОптимизированный интерфейс•9.6 GB/s high speed interface•Интеллектуальная надежность•Изоляция сбоев на летуУникальная производительность•Уменьшенная латентность fastpath•Cachelatency/bandwidth, partial updates•Логика предсказания•22nm SOI for optimal performance / energy•15 metal levels (latency, bandwidth)DRAMChipsMemoryBufferDDR Interfaces16MBMemoryCacheScheduler &ManagementPOWER8LinkОрганизация памяти в POWER8DRAMChipsMemoryBuffer128GB16MB16MB128GB16MB128GBPOWER8128GB16MB• У Intel нет L4 и они показывают цифры “to the DIMM”12812816MB16MB• Наши230ГБ/свполнедостижимывреальныхусловияхGBGB• Цифры “to-DIMM” теоретические, реально достижимыенамногониже (из-за используемых протоколовDIMM,12812816MB16MBGBGBэтосправедливо для всех производителей)8 скоростных каналов, каждый до 9.6 Гб/сдо 230 ГБ/с в устойчивом режиме (sustained)До 32 портов DDR выдающих в пике 410 ГБ/с (на уровне DRAM)До 1 ТБ памяти на сокет (для старших версий – до 2 ТБ на сокет)CAPI (Coherent Accelerator Processor Interface)POWER8Virtual Addressing•Ускоритель работает напрямик с разделяемойпамятью•Обмен данными с кэшем процессора.•Исключает накладные расходы ОС и драйверов.Hardware Managed Cache Coherence•Стандартный механизм блокировок.CustomHardwareApplicationPSLPOWER8Coherence BusCAPPPCIe Gen 3Transport for encapsulated messagesFPGA or ASICСпециализированные контроллерыПрограммные ускорителиCoherent Accelerator Processor Interface (CAPI) FlowТипичный процесс работы I/ODD CallCopySource DataMMIO NotifyAcceleratorAccelerationPoll / IntCompletionCopyResult DataПроцесс при использовании когерентной памятиShared Mem.Notify AcceleratorAccelerationShared MemoryCompletionRet.

From DDCompletionCoherent Accelerator Processor InterfacePCICAPIPCINon-CAPIAcceleratorAcceleratorCoreP8CoreMemoryMemory20Несколько слов остратегии вобласти HPCРазвитие стратегии аппаратных средств для HPC• Общий дизайн платформы для высокопроизводительныхвычислений и высокопроизводительной аналитики• Углубление отношений с технологическими партнёрами• Серверы для данного сегмента в основном 2 сокета• Усиление поддержки InfiniBand и Ethernet• Большая часть производительности на операциях сплавающей точкой будет достигаться за счёт GPU• Стандартные индустриальные стойки и корпусаВарианты воздушного и водяного охлаждения22Стратегия развития процессоров архитектурыPOWER• Консолидация усилий и фокус на одномпроцессоре (чипе) общего назначения для каждогопоколенияДизайн для более плотной интеграции с вспомогательнымоборудованиемМножественный дизайн модулей обеспечивает различныекомбинации памяти и шин I/O• Использование ускорителей подключаемых кпроцессору для соответствующих платформ иприложенийFPGA для коммерческих задач, таких как Java, СУБД, аналитикаGPU для научных и вычислительных задач23OpenPOWER Foundation –что, как, зачем.© 2015 IBM CorporationОсновныеособенностиOpenPOWERНаша миссия- созданиеоткрытой• Это общественная организация, деятельностьэкосистемына кембазебыархитектурыкоторойне регулируетсято ни было.

Никоммерческими,ни государственнымипроцессора POWER, которая позволитструктурамизнаниямии опытом,• обмениватьсяИдея близка к концепцииПО с открытымкодом,но винвестироватьприменении к иаппаратуреразрабатывать• Отличие от мира СПО – участники консорциумапродукты, обладающиевысокойкооперируются,а не конкурируют.• интеллектуальнойКаждый участник делает своючасть илиценностьюссоздаёт свои изделия используя наработкицелью соответствовать потребностямостальных участников сообщества.заказчиков и индустрии© 2015 IBM CorporationАвгуст 2013 г.анонс OpenPOWER Foundation.5 компаний-членов(Google, IBM, Mellanox, NVIDIA, Tyan)ФевральЯнварьМарт2015членовДекабрьчленаНоябрьМарт 2015 г.113 членов консорциумачленовСентябрьАвгустИюльМайчленаОктябрьИюньчленовчленовчленовчленаАпрельчленовчленаоснование,2013членов© 2015 IBM CorporationОткрытое сообщество разработчиков190+ участников консорциума OpenPOWERBauman Moscow StateTechnical University26 университетовRikor.IT22 страныTechnopromKNS Gpoup8 рабочих группWelcome to the waitless worldСпециализированныйсервер для HPCTESLA P100 ACCELERATORPascal ArchitectureNVLinkCoWoS HBM2Page Migration EngineCPUTeslaP100Unified MemoryHighest Compute PerformanceGPU Interconnect forMaximum ScalabilityUnifying Compute & Memory inSingle PackageSimple Parallel Programmingwith Virtually Unlimited MemorySpaceCompute5.3 TF DP · 10.6 TF SP · 21.2 TF HPMemoryHBM2: 720 GB/s · 16 GBInterconnectNVLink (up to 8 way) + PCIe Gen3ProgrammabilityPage Migration EngineUnified MemoryAvailabilityShips in IBM “Minsky” System: September 201630P10031POWER8 with NVLink Module InterfacesX-Bus8B @ 4.8GHz2 Memory DMI Ports9.6GHz2 Memory DMI Ports9.6GHzPCIe Gen3 x8PCIe Gen3 x162 Bricks (16 Lanes)19.2 GHz32PCIe Gen3 x162 Bricks (16 Lanes)19.2 GHz© 2014 IBM CorporationGPU InterconnectPCIe, Power, MiscNV3 NV2••33NVLink Interface• High bandwidth interface farexceeding any existing orplanned future PCIeinterface• 16 Lanes CPU to GPU• 16 Lanes GPU to GPUPCIe Interface• Used for initiation, controland in band reporting of GPUstatus• PCIe x16 interface on theGPU, Garrison uses thisinterface in x8 modeNVLink NV1 NV0PCIe Gen3 x8PCIe Gen3 x8PCIe Gen3 x162 Bricks (16 Lanes) 19.2 GHz2 Bricks (16 Lanes) 19.2 GHz2 Bricks (16 Lanes) 19.2 GHzNV0 NV1NVLink NV2 NV3PCIe, Power, MiscPCIe Gen3 x8© 2014 IBM CorporationNVIDIA Pascal GPUBare Die MCM2x Leaf SpringsTop Side Stiffener - Aluminum2x Alignment PinsGPU PowerRegulationBottom Stiffener - Steel4x Extraction Springs2x 400 pin Meg-Array Connectors2x Grounding Gaskets34NVIDIA Pascal GPU с радиаторомIBM FRU Creation from NVidia PPN“Assemble TIM, heatsink & NIFs to NVidia PPN”352 Socket P8 with NVLink + 4 GPU P100 = 21.5TFlops in 2UService Controller CardPower Supplies (2x)Power 8 with NVLink (2x)• 1300W• Common Form Factor Supply• 190W Sort• Integrated NVLink 1.0• BMC ContentPCIe slot (1x)• Gen3 PCIe• HHHL AdapterWater Cooling Access• Removable panel for waterline accessPCIe slot (2x)NVidia GPU••••SXM2 form factorNVLink 1.0300 WMax of 2 per socket• Gen3 PCIe• HHHL Adapter36© 2014 IBM CorporationPower Supplies (2x)• 1300W• Common Form Factor SupplyService Controller Card• Firestone BMC Content• Daughter card due to planarspace constraintsPCIe slot (1x)• Gen3 PCIe• x16 HHHL AdapterPCIe slot (2x)• Gen3 PCIe• 1, x16 HHHL Adapter• 1, x8 HHHL AdapterNVidia GPU (4x)• SXM2 form factor• NVLink 1.0• 300 W• 2 per socket37Power 8 with NVLink (2x)Memory DIMM’s Riser (8x)• 190W Sort• Integrated NVLink 1.0• 4 IS DDR4 DIMMs per Riser• Single Centaur per Riser• 32 IS DIMM’s total© 2014 IBM CorporationNVLink: формально в 2.5 раза быстрее связь CPU-GPUРеально: 3-4ГБ/c vs 17-18ГБ/cна PCIe3 на NVLinkGraphics MemoryPCIe32GB/sCPUSystembottleneckGraphics Memory80 GB/sGPUNVLinkGPUDDR4POWER8DDR4GPUGPUs Limited by PCIe BandwidthFrom CPU-System MemoryGraphics MemoryNVLink Enables Fast Unified Memory Accessbetween CPU & GPU Memories38Design: Flat and FatFabricДизайн “flat and fat”Данные свободно протекаютв системеПолоса CPU: GPU почтитакая же как СистемнаяПамять: CPUШирокие каналы между GPUподключенными к тому жесокетуУстраняет ограничения PCI-e длямногих типов задач• Пики на старте / сброс итогов• Обеспечение непрерывного потокаIB115GB/sDDR4CPUIB115GB/sDDR4CPUUnified Memory Space up to 1TBGPUNVLinkGPU80 GB/sGPUNVLinkGPU80 GB/sданных Host-Device• Постоянные пересылки между 2 GPU• Скрытые пересылки по шине внаправлении Host-Device39.