Den allmänna övergången till parallell databehandling och en dramatisk ökning av storleken på neurala nätverk har lett till att vissa typer av beräkningar nu kräver mycket snabb åtkomst till minne. Samtidigt är gapet i åtkomsthastighet mellan CPU-mikrokretsen och RAM-minnet extremt stort. Processorerna blir snabbare och hastigheten för åtkomst till DRAM växer praktiskt taget inte.
Von Neumanns ursprungliga datorarkitektur tillhandahöll inte separation av logik och minne. Men framstegen står inte stilla – och nu har flera tillverkare utvecklat integrerade processing-in-memory (PIM)-moduler. Dessa är Samsung, SK hynix och den israeliska startupen NeuroBlade.
Genom att överföra en del av logiken till minneschips reduceras trafiken mellan CPU och DRAM, det vill säga mindre data flyttas mellan chipsen. Enligt vissa uppskattningar, när det gäller strömförbrukning, är flyttning av data från minnet cirka 650 gånger dyrare än en multipliceringsoperation på processorn.
Naturligtvis är in-memory computing ingen ny idé. Men det är möjligt att nu har hennes tid äntligen kommit, skriver IEEE Spectrum. Förra året började Samsung implementera sådan teknik. I februari 2021 integrerade den datorkärnor i Aquabolt-XL-minnet med hög bandbredd. Det är ett högpresterande minne som är installerat i specialiserade AI-acceleratorer.
Den nya HBM-PIM är tänkt att ersätta konventionella HBM-chips.
Till exempel, med Xilinx Alveo AI-acceleratorn, ger PIM-tekniken nästan 2,5x prestandaökning och 62 % minskning av energiförbrukningen i taligenkänningsneurala nätverk.
Samsung planerar att utveckla PIM:er för nästa generations lågeffekts-DRAM även i mobila enheter. Denna standard kommer att antas av JEDEC ungefär på första våningen. 2022 år.
Det finns många sätt att lägga till datorkraft till minneschips. Samsung valde en enkel och effektiv design: en bunt DRAM-chips vertikalt sammanfogade genom silikon-vias (TSV). På det undre lagret finns ett logikchip som fungerar som ett gränssnitt till processorn.
Förutom Samsung tar även andra företag till sig PIM-teknik. Den näst största minnestillverkaren SK hynix, tillsammans med Purdue University, introducerade redan 2020 arkitekturen för en specialiserad AI-accelerator Newton med datorkärnor i minnet som HBM-PIM, men företaget bestämde sig för att inte släppa den på marknaden och istället utveckla PIM för standard DRAM-moduler. …
Den tredje största tillverkaren Micron säger sig inte ha några sådana produkter, men köpte startupen Fwdnxt 2019 med syftet att utveckla “innovationer som för minne och datorer närmare varandra.”
