Edge AI -laitteisto
Laskentamoduulit sulautetun ja reuna-AI:n käyttöönottoon.
| Kuva | Tuote | Hinta | Kapasiteetti |
|---|
Mallin kapasiteetin ymmärtäminen
Mallin kapasiteetti viittaa tekoälymallin sisältämien parametrien määrään (esim. 70B = 70 miljardia parametria). Suuremmat mallit vaativat yleensä enemmän muistia ja laskentatehoa, mutta voivat tarjota paranneltua päättelykykyä ja tulosteen laatua.
Tarkkuus (FP16 / FP8 / FP4) vaikuttaa tietyn mallin kapasiteetin muistivaatimuksiin: alemman tarkkuuden muodot puolittavat noin muistivaatimukset askelvaihdon yhteydessä (FP16 → FP8 → FP4), hieman tulosteen tarkkuutta kuitenkin menettäen.
| Mallin koko | Tyypillinen muistivaatimus (FP16) | Tyypillinen muistivaatimus (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |