Small language models (SLMs) i IIoT edge computing
I november organiserade ALTEN sin International Tech Week för andra gången, en serie distinkta och insiktsfulla webbinarier på temat: Automation Across Borders. En av dessa webbinarier var SLM i IIoT edge computing, presenterad av Salman Sattar, Solution engineer på ALTEN Sverige.
Med en omfattande bakgrund inom industriell IoT och maskininlärning, demonstrerade Salman hur SLM kan utnyttjas i edge computing. I denna artikel beskriver Salman hur SLM kan tillämpas i fysiska miljöer, edge-enheter, mjukvaru-och bearbetningsenheter, såväl som i molngateways.
Edge-enheter i IIoT
Edge-enheter arbetar i utkanten av IoT-paradigm och är utrustade med sensorer och kommunikationsteknologier, vilket gör dem till datainsamlare i realtid, och möjliggör analys i utkanten av nätverket.
Beslut fattas sedan enbart i utkanten istället för i centraliserade molnsystem. Edge-enheter används inom prediktivt underhåll och fleet management samt inom säkerhet, kommunikation och system som övervakar energiförbrukning.
Vad är en SLM?
Small language models (SLM) är mindre versioner av AI-modeller utformade för att bearbeta och generera intelligenta resultat på en mindre beräknings- och effektivitetsnivå. Man kallar modellerna ”small” på grund av deras relativt få antal parametrar, till skillnad från large language models (LLMs), såsom GPT-3. Det lilla antalet parametrar gör dem lättare, effektivare och mer lämpliga.
Användning av SLM i mobila applikationer är effektivt eftersom de inte kräver mycket datorkraft eller minneskrav. SLM kan också fungera bra på enklare hårdvara, vilket innebär att de kan användas med flera olika inställningar.
Working models av SLM
SLM kan användas inom real domains för kunskapsdistillation, där kunskap överförs från en förtränad LLM till en SLM, samt för beskärning, som innebär att mindre användbara delar av en modell tas bort.
Dessutom kan SLM användas för kvantisering, vilket innebär att modellens storlek och beräkningskrav minskas utan att prestandan försämras nämnvärt.
De fyra lagren av SLM Arkitektur
- Fysiskt:
Detta lager representerar den verkliga miljön där edge-enheten är utplacerad. Det kan vara ett fabriksgolv, ett fartyg till sjöss eller någon annan plats som är relevant för applikationskraven.
- Edge-enhet:
Ansvarar för kommunikation med hjälp av sensorer, en bearbetningsenhet och anslutningsmöjligheter.
- Programvara och bearbetning:
Involverar kommunikation med externa faktorer, hantering av kommunikationsprotokoll samt bearbetning och lokal datalagring.
- Molngateway:
Här kopplas SLM till IoT-enheter (Internet of Things). Den möjliggör fjärrhantering av lokala enheter via OTA (Over The Air)-uppdateringar. Säkerhet implementeras i detta lager för att skapa skyddande barriärer för existerande och inkommande data.
Parametrar i AI
I dagens värld pratar vi om flera miljoner eller miljarder parametrar, eller variabler, i AI. Beroende på vilken parameter som används kan man finjustera deras resultat. Inverkan av parametrar på resultaten avgör:
- Noggrannhet
- Lösningen av ett större problem med mindre kunskap.
- Beräknings-träning
- Modeller tränas genom att använda beräkning på olika nivåer.
- Smarta modeller
- Parameterdelning: Samma parameter används över olika lager.
- Faktorisering: Uppdelning av större kontexter till mindre delar hjälper till att minska antalet parametrar.
- Effektivitet
- Genom färre parametrar och iterativ beräkning i smarta modeller uppnås effektivitet.
Reference architecture
Förtränad data och syntetisk data från verkliga system omvandlas och bidrar tillsammans till den slutgiltiga SLM-modellen. SLM görs sedan mer intelligent och effektiv för användning i edge-enheter.
Se illustrationen nedan för referensarkitekturen på konceptuell nivå.
Sammanfattning
SLM är specifikt utformade för edge-enheter och lågpresterande enheter. Deras behov av låg beräkningskraft gör det möjligt för dem att hantera komplexa AI-uppgifter samtidigt som de använder minimala resurser.
Många äldre edge-enheter, som exempelvis brownfield-hubbar, kan dock inte stödja dessa SLM på grund av deras otillräckliga arkitektur. För att bibehålla en enhetlig arkitektur och lösning för både moderna och äldre enheter är en effektiv lösning att köra SLM i molnet, som om de opererade i utkanten, genom att använda säker tunnelöverföring.