Ny fransk AI-programvare gir billigere inferens
Publisert
Kilde: TechCrunch
Fransk AI-selskap lanserer gratis programvare for raskere inferens
Ingress: Det franske oppstartsselskapet ZML, støttet av anerkjente forskere, har lansert gratis programvare som lover å redusere kostnadene knyttet til kjøring av AI-modeller. Løsningen retter seg mot å forbedre hastigheten på «inferens» på en rekke ulike maskinvareplattformer.
ZML har nylig offentliggjort tilgjengeligheten av ZML/LLMD, en programvarepakke utviklet for å optimalisere prosessen der AI-modeller anvendes til å generere svar eller prediksjoner. Denne prosessen, kjent som inferens, er ofte ressurskrevende og en betydelig kostnadsdriver for bedrifter som benytter AI i stor skala. Ved å muliggjøre raskere og mer effektiv inferens på tvers av et bredt spekter av AI-brikker, sikter ZML mot å gjøre AI-teknologi mer tilgjengelig.
Selskapet fremhever at programvaren er utviklet med tanke på universell kompatibilitet, noe som betyr at den ikke er låst til spesifikk maskinvare. Dette er et viktig trekk, da markedet for AI-brikker er fragmentert med mange ulike produsenter og arkitekturer. Målet er å omgå flaskehalser som oppstår når AI-modeller kjøres på maskinvare de ikke er optimalisert for.
Teknologiutviklingen fra selskaper som ZML kan ha direkte relevans for norske bedrifter og forskningsmiljøer som satser på kunstig intelligens. Kostnadsreduksjoner innen AI-inferens kan frigjøre ressurser som ellers ville gått med til dyr maskinvare og drift. Spesielt for norske startups og SMB-er innen teknologisektoren kan en slik løsning senke terskelen for implementering av avanserte AI-applikasjoner.
Norske aktører innen blant annet finans, helse og maritim sektor benytter i økende grad AI. Effektivisering av inferensprosessen kan bidra til mer skalerbare og økonomisk bærekraftige AI-løsninger i disse bransjene. Det er også av interesse for norske universiteter og forskningsinstitutter som arbeider med AI-utvikling og anvendelse.