Palantirs toppsjef kritiserer AI-modellers kostnader

Publisert

Kilde: CNBC Top News

Palantirs toppsjef kritiserer AI-modellers kostnader

Ingress: Palantir Technologies' administrerende direktør Alex Karp retter skarp kritikk mot de høye driftskostnadene knyttet til store språkmodeller som brukes av selskaper som OpenAI og Anthropic. Han mener dagens utvikling tvinger frem uhensiktsmessige kompromisser for bedrifter som ønsker å ta i bruk avansert AI.

I et intervju uttrykker Karp misnøye med den økende trenden der selskaper prioriterer modeller med enorm datakraft og ytelse, ofte referert til som "tokenmaxxing", uten tilstrekkelig fokus på effektivitet. Resultatet er skyhøye kostnader for hver "token" (ord eller deler av ord) som prosesseres, noe som gjør det upraktisk og dyrt for mange bedrifter å integrere disse modellene i sine operasjonelle systemer.

Karp påpeker at denne kostnadsutviklingen fremprovoserer en uheldig situasjon der selskaper blir tvunget til å vurdere åpne, mer ressurseffektive modeller som et alternativ. Dette skjer på bekostning av potensielt kraftigere, men uoverkommelig dyre, proprietære modeller. Han hevder at "noe har gått fullstendig galt" i den kommersielle distribusjonen av disse teknologiene.

Kritikken fra Palantir-sjefen er relevant også for norske virksomheter. Norge har sett en økende interesse for implementering av generativ AI på tvers av ulike sektorer, fra offentlig forvaltning til privat næringsliv. De høye løpende kostnadene ved bruk av avanserte AI-modeller kan utgjøre en betydelig barriere for mindre og mellomstore bedrifter i Norge, som kanskje ikke har tilsvarende budsjetter som de store, internasjonale aktørene.

Fokus på kostnadseffektivitet og valg av hensiktsmessige modeller blir derfor stadig viktigere. Norske IT-selskaper og konsulenter som jobber med AI-implementering, vil sannsynligvis måtte veilede kunder mot løsninger som balanserer ytelse med økonomisk bærekraft. Dette kan innebære en preferanse for åpne kildekode-modeller eller spesialisering på mindre, finjusterte modeller for spesifikke oppgaver.