Hvernig urðu tókar nýja mælieiningin í gervigreind?

Fyrsti pistillinn í nýrri seríu um hagfræði gervigreindar er eftir Tom Christensen, tæknistjóra innviða hjá IBM í Danmörku. Tom býr yfir 30 ára reynslu og nýtir víðtæka þekkingu sína til að hjálpa fyrirtækjum að takast á við síbreytilegt rekstrarumhverfi og þróa nýstárlegar lausnir sem styðja við langtímamarkmið þeirra.

Ný mynd í heimi gervigreindar

Gervigreind fylgir ekki hinu hefðbundna SaaS-módeli þar sem greitt er fyrir notendur, sæti eða áskriftir. Þess í stað byggir hún á miklu grundvallarlegri einingu sem kallast tókar eða tokens.

Að skilja tóka er grundvallaratriði til þess að átta sig á hagfræðinni á bak við nútíma gervigreindarkerfi.

Tókur er lítill textabútur, yfirleitt hluti úr orði frekar en heilt orð. Að meðaltali samsvarar einn tókur um það bil fjórum stöfum, eða um 3/4 úr orði. Jafnvel einföld orð eins og „tokenization“ eru brotin niður í marga tóka.

Þetta skiptir máli því gervigreindarkerfi eru ekki verðlögð eftir fjölda notenda eða API-kalla, heldur út frá því magni texta sem kerfin vinna úr og búa til. Kostnaðurinn er því beintengdur vinnuálaginu en ekki aðganginum.

Frá sjónarhóli innviða er þessi hönnun úthugsuð. Hver fyrirspurn til stórs mállíkans notar reikniafl á mælanlegan hátt: inntakstókar eru unnir sem samhengi og úttakstókar eru búnir til sem nýr texti. Kostnaðurinn vex því í takt við notkun.

Þetta leiðir af sér einfalda formúlu:
Heildarkostnaður = (inntakstókar × verð) + (úttakstókar × verð)

Þetta líkist hagfræði skýjaþjónustu, þar sem greitt er fyrir örgjörvatíma eða bandvídd, en tengist enn beinna þeirri hugrænu vinnu sem kerfið innir af hendi.

Best er að líta á verðlagningu eftir tókum sem greiðslu fyrir reikniafl greindarinnar þ.e. mælt eftir notkun. Rétt eins og greitt er fyrir rafmagn á hverja kílóvattstund og fyrir skýjainnviði á hverja örgjörvasekúndu, er greitt fyrir gervigreindarkerfi á hverja einingu texta sem er unnin og búin til.

Þetta skapar eðlilegt samræmi milli kostnaðar og notkunar:

• Flóknari fyrirmæli (prompts) krefjast meira reikniafls

• Lengri svör krefjast meiri GPU-tíma

• Þyngra vinnuálag kostar meira

Þetta stuðlar einnig að sanngirni: þeir sem nota lítið greiða lítið, en umfangsmikil vinnsla fyrirtækja kostar meira.

Frá viðskiptalegum sjónarhóli opnar þetta á nýtt einingahagfræðilíkan að hætti SaaS, sem byggir á:

• Kostnaði á hverja milljón tóka

• Fjölda tóka í hverri fyrirspurn

• Kostnaði á hvert verkflæði

• Framlegð á hver gervigreindarsamskipti

Einföld fyrirspurn kostar kannski aðeins brot úr senti, en fjölþrepaverkflæði gervigreindarfulltrúa geta kostað nokkra dollara í hverri keyrslu. Með gervigreindarfulltrúum getur kostnaður aukist mjög hratt.

500 milljóna dollara lexía: Kostnaðarstýring í gervigreind

Óheft tókanotkun gervigreindar getur fljótt orðið að alvarlegri fjárhagslegri áhættu. Eitt fyrirtæki stóð að sögn frammi fyrir óvæntum 500 milljóna dollara reikningi vegna gervigreindarnotkunar sem enginn hafði eftirlit með. Eftir því sem gervigreind verður útbreiddari þurfa fyrirtæki öfluga stýringu og skýra stefnu í kostnaðarmálum til að halda tókaútgjöldum í skefjum og viðhalda um leið afköstum.

Þegar tókahagfræði verður að innviðastefnu

Þegar umfangið eykst verður verðlagning eftir tókum fljótt að ákvörðun um innviði, ekki bara spurning um hugbúnaðarkostnað.

Hýst gervigreindarþjónusta í skýinu er einföld í rekstri. Fyrirtæki þurfa hvorki að kaupa GPU-vélbúnað né sjá sjálf um hýsingu líkana, og fá strax aðgang að öflugustu líkönunum á markaðnum. Á móti kemur að greitt er fyrir hvern tóka um ókomna tíð og lítil stjórn er á jaðarkostnaði.

Hér verður keyrsla líkana á eigin innviðum raunhæfur kostur.

Þegar líkön eru keyrð á eigin GPU-innviðum breytist hagfræðin í grundvallaratriðum:

• Í stað breytilegs verðs á hvern tóka kemur fastur fjárfestingarkostnaður (CAPEX) og orkukostnaður

• Í stað þess að greiða álagningu ytri þjónustuaðila er reikniaflið rekið innanhúss

• Í stað ógagnsærrar verðlagningar fæst bein stjórn á kostnaði á hvern tóka

Í reynd myndast því skurðpunktur:

• Við litla sem hóflega notkun er skýið ódýrara og einfaldara

• Við stöðuga og mikla notkun verður rekstur á eigin innviðum mun hagkvæmari

Þess vegna meta mörg fyrirtæki sem reiða sig mikið á gervigreind vinnsluálagið á sama hátt og þau meta hvort gagnagrunnar eða myndbandavinnsla eigi heima í skýinu eða á eigin innviðum: ekki út frá hugmyndafræði, heldur hagkvæmni.

Lykilatriðið er að tókahagfræðin gerir þennan samanburð gagnsærri. Hægt er að umreikna notkunina beint í GPU-stundir, rafmagnskostnað og afskriftir innviða.

Skýið eða eigin innviðir

Grundvallarbreytingin er sú að hugbúnaður hefur nú jaðarkostnað. Í hefðbundnum SaaS-lausnum var jaðarkostnaður af hverjum samskiptum við notanda nánast enginn, en gervigreindarkerfi kosta eitthvað við hver fyrirmæli og hvert svar.

Helstu áskoranir

Kerfi sem byggja á tókum skapa nýtt flækjustig. Kostnaður getur sveiflast mikið þegar álag eykst skyndilega, faldir kostnaðarliðir leynast í lengd samhengis, endurteknum tilraunum og lykkjum í vinnslu gervigreindarfulltrúa, og lítil tengsl eru milli fjölda tóka og virðis niðurstöðunnar. Fleiri tókar skila ekki endilega betri árangri, aðeins hærri kostnaði.

Einföld samlíking

Líta má á tóka sem kílóvattstundir greindarinnar:

• Tókar = orka

• Líkan = vél

• API = innstunga

• Kostnaður = sú greind sem er nýtt

Reiknidæmi fyrir fjármálastjóra

Gefum okkur einfalt spjallmenni fyrir lítið fyrirtæki:

• 1.000.000 samskipti á mánuði

• 800 inntakstókar í hverjum samskiptum

• 400 úttakstókar í hverjum samskiptum

• 2 dollarar á hverja milljón inntakstóka

• 10 dollarar á hverja milljón úttakstóka

Áætlaður mánaðarlegur kostnaður: 5.600 dollarar

Með gervigreindarfulltrúum getur kostnaður á hver samskipti auðveldlega orðið 10 til 20 sinnum hærri, jafnvel áður en tekið er tillit til gagnaleitarkerfa, minnis eða ytri tenginga við verkfæri.

Þá er spurningin ekki lengur tæknileg heldur hagfræðileg. Skilar þessi kostnaður nægum tekjum eða nægri sjálfvirknivæðingu til að réttlæta frekari uppbyggingu?

Dæmi um eigin innviði

IBM Fusion er dæmi um gervigreindarinnviði sem keyrðir eru á eigin vélbúnaði, þar sem kostnaðarstýringin færist frá breytilegri verðlagningu eftir tókum yfir í reikniafl í eigu fyrirtækisins. Þessi leið veitir meiri fyrirsjáanleika þegar umfangið eykst, auk ávinnings á borð við skýra stjórnun, gagnafullveldi og ábyrga innleiðingu gervigreindar.

Lokaorð

Verðlagning eftir tókum er meira en greiðslufyrirkomulag. Hún er nýtt abstraktlag ofan á sjálfa tölvuvinnsluna.

Og þegar hægt er að mæla reikniafl í hverri „hugsunareiningu“ skiptist innviðastefnan eðlilega í tvær leiðir: þægindi skýsins eða hagkvæmni staðbundinna innviða, allt eftir umfangi.

Það er þessi breyting sem gerir gervigreind að meira en hugbúnaðarbreytingu. Hún er líka efnahagsleg breyting.