Brána stojí medzi aplikáciou a jazykovými modelmi. Vývojár tak môže meniť model použitý na konkrétnu prácu bez toho, aby zakaždým zásadne prerábal svoju aplikáciu. Aiven sa zameriava najmä na modely s verejne dostupnými váhami, ktoré možno prevádzkovať cez rôznych poskytovateľov alebo na vlastnej infraštruktúre.
Podľa viceprezidenta spoločnosti Villeho Lehta používa Aiven pri časti práce takéto modely namiesto drahších špičkových služieb. Tie si naďalej ponecháva na vybrané náročné kroky, napríklad plánovanie. Uvedená približne 80-percentná úspora sa podľa jeho vyjadrenia týka skupiny intenzívnych interných používateľov, nie všetkých výdavkov spoločnosti na AI.
Pri výbere modelu preto nestačí porovnať cenu za token, teda jednotku textu používanú pri účtovaní. Lacnejší model môže na úlohu potrebovať viac pokusov alebo vyžadovať viac kontroly. Pre firmu je dôležitejšie, koľko stojí správne dokončená úloha vrátane prevádzky a práce ľudí.
Aiven predstavil svoju AI bránu už 15. októbra a uviedol, že o predbežný prístup môžu požiadať existujúci aj noví zákazníci; prijímanie závisí od dostupnej kapacity. V tomto režime podľa firmy používanie nefakturuje. Funkcie ako pokročilé smerovanie požiadaviek medzi modelmi, upozornenia na rozpočet a bežné účtovanie za spotrebu uvádza medzi ďalšími plánmi.
Aiven postavil interné riešenie na otvorenom projekte LiteLLM a doplnil vlastné nástroje na správu prístupu a nákladov. Jeho skúsenosť ukazuje, prečo firmy skúšajú kombinovať viacero modelov. Či podobné úspory dosiahnu aj zákazníci, ukážu až výsledky ich konkrétnych nasadení.