Друзі, AIRe - AI reliability engineering - фрейворк який має на меті визначити найкращі підходи та практики SRE до систем на базі штучного інтелекту.
У фреймворку AIRE основна ідея полягає в тому, що inference стає нашим новим типом застосунку. Це те, чого раніше у нас не було. Наприклад, управління ключами та доступами до AI-провайдерів, облік токенів, маршрутизація, балансування та фейловер між моделями, контекстне кешування, використання RAG, оцінка та моніторинг моделей, контроль чутливих даних у промптах і відповідях, захист від data poisoning..
Я в пошуку control plane для нового типу аплікацій - інструменту для управління інференсом. В цьому епізоді розбираємося з AI Gateway.
#AIGateway #Gloo #Envoy Gateway #k8sGateway #aire
github.com/den-vasyliev/aire
www.solo.io/products/gloo-ai-gateway
docs.solo.io/gateway/latest/about/architecture
docs.google.com/document/d/1FQN_hGhTNeoTgV5Jj16ialzaSiAxC0ozxH1D9ngCVew/edit?tab=t.0
gateway.envoyproxy.io
github.com/Arize-ai/open-inference-spec
slahiruc.medium.com/what-is-xds-what-is-xds-protocol-f46b23732b7c
www.npmjs.com/package/@upstash/semantic-cache
docs.solo.io/gateway/main/ai/tutorials/rag/
Приєднуйся до DeadOpsClub
www.youtube.com/@DenysVasyliev/join