OVHcloud nawiązał współpracę z firmą SambaNova, liderem w dziedzinie infrastruktury AI nowej generacji. Partnerstwo rozszerza możliwości platformy OVHcloud AI Endpoints o rozwiązania inferencyjne o ultraniskich opóźnieniach - kluczowe dla aplikacji wymagających natychmiastowych odpowiedzi.
Jak podkreśla OVHcloud, rosnąca złożoność systemów AI sprawia, że sekwencyjne wywołania modeli generatywnych tworzą wąskie gardła, szczególnie tam, gdzie liczy się czas generowania pierwszego oraz kolejnych tokenów. Sektory takie jak handel, finanse, cyberbezpieczeństwo, przemysł czy logistyka wymagają obsługi milionów inferencji przy zachowaniu stabilnej, przewidywalnej wydajności.
W ramach współpracy OVHcloud AI Endpoints zostają wzbogacone o technologię SambaStack, oferującą szybkie, energooszczędne i wysoce skalowalne wnioskowanie. Platforma wprowadza dwa typy endpointów: wariant czasu rzeczywistego z gwarantowanymi parametrami wydajności oraz batch API do obsługi masowych wywołań w trybach asynchronicznych. Dostępność na poziomie SLA 99,8% ma zapewnić stabilność w krytycznych zastosowaniach.
Nowe węzły inferencyjne korzystają z reprogramowalnych jednostek przepływu danych (RDU) SambaNova - specjalistycznych układów scalonych zaprojektowanych dla AI. Technologia ta oferuje wysoką wydajność na kilowatogodzinę i wysoką gęstość obliczeń, co sprzyja efektywnemu wykorzystaniu zasobów centrów danych. OVHcloud podkreśla, że dzięki temu możliwe jest obsłużenie najbardziej wymagających obciążeń - od agentów AI i tłumaczeń w czasie rzeczywistym, po crawling, generowanie baz wektorowych i masowe operacje wsadowe.
Integracja rozwiązań SambaNova stanowi istotny krok w strategii OVHcloud, której celem jest stworzenie kompletnej, wysokowydajnej platformy inferencyjnej dla deweloperów i klientów korporacyjnych. Usługa inferencji oparta na SambaNova ma być dostępna jeszcze w tym roku w regionach OVHcloud we Francji, a w kolejnych etapach również w innych lokalizacjach europejskich. Rozliczenie będzie odbywać się w modelu pay-as-you-go z wymaganą umową.