LLM w środowisku produkcyjnym. Serwowanie, optymalizacja i hosting na dużą skalę Chi Wang, Peiheng Hu

W przygotowaniu

LLM w środowisku produkcyjnym. Serwowanie, optymalizacja i hosting na dużą skalę Chi Wang, Peiheng Hu - okladka książki

Autorzy:: Chi Wang, Peiheng Hu
Wydawnictwo:: Helion
Ocena:
Stron:: 341
Druk:: oprawa miękka

Książka

w przygotowaniu

Powiadom mnie, gdy książka będzie dostępna

Przenieś na półkę

Powiadom o dostępności audiobooka »

Wdrażaj i optymalizuj modele LLM szybko, tanio i na dużą skalę

Rewolucja sztucznej inteligencji sprawiła, że duże modele językowe (LLM) z ciekawostek badawczych stały się krytyczną infrastrukturą produkcyjną. Obecnie największym wyzwaniem dla firm IT nie jest już samo trenowanie modeli, ale ich wydajne, bezpieczne i opłacalne wdrażanie. W erze agentów AI i w obliczu rosnących kosztów korzystania z publicznych API organizacje coraz częściej decydują się na hosting własnych rozwiązań. Ta książka stanowi kompleksowy przewodnik po serwowaniu i optymalizacji LLM. Wypełnia lukę między teorią a praktyką, pokazując, jak przekuć potężne modele w niezawodne aplikacje działające w czasie rzeczywistym, a przy tym poradzić sobie z nową fizyką i ekonomią generatywnej sztucznej inteligencji.

Ta publikacja krok po kroku przeprowadza czytelnika przez cykl życia modelu w środowisku produkcyjnym. Autorzy demistyfikują architekturę transformerów, szczegółowo omawiając fazy wstępnego wypełniania (prefill) i dekodowania, jak również zarządzanie pamięcią podręczną KV. Książka uczy projektowania systemów dla pojedynczych i wielu modeli, a także wdrażania zaawansowanych technik optymalizacji: ciągłego przetwarzania wsadowego, kwantyzacji, dekodowania spekulatywnego czy buforowania prefiksów. Czytelnik dowie się, jak skutecznie używać nowoczesnych frameworków (w tym vLLM, TensorRT-LLM, SGLang, llama.cpp) i jak skalować infrastrukturę na wiele procesorów graficznych (GPU) i węzłów przy zachowaniu idealnego balansu między przepustowością, opóźnieniami a kosztami operacyjnymi.

Najważniejsze zagadnienia:

Architektura LLM i mechanizmy generowania tokenów
Zarządzanie pamięcią KV i ciągłe przetwarzanie wsadowe
Projektowanie systemów serwowania
Zaawansowana optymalizacja
Skalowanie na wiele GPU
Przegląd frameworków: vLLM, TensorRT-LLM, SGLang, llama.cpp

Gdy duże modele językowe stają się podstawą nowoczesnych platform sztucznej inteligencji, ta książka oferuje praktyczny plan serwowania i optymalizacji modeli LLM na dużą skalę co umożliwia niezawodną i opłacalną obsługę ogromnych obciążeń.

Bhavesh Doshi, wicedyrektor działu chmury AI w Salesforce

Pokaż opis z okładki oryginału »

W miarę jak duże modele językowe stają się podstawą nowoczesnych platform sztucznej inteligencji, ta książka oferuje praktyczny plan serwowania i optymalizacji modeli LLM na dużą skalę umożliwiając niezawodną i opłacalną obsługę ogromnych obciążeń.

Bhavesh Doshi, wicedyrektor działu chmury AI w Salesforce

Duże modele językowe (LLM) stanowią silnik wnioskowania we współczesnej sztucznej inteligencji. Znajdujemy się obecnie w punkcie zwrotnym: w obliczu globalnego wyścigu związanego z wdrażaniem sztucznej inteligencji na dużą skalę, proces wnioskowania (inferencji) modeli stał się kluczowym elementem stosu technologicznego. Witamy w erze inferencji.

Bez odpowiedniej optymalizacji serwowanie dużych modeli językowych może być jednak kosztowne i powolne. Niniejsza książka to kompleksowy przewodnik po zagadnieniach związanych z wdrażaniem i optymalizacją modeli LLM na dużą skalę.

Autorzy tej praktycznej i ukierunkowanej na inżynierię publikacji, Chi Wang i Peiheng Hu, łączą przykłady z życia wzięte, fragmenty kodu oraz strategie budowania niezawodnych, wydajnych i opłacalnych systemów generowania tokenów AI. Niezależnie od tego, czy tworzysz infrastrukturę przeznaczoną do inferencji dużych modeli językowych, czy też aplikacje korzystające z tych modeli, dzięki dokładnemu zrozumieniu procesu ich serwowania staniesz się skuteczniejszym inżynierem, gotowym na wyzwania przyszłości w świecie, w którym sztuczna inteligencja zmienia sposób, w jaki pracujemy i tworzymy.

Poznaj podstawy serwowania modeli, w tym kluczowe pojęcia, paradygmaty projektowe i najlepsze praktyki stosowane w branży
Poznaj typowe wyzwania związane z hostingiem modeli LLM na dużą skalę
Znajdź równowagę między opóźnieniami i przepustowością, aby sprostać wymaganiom aplikacji sztucznej inteligencji oraz potrzebom biznesowym
Zajmij się hostingiem dużych modeli językowych w sposób efektywny kosztowo i stosuj praktyczne techniki poparte kodem

Wybrane bestsellery

O autorach książki

Chi Wang dyrektor do spraw inżynierii w dziale Einstein AI w Salesforce. Ma ponad 18-letnie doświadczenie w zakresie AI i systemów rozproszonych. Kieruje rozwojem wielkoskalowych platform AI, jest autorem 12 patentów.

Peiheng Hu inżynier specjalizujący się w inferencji LLM w NVIDIA. Absolwent Harvardu i Georgia Tech. Od ponad dekady tworzy rozproszone systemy AI. Wcześniej pracował dla Salesforce i Microsoft Azure.

Oceny i opinie klientów: LLM w środowisku produkcyjnym. Serwowanie, optymalizacja i hosting na dużą skalę Chi Wang, Peiheng Hu

(0)

Szczegóły książki

Dane producenta: »
Tytuł oryginału:: Hands-On LLM Serving and Optimization: Hosting LLMs at Scale
Tłumaczenie:: Robert Górczyński, Małgorzata Grygierowska- Augustynowicz, Halina Kraśkiewicz
ISBN Książki drukowanej:: 978-83-289-4204-2, 9788328942042
Format:: 165x235
Numer z katalogu:: 296807

Kategorie

Kliknij, aby zgłosić błędnie przypisaną kategorię »

Informatyka » Sztuczna inteligencja
Informatyka » Biznes IT » Big data » Analiza danych

Dostępność produktu

Produkt nie został jeszcze oceniony pod kątem ułatwień dostępu lub nie podano żadnych informacji o ułatwieniach dostępu lub są one niewystarczające. Prawdopodobnie Wydawca/Dostawca jeszcze nie umożliwił dokonania walidacji produktu lub nie przekazał odpowiednich informacji na temat jego dostępności.