Apple ma wielu odwiecznych rywali a wśród nich jednego z największych producentów GPU na świecie
Nieczęsto, ale zdarzają się jednak przypadki, w których przeciwnicy podają sobie dłoń w dobrej wierze
Czy w przypadku Nvidii oraz „jabłkowego giganta” mamy odczynienia z takim właśnie wyjątkiem?
AI jest obecne niemal wszędzie, także i w języku
Obecnie żyjemy w epoce małego renesansu sztucznej inteligencji, która towarzyszy nam niemal na każdym kroku. Wyjątkiem w tej materii nie jest również szeroko pojęta lingwistyka oraz powiązane z nią, zyskujące na popularności i dynamicznie rozwijane modele językowe.
Recurrent Drafter, bo tak brzmi pełna nazwa, jest metodologią udostępnioną przez popleczników Steve’a Jobsa na zasadach open source. Jej podstawowym założeniem jest optymalizacja procesu generowania tekstu, a rozwiązanie stanowi połączenie dwóch zaawansowanych technik — beam search oraz tree attention.
ReDrafter nie przemknął niezauważony pod nosem Zielonych, którzy zdecydowanie nie są obojętni na nowe możliwości, jakie z czasem może oferować AI. Według oficjalnych informacji technologia miała zostać zaimplementowania w narzędziu TensorRT-LLM dając nieoczekiwanie dobre rezultaty.
Sporo tu nic niemówiących angielskich nazw, ale o co dokładnie chodzi?
Tensor jest narzędziem wykorzystywanym do zaprzęgnięcia ogromnej mocy obliczeniowej, drzemiącej w układach GPU Nvidii w procesie uczenia maszynowego. Scenariusz z wykorzystaniem apple’owskich optymalizacji do generowania treści przez wspomniane wcześniej modele językowe przyniósł spore zaskoczenie.
Okazało się bowiem, że w praktyce treść generowana jest około 2,7 razy szybciej. Oznacza to znacznie mniejszy pobór mocy przy jednoczesnym zauważalnym zredukowaniu ilości opóźnień, czyli same plusy.
Jak pokazuje powyższy przykład przy odpowiednich warunkach i okolicznościach, nawet bocian z żabą może się „dogadać”. Zdecydowanie naiwnym byłoby jednak oczekiwanie, że zaistniała sytuacja utrzyma się długofalowo.
Współpraca zazwyczaj kończy się tam, gdzie w grę zaczynają wchodzić sprzeczne ze sobą interesy oraz (wcale niemałe) pieniądze. Fakty są jednak takie, że ReDrafter może okazać się rewolucją w swojej dziedzinie, dlatego też zdecydowanie warto śledzić dalszy rozwój wydarzeń.
Źródło: Machine Learning Research (Apple), Nvidia Developer Blog
Miniatura: techovedas
Dodaj komentarz