- DONALD
- GOOGLE STARTUJE Z AMBITNYM PROJEKTEM SZTUCZNEJ INTELIGENCJI ROZUMIEJĄCEJ ŚMIESZKI, ZNACZNIE BARDZIEJ ZŁOŻONY NIŻ GPT-3
Google startuje z ambitnym projektem sztucznej inteligencji rozumiejącej śmieszki, znacznie bardziej złożony niż GPT-3
17.04.2022, 08:00
Google
zaprezentowało nowy
model językowy
, który potrafi rozwiązywać
problemy matematyczne, tłumaczyć dowcipy
, a nawet programować. Jest to PaLM (Pathways Language Model) i wyróżnia się wydajnością uczenia się, która stawia go ponad innymi modelami językowymi stworzonymi do tej pory.
System PaLM został opracowany w oparciu o model Pathways, co pozwoliło na efektywne wyuczenie pojedynczego modelu przy użyciu wielu procesorów tensorowych.
Model opiera się na uczeniu się "kilku ujęć", co zmniejsza liczbę przykładów potrzebnych w treningu z konkretnymi zadaniami, aby dostosować go do pojedynczego zastosowania.
W tym celu wykorzystano bazę danych zawierającą
780 miliardów tokenów,
która łączy w sobie "wielojęzyczny zbiór danych", obejmujący dokumenty internetowe, książki, Wikipedię, rozmowy i kod GitHub.
Nowa AI posiada 540 miliardów parametrów
, czyli elementów, które są ulepszane podczas uczenia maszynowego. Dla porównania GPT-3 składa się z 175 miliardów parametrów.
Nowy model językowy Google'a łączy w Pathways 6 144 układów TPU v4, co stanowi "największą konfigurację TPU" zastosowaną w historii.
PaLM osiąga
57,8% wydajności szkolenia przy użyciu flopów sprzętowych.
Jest "najwyższą osiągniętą do tej pory dla modeli językowych w tej skali".
Według Google PaLM wykazał się innowacyjnymi możliwościami w licznych i bardzo trudnych zadaniach. Jako przykład wskazano jeden z testów. Polegał on na poproszeniu PaLM o odgadnięcie filmu na podstawie czterech emojis: robota, owada, rośliny i planety Ziemi. Spośród wszystkich opcji (L.A. Confidential, Wall-E, León: zawodowiec, BIG i Rush) SI wybiera tę właściwą: Wall-E.
W innym przypadku SI proszona jest o wybranie z listy słów dwóch, które kojarzą się z terminem "potknięcie". W tym wypadku również prawidłowo wybiera poprawnie.
Sztuczna inteligencja ma również potrafić rozwiązywać proste problemy matematyczne, a nawet wyjaśnić dowcip, kontekstualizując i wyjaśniając elementy, które się w nim pojawiają, aby nadać mu sens.
Na koniec Google zaznacza, że
PaLM potrafi programować, tłumacząc kod
z jednego języka na drugi, a także pisać kod na podstawie naturalnego opisu języka i wyjaśnia, że jest w stanie naprawiać błędy kompilacji.
Zobacz też:
Hej, przypominamy tylko:
1. Szanujemy nawet ostrą dyskusję i wolność słowa, ale nie agresję. Przemocowe treści będą usuwane.
2. W komentarzach można swobodnie używać embedów z mediów społecznościowych.
3. Polecamy założenie konta, dzięki temu możesz zobaczyć wszystkie swoje dyskusje w jednym miejscu i dodać coś (👉 Sortownia), co trafi na stronę główną.
4. Jeżeli chcesz Donalda bez reklam, dołącz do naszych patronów: https://patronite.pl/donaldpl
Źródła:
NAJLEPSZE KOMENTARZE TYGODNIA
![Opole: Po wizycie Książula na jarmarku wystawcy narzekają na brak klientów, bo okazało się, że jest drogo i niezbyt smacznie]()
![PSL nie zgadza się na związki partnerskie, boi się przejęć gruntów]()
![Arabia Saudyjska ostrzegała Niemcy przed możliwym atakiem, Musk obraża Scholza i wzywa do rezygnacji]()
![Trump jasno uprzedza, że jeżeli Unia Europejska nie będzie więcej kupować od USA, to będą ostre cła]()
Więcej popularnych
Popularne dzisiaj
Opole: Po wizycie Książula na jarmarku wystawcy narzekają na brak klientów, bo okazało się, że jest drogo i niezbyt smacznie
21
"Niektórzy mówią wprost, że po tym, co zobaczyli u Książula, wolą pójść gdzieś indziej". Zobacz więcej »
PSL nie zgadza się na związki partnerskie, boi się przejęć gruntów
21
"Irracjonalnych powodów do odebrania ludziom prawa do szczęścia przybywa" - komentuje Lewica. Zobacz więcej »
Arabia Saudyjska ostrzegała Niemcy przed możliwym atakiem, Musk obraża Scholza i wzywa do rezygnacji
47
"To niekompetentny głupiec". Zobacz więcej »
Trump jasno uprzedza, że jeżeli Unia Europejska nie będzie więcej kupować od USA, to będą ostre cła
35
Chce "nadrobienia" deficytu handlowego. Zobacz więcej »
