Meta będzie uczyć sztuczną inteligencję. Chodzi o wielozadaniowość

O nowym rozwiązaniu opracowanym przez inżynierów z koncernu Meta (obecnego właściciela Facebooka) poinformował serwis MIT Technology Review.

AI bardziej wszechstronna

Jak zaznaczają eksperci, jeśli człowiek potrafi rozpoznać psa na podstawie wzroku, to prawdopodobnie rozpozna go również, gdy zostanie mu opisany słowami. Nie jest tak jednak w przypadku dzisiejszej sztucznej inteligencji. Sieci neuronowe stały się bardzo dobre w identyfikowaniu obiektów na zdjęciach i rozmowach w języku naturalnym, ale nie w tym samym czasie. Istnieją modele AI, które wyróżniają się w jednej lub drugiej dziedzinie, ale nie w obu.

Czytaj także: Chiny wyprzedziły USA w rozwoju sztucznej inteligencji

Część problemu ma polegać na tym, że modele te uczą się różnych umiejętności przy użyciu odmiennych technik. Stanowi to główną przeszkodę w rozwoju sztucznej inteligencji o bardziej ogólnym przeznaczeniu, maszyn, które potrafią działać wielozadaniowo i dostosowywać się do oczekiwań.

Zespół z Meta AI (wcześniej Facebook AI Research) chce to zmienić. Naukowcy opracowali jeden algorytm, który może być użyty do trenowania sieci neuronowej w równym stopniu w rozpoznawaniu obrazów, tekstu lub mowy. Algorytm ten, nazwany Data2vec, nie tylko ujednolica proces uczenia się, ale też radzi sobie co najmniej tak dobrze, jak istniejące techniki we wszystkich trzech umiejętnościach.

- Mamy nadzieję, że zmieni to sposób, w jaki ludzie myślą o wykonywaniu zadań przez AI - mówi cytowany przez MIT Technology Review Michael Auli, badacz z Meta AI.

Anatomia algorytmu

Badania opierają się na podejściu, w którym sieci neuronowe uczą się samodzielnie dostrzegać wzorce w zbiorach danych, bez kierowania się przykładami. W ten sposób duże modele językowe, takie jak GPT-3, uczą się na podstawie ogromnych ilości nieoznakowanego tekstu pochodzącego z internetu, i to właśnie one są motorem wielu ostatnich postępów w „deep learning”.

Auli i jego koledzy z Meta AI pracowali nad modelem do rozpoznawania mowy. Kiedy jednak przyjrzeli się temu, co inni badacze robili z uczeniem dla obrazów i tekstu, zdali sobie sprawę, że wszyscy oni używali różnych technik, aby osiągnąć ten sam cel.

Data2vec używa dwóch sieci neuronowych - ucznia i nauczyciela. Sieć nauczyciela jest trenowana na obrazach, tekście lub mowie w typowy sposób, ucząc się wewnętrznej reprezentacji tych danych, która pozwala jej przewidywać, co widzi, gdy pokazywane są jej nowe przykłady. Kiedy pokazuje się jej zdjęcie psa, rozpoznaje go jako psa.

Zwrot polega na tym, że sieć ucznia jest następnie szkolona, aby przewidywać wewnętrzne reprezentacje nauczyciela. Innymi słowy, jest szkolona nie po to, by zgadywać, że patrzy na zdjęcie psa, gdy pokazywany jest pies, ale by zgadywać, co widzi nauczyciel, gdy pokazywany jest ten obraz.

Ponieważ uczeń nie próbuje odgadnąć rzeczywistego obrazu lub zdania, ale raczej reprezentację tego obrazu lub zdania przez nauczyciela, algorytm nie musi być dostosowany do konkretnego typu danych wejściowych.

Data2vec jest częścią dużego trendu w AI w kierunku modeli, które mogą nauczyć się rozumieć świat na więcej niż jeden sposób. Według badaczy ważnym zastrzeżeniem jest to, że chociaż ten sam algorytm uczenia się może być używany do różnych umiejętności, może on uczyć się tylko jednej umiejętności na raz. Kiedy już nauczy się rozpoznawać obrazy, musi zacząć od zera, aby nauczyć się rozpoznawać mowę. Zatem nadanie AI wielu umiejętności naraz jest trudne, ale jest to coś, czemu zespół Meta AI chce się przyjrzeć w przyszłości.  

Naukowcy z zaskoczeniem stwierdzili, że ich podejście do rozpoznawania obrazów i mowy okazało się lepsze od istniejących technik, a w kwestii rozumienia tekstu wypadło równie dobrze jak wiodące modele językowe.

Czytaj także: Amazon i Meta liderami lobbingu w USA. Ponad 20 mln dolarów w 2021 roku