Internet: Nowy sposób wyszukiwania danych

Projekt autorstwa Orena Etzioni jest na tyle ciekawy i obiecujący, iż w jego finansowanie włączyła się DARPA (amerykańska agencja badawcza zajmująca się zaawansowanymi projektami wojskowymi) i Google.

Etzioni chce by jego wyszukiwarka - KnowItAll - nie ograniczała się do wyświetlania spisu witryn, na których można znaleźć potrzebne informacje, lecz by potrafiła dane te wyodrębnić i stworzyć z nich gotową listę. Jeśli, na przykład, poszukujemy wszystkich "polskich naukowców, urodzonych w latach 1900 - 1930" to, aby ich odnależć musimy obecnie przejrzeć wiele witryn. Wyszukiwarka Etzioniego dostarczy, w założeniu, gotową listę nastwisk, którą sama stworzy na podstawie przeszukanych witryn.

Podstawową trudnością, na jaką napotyka naukowiec, jest fakt, iż KnowItAll nie rozumie języka naturalnego. Rozwiązanie tego problemu będzie, jak zapewnia Etzioni, następnym etapem pracy.

W chwili obecnej wyszukiwarka rozumie pojęcia w rodzaju "lista naukowców". Dla każdego rzeczownika, np: "naukowiec", "gitarzysta" itp. KnowItAll szuka w Sieci zdań, w których on się pojawia i sprawdza wyrazy, które występują po nim. Dzięki temu wyłapuje frazy w rodzaju "naukowcy tacy jak..." itp. Następnie frazy te przesyła 12 innym wyszukiwarkom, a ze zwróconych wyników wydobywa słowa, które są poszukiwanymi nazwiskami. W przypadku napotkania frazy w rodzaju "naukowcy tacy jak matematycy", mechanizm potrafi rozpoznać, że słowo "matematycy" nie jest nazwiskiem, lecz jest ściśle powiązane z "naukowcy". Używa więc nowego wyrazu do utworzenia frazy w rodzaju "matematycy tacy jak..." i rozpoczyna kolejne wyszukiwanie.

KnowItAll zwróci wyniki w postaci listy nazwisk naukowców. Przy każdym nazwisku znajdzie się procentowo określone prawdopodobieństwo trafienia, wyliczone na podstawie częstotliwości występowania danego nazwiska w Internecie. Użytkownik będzie miał możliwość ustawienia filtrowania, dzięki któremu określi poziom zaufania do dostarczonych wyników.

KnowItAll potrafi ponadto znaleźć słowa, które występują niedaleko poszukiwanego terminu. W naszym przykładzie mogą być to wyrazy "fizyka", "DNA', "kwant". Wyszukiwarka używa tych słów do weryfikacji wyników swojej pracy i do stwierdzenia, czy rzeczywiście znalezione nazwisko należy do naukowca.