Model językowy - Inero Software - Rozwiązania IT i Konsulting

Optymalizacja procesów back – office, dzięki wdrożeniu agenta AI. Praktyczny przykład

Marta Kuprasz — Wed, 19 Mar 2025 10:45:43 +0000

Szukasz praktycznych przykładów wykorzystania agentów AI w przedsiębiorstwie? W poprzednim blogu opisaliśmy możliwość integracji takiego agenta z pocztą email na przykładzie firmy spedycyjnej. Cały tekst znajdziesz tu >> . Tym razem przyjrzymy się jak agent oparty na sztucznej inteligencji, może pomóc w działach prawnych, administracyjnych i zarządzających zasobami ludzkimi. Poznaj nasze najnowsze case study.

„Agenci AI” to inteligentne systemy oparte na algorytmach uczenia maszynowego, Dowiesz się o nich więcej z tego tekstu>>. Mogą zostać zintegrowane z wieloma narzędziami jak poczta email, system ERP czy CRM. W tym przykładzie posłużymy się integracją z platformą do komunikacji Slack.

Slack jest wykorzystywany jako narzędzie do współpracy zespołowej, które umożliwia wymianę wiadomości, organizowanie rozmów w kanałach tematycznych, przesyłanie plików oraz integrację z innymi aplikacjami biznesowymi.

Jedną z możliwości, którą oferuje jest integracja poprzez API z wybranym LLMem (Large Language Models) jak Gemini, Chat GPT czy DeepSeek. Tym razem jako podstawa dla naszego agenta AI posłużą Chat GPT od OpenAI oraz wyszukiwarka Google.

Na pewno znasz sytuacje, w których należy pilnie przygotować ofertę lub umowę wprowadzając dane do szablonu. Każdego dnia pracownicy muszą opracowywać, analizować i negocjować różnorodne dokumenty, obejmujące umowy handlowe, kontrakty z dostawcami, porozumienia o zachowaniu poufności (NDA) czy umowy współpracy.

Wielu managerów zastanawia się jak zastosowanie sztucznej inteligencji może autoratywność i przyspieszyć część tych zadań, nie obniżając jednocześnie wysokiego poziomu realizowanych działań. Rozwiązaniem ponownie staje się wdrożenie dedykowanego Agenta AI, który wesprze pracowników w wyszukiwaniu i uzupełnianiu informacji na podstawie danych w Krajowym Rejestrze Sądowym.

W naszym przykładzie zaprojektowaliśmy agenta AI tak, aby wydając mu polecenia przez platformę Slack uzupełniał dane kontrahenta w otrzymanym wcześniej wzorze umowy NDA. Dzięki integracji z wyszukiwarką Google, Agent przeszukuje sieć w celu pobrania z danych KRS konkretnych danych. W tym przypadku: adresu firmy, numerów NIP, Regon, KRS i osoby do reprezentacji firmy.

Następnie asystent prosi nas o weryfikację poprawności znalezionych informacji. Po ich potwierdzeniu pracownik otrzymuje umowę NDA wraz z uzupełnionymi danymi firmy partnerskiej. Uzupełnione miejsca są zaznaczone kolorem żółtym, aby podkreślić widoczność miejsc, w których zostały wprowadzone zmiany.

To tylko jeden z wielu przykładów zastosowania Agenta AI w realizacji zadań, związanych z dokumentacją i procesami front i back office. Dzięki opracowanej przez nas metodzie, możemy przygotować narzędzie, które będzie przygotowywało umowy dla firm, które zajmują się na przykład zatrudnianiem pracowników sezonowych lub takich, w których jest duża rotacja personelu.

Agenci AI to temat stosunkowo nowy, jednak zyskujący szybko popularność. Wiele firm dostrzega korzyści takie jak: oszczędność czasu przy wykonywaniu powtarzalnych zdań, redukcja kosztów operacyjnych oraz zwiększenie efektywności procesów biznesowych. Dzięki automatyzacji rutynowych zadań, pracownicy mogą skupić się na bardziej strategicznych i kreatywnych aspektach swojej pracy.

Ponadto, Agenci AI mogą działać w trybie całodobowym, eliminując opóźnienia związane z dostępnością personelu. Ich zastosowanie obejmuje różne dziedziny – od obsługi klienta, poprzez analizę dokumentów prawnych, aż po zaawansowane systemy wspomagania decyzji w biznesie.

Firmy coraz częściej wdrażają otwarte modele językowe. co pozwala na większą kontrolę nad danymi i dostosowanie agentów do indywidualnych potrzeb organizacji. Wraz z rozwojem technologii możemy spodziewać się jeszcze większej integracji AI w codziennych procesach, przy jednoczesnym wzroście świadomości dotyczącej etyki i bezpieczeństwa ich wykorzystania.

Jeśli wdrożenie asystenta opartego na sztucznej inteligencji jest dla Ciebie ciekawym tematem, to przypominamy, że w ramach Pomeranian EDIH realizujemy usługi consultingowe IT m.in. w zakresie budowania dedykowanych agentów AI do automatyzacji procesów back-office.

Uczestnicy dowiedzą się m.in. jak stworzyć wirtualnego asystenta głosowego lub tekstowego, którego zadaniem będzie wsparcie firmy w m.in. sporządzaniu ofert, komunikacji z klientami, analizie dokumentacji i jej weryfikacji.

Stwórz z nami agenta AI

Jeśli chcesz skorzystać z proponowanych przez nas szkoleń to skontaktuj się z nami

Kontakt

Artykuł Optymalizacja procesów back – office, dzięki wdrożeniu agenta AI. Praktyczny przykład pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Czym są Agenci AI i jak mogą pomóc w Twojej firmie?

Marta Kuprasz — Fri, 28 Feb 2025 09:24:00 +0000

Hasło sztuczna inteligencja pojawia się od pewnego czasu w bardzo wielu publikacjach jako rozwiązanie problemów z wydajnością, organizacją czy kreatywnością. Wiele firm podąża za tym trendem i stara się dodać do swojej oferty rozwiązania oparte na AI. Starania te przybierają różną formę. W tym tekście przyjrzymy się dokładnie Agentom AI, którzy mogą stanowić cenną pomoc m.in. w procesach back –office.

Od pewnego czasu obserwujemy dużą popularyzację haseł, związanych z wykorzystaniem sztucznej inteligencji. Zacznijmy więc od początku.

Czym jest „Sztuczna inteligencja”?

Pod hasłem „sztuczna inteligencja” kryją się Duże Modele Językowe (Large Language Models – LLMs), systemy przetwarzania języka naturalnego (NLP), algorytmy uczenia maszynowego, sieci neuronowe oraz generatywne modele AI.

LLM-y, takie jak Chat GPT od OpenAI czy Gemini od Google, to modele wytrenowane na ogromnych zbiorach danych, które potrafią analizować, przetwarzać i generować tekst w sposób zbliżony do ludzkiego myślenia. Są wykorzystywane w różnych zastosowaniach – od chatbotów i asystentów głosowych po zaawansowane systemy wspierające analizy biznesowe czy automatyzację procesów w firmach.

Sztuczna inteligencja nie ogranicza się wyłącznie do języka. Nowoczesne modele mogą także analizować obrazy, dźwięk, wideo oraz dane numeryczne, co czyni je niezwykle wszechstronnymi narzędziami w biznesie. Dzięki AI możliwe jest nie tylko automatyzowanie powtarzalnych zadań, ale także wykrywanie wzorców w dużych zbiorach danych, przewidywanie trendów czy wspomaganie decyzji strategicznych w firmach.

Kim są agenci AI?

„Agenci AI” to inteligentne systemy oparte na algorytmach uczenia maszynowego, modelach przetwarzania języka naturalnego (NLP) oraz Dużych Modelach Językowych (LLMs). Ich zadaniem jest automatyzacja procesów, wspieranie decyzji oraz interakcja z użytkownikami w sposób naturalny i dostosowany do kontekstu.

Oznacza to, że wirtualni asystenci bazują na znanych i popularnych LLM’ach jak na przykład: Chat GPT, Gemini, Claude, Mistral, czy Deep Seek które potrafią generować spójne odpowiedzi, analizować teksty oraz dostosowywać się do kontekstu rozmowy.

Agenci AI różnią się jednak od samych modeli językowych tym, że są zaprojektowani do wykonywania określonych zadań w sposób autonomiczny. W praktyce oznacza to, że są wyposażeni w dodatkowe moduły, które umożliwiają im zdobywanie informacji, przetwarzanie danych w czasie rzeczywistym oraz podejmowanie decyzji na podstawie reguł biznesowych.

W przeciwieństwie do klasycznych chatbotów, agenci AI nie tylko odpowiadają na pytania, ale mogą także obsługiwać skomplikowane procesy, integrować się z systemami firmowymi oraz uczyć się na podstawie interakcji z użytkownikami. Dzięki temu są wykorzystywani w wielu obszarach – od wsparcia administracyjnego i analizy dokumentów po automatyzację procesów operacyjnych w przedsiębiorstwach.

Przeczytaj także: Poznaj swojego osobistego Agenta AI: Case study dla firmy spedycyjnej

Działanie agentów AI opiera się na kilku kluczowych elementach:

- Interfejs komunikacyjny – pozwala agentowi na interakcję z użytkownikiem poprzez tekst, mowę lub inne formaty danych.

- Silnik decyzyjny – oparty na modelach AI i regułach biznesowych, umożliwia analizę sytuacji i wybór optymalnych działań.

- Integracja z zewnętrznymi systemami – Agenci AI często działają w połączeniu z bazami danych, aplikacjami biznesowymi (ERP, CRM) czy usługami chmurowymi, co pozwala im na dostęp do aktualnych informacji.

- Automatyzacja działań – mogą wykonywać konkretne zadania, np. generować raporty, przetwarzać wnioski, wysyłać powiadomienia czy inicjować określone procesy w systemach IT.

Jakie są typy agentów AI?

Agenci AI mogą przyjmować różne formy w zależności od ich zastosowania i poziomu autonomii. Dzięki zaawansowanym modelom sztucznej inteligencji potrafią wspierać użytkowników w szerokim zakresie działań – od obsługi klienta po analizę danych i zarządzanie procesami biznesowymi.

Możemy wyróżnić kilka głównych typów agentów AI:

- Agenci konwersacyjni – obejmują chatboty i voiceboty, które prowadzą interakcje z użytkownikami za pomocą tekstu lub mowy. Mogą odpowiadać na pytania, obsługiwać zapytania klientów i wspierać procesy sprzedażowe.

- Agenci analityczni – specjalizują się w przetwarzaniu i interpretacji danych. Wykorzystują algorytmy uczenia maszynowego do analizy trendów, wykrywania anomalii oraz generowania raportów.

- Agenci operacyjni – automatyzują zadania biznesowe, integrując się z systemami firmowymi. Mogą zarządzać dokumentacją, przetwarzać dokumenty czy koordynować działania w ramach firmowych procesów.

- Agenci autonomiczni – działają samodzielnie, podejmując decyzje w oparciu o zgromadzone dane i określone reguły biznesowe. Wykorzystywane są m.in. w logistyce, zarządzaniu zasobami czy dynamicznym planowaniu operacji.

- Agenci wspierający decyzje – dostarczają rekomendacje na podstawie zaawansowanej analizy danych, pomagając menedżerom i specjalistom w podejmowaniu strategicznych decyzji.

Każdy z tych typów może działać samodzielnie lub współpracować z innymi systemami, tworząc złożone środowisko oparte na sztucznej inteligencji. W kolejnych częściach przyjrzymy się konkretnym zastosowaniom agentów AI oraz ich wpływowi na efektywność operacyjną firm.

Rozwiązanie chmurowe czy lokalne, czyli jak można wdrożyć agenta AI w środowisko firmowe?

Zastosowanie Agenta AI w organizacji wymaga wyboru odpowiedniego modelu wdrożenia, który będzie najlepiej odpowiadał wymaganiom biznesowym, technicznym i regulacyjnym. Firmy mogą zdecydować się na rozwiązanie chmurowe (SaaS) lub lokalne (On-Premise), w zależności od potrzeb w zakresie elastyczności, bezpieczeństwa oraz integracji z istniejącymi systemami.

Wybór odpowiedniego modelu zależy od wielu czynników, które przedstawiamy w poniższej tabeli.

Porównanie SaaS vs On-Premise

Kryterium	SaaS (Chmura)	On-Premise (Lokalne)
Model wdrożenia	Oparty na chmurze (AWS, Azure, Google Cloud)	Działa na własnej infrastrukturze firmy
Infrastruktura	Dostawca usług chmurowych	Serwery lokalne
Koszty początkowe	Niskie	Wysokie
Koszty operacyjne	Abonament/subskrypcja	Stałe koszty utrzymania i energii
Skalowalność	Bardzo wysoka	Ograniczona (zależna od sprzętu)
Bezpieczeństwo danych	Ograniczone (przetwarzanie poza firmą)	Wysokie (pełna kontrola nad danymi)
Zgodność z regulacjami	Może wymagać dodatkowych umów i certyfikacji	Łatwiejsze spełnienie wymagań regulacyjnych
Łatwość wdrożenia	Łatwe i szybkie	Wymaga zakupu sprzętu i konfiguracji
Aktualizacje i utrzymanie	Automatyczne, dostarczane przez dostawcę	Samodzielne zarządzanie i aktualizacje
Integracja z systemami firmowymi	Dobre wsparcie przez API i gotowe integracje	Pełna kontrola, ale może wymagać dodatkowej integracji

Wybór odpowiedniego modelu wdrożenia – chmurowego lub lokalnego– zależy od indywidualnych wymagań przedsiębiorstwa w zakresie bezpieczeństwa, kosztów oraz integracji z istniejącymi systemami. Niezależnie od wybranej strategii, agenci AI mogą znacząco podnieść efektywność operacyjną i umożliwić pracownikom skupienie się na zadaniach wymagających kreatywności i strategicznego myślenia.

Rozwój technologii AI to zdecydowanie jeden z najsilniejszych trendów technologicznych ostatnich lat, dlatego warto już teraz zastanowić się, jak Agenci AI mogą wspierać rozwój Twojej firmy i stać się kluczowym elementem jej cyfrowej transformacji.

Stworzymy Agenta AI dla Twojej firmy

Skontaktuj się z nami, aby dowiedzieć się jak możemy pomóc Ci we wdrożeniu nowego rozwiązania na bazie AI.

Kontakt

Artykuł Czym są Agenci AI i jak mogą pomóc w Twojej firmie? pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Andrzej Chybicki: Modele będą potrafiły błyskawicznie przeglądać całe repozytorium, a następnie przekazywać pracownikowi gotowe dane

Marta Kuprasz — Mon, 15 Apr 2024 07:11:33 +0000

Badania nad sztuczną inteligencją (AI) rozpoczęły się od chęci zrozumienia, czy i w jakim stopniu komputery mogą rozwiązywać problemy w sposób zbliżony do działania ludzkiego umysłu. Wiele z wczesnych prac związanych z AI skupiało się na tworzeniu modeli matematycznych i algorytmów, zdolnych do wykonywania zadań wymagających inteligencji, takich jak rozumowanie, uczenie się, percepcja czy używanie języka.

Rozwój dużych modeli językowych jest obecnie jednym z kluczowych tematów w obszarze nowych technologii, dlatego zachęcamy do zapoznania się z dalszą częścią tego artykułu, w którym znajdują się komentarze CEO Inero Software, Andrzeja Chybickiego, dotyczące ewolucji tego zagadnienia na przestrzeni ostatnich lat.

Przetwarzanie języka naturalnego. Nowe podejście do analizy danych

Techniki przetwarzania mowy, tekstu i obrazu są wykorzystywane w przemyślę i nauce od wielu lat. Stanowiły one podstawę produktów, opartych o tak zwane modele NLP (Natural Language Processing). To algorytmy, które potrafiły rozumieć poszczególne wyrazy, później mapować relacje pomiędzy poszczególnymi słowami i łączyć je w ciągi. Zaczęły rozumieć i odróżniać znaczenie tych samych słów w różnych ciągach (innymi słowy rozróżniały kontekst) po to, aby ostatecznie móc interpretować znaczenie całych zdań. Stwierdzenie, że modele NLP „rozumieją” język ma charakter nieco na wyrost, nie mniej jednak obecne modele językowe NLP są w stanie przypisać pojedyncze zdania do tzw. intentów (intencji) czyli rozróżnić ich znaczenie. Następnie, tworząc odpowiednie oprogramowanie, jesteśmy w stanie obsłużyć np. proste rozmowy, konwersacje czy odpowiadać na proste pytania – tak działały do tej pory czatboty.

Aby zobrazować te liczbę, możemy ją porównać do przeczytania w ciągu paru sekund kilkusetstronicowej książki.

Słowa rosną w siłę: Duże modele językowe

LLM czyli Large Language Model, które powstają od kilku lat, stanowią przełom technologiczny, ponieważ nie działają już jako klasyfikatory intencji użytkownika, ale na podstawie wyuczonych zestawów podobieństw ciągów wejściowych i wyjściowych, potrafią znajdować związki pomiędzy dłuższymi ciągami słów (tokenów). Duże modele językowe potrafią już nie tylko analizować poszczególna zdania, ale także znacznie dłuższe teksty. Mówi się wtedy o długości kontekstu (lub okna kontekstu), które obecnie wynoszą nawet 128000 tokenów. Aby zobrazować te liczbę, możemy ją porównać do przeczytania w ciągu paru sekund kilkusetstronicowej książki.

Stopień rozumienia: Logika pod wieloma względami zbliżona do logiki człowieka

Studenci pytają czasami „czy komputery rozumieją tekst?”. Odpowiedź na to pytanie jest trudna, jeśli nie zdefiniujemy sobie znaczenia pojęcia „rozumienia”. Twórcy modeli językowych i naukowcy zajmują się tworzeniem różnych miar, kryteriów aby móc oceniać czy model „rozumie” dany problem. Niemniej jednak, w najprostszym podejściu możemy powiedzieć, że model rozumie dane zagadnienie jeśli odpowiedzi (ciągi słów), które generuje są zgodne z tym, jak odpowiedział by człowiek, ekspert w danej dziedzinie.

Sądzę, że w kontekście rozwoju technologii AI, powoli zaciera się różnica pomiędzy tym jak komunikują się ludzie (mowa, pismo) a komputery (protokoły, bazy danych). Wydaje się, że w niedalekiej przyszłości modele AI będą wspierały ludzi w coraz większej liczbie codziennych zadań. Będą w stanie automatycznie pobierać informacje, aby wysłać odpowiedź do klienta, podpowiadały pracownikom jaka jest odpowiedź na pytanie czy obsługiwały komunikację poprzez messangery.

Modele będą potrafiły przeglądać cały wachlarz informacji, w tym dokumentów i instrukcji, obejmujących na przykład zamówienia, maile, umowy czy faktury, potem wnioskować na ich podstawie, a następnie przekazywać pracownikowi gotowe dane, potrzebne do raportu, oferty lub innych działań operacyjnych.

Wirtualni asystenci: Czy pracownicy zyskają realną pomoc?

Wile wskazuje na to, że jest wspomaganie pracy przez AI to przyszłość dla wielu obszarów, jednak wciąż dostrzegam duży problem. Mimo tego, że cyfryzacja w ostatnich latach, głównie w czasie pandemii, mocno przyspieszyła, wiele firm i instytucji, nadal przetwarza dużą część informacji w formie nieustrukturyzowanej tj. w formie dokumentów, umów, instrukcji i wiadomości mailowych. Liczba informacji, z którą pracownicy mają codziennie do czynienia jest gigantyczna.

Docelowo modele będą potrafiły przeglądać cały wachlarz informacji, w tym dokumentów i instrukcji, obejmujących na przykład zamówienia, maile, umowy czy faktury, potem wnioskować na ich podstawie, a następnie przekazywać pracownikowi gotowe dane, potrzebne do raportu, oferty lub innych działań operacyjnych. Co więcej, potencjalnym obszarem wykorzystania będzie także walidacja i sprawdzanie dokumentów, analiza zależności pomiędzy dwoma różnymi dokumentami, albo kilkoma źródłami wiedzy.

Wirtualny asystent przyspieszy codzienną pracę

Przykładem może być sytuacja, w której do pracownika banku przychodzi wniosek o udzielenie kredytu wraz z załącznikami takimi jak potwierdzenie stanu konta, zatrudnienia, zeznanie PIT i inne. Obecnie pracownicy często muszą manualnie sprawdzać czy dane zawarte w takich dokumentach są ze sobą spójne np. czy podany we wniosku kredytowym numer PESEL zgadza się z tym na zaświadczeniu o zatrudnieniu. Czy numer konta bankowego zapisanego w podaniu jest prawidłowy oraz czy daty wystawionego zaświadczenia o przychodach są aktualne oraz wiele innych. Podobnie jest w sektorze ubezpieczeniowym, w których podczas wystawiania polisy trzeba manualnie sprawdzać numery VIN widniejące na dokumentach, dowodach rejestracyjnych i porównywać je z danymi o przeglądach, polisach itp.

Wdrożenie narzędzi opartych o model LLM do organizacji może przynieść wymierne korzyści w postaci automatyzacji i zwiększania efektywności pracy. Błędem jest twierdzenie, że oprogramowanie może zastąpić pracownika. Może mu pomóc. Analizując rynek europejski, dostrzegamy trendy demograficzne, wynikające ze starzenia się społeczeństwa i spadku dostępności wykwalifikowanych pracowników

Podsumowując. Modele przetwarzania języka naturalnego (NLP/LLM) coraz efektywniej wspierają ludzi w codziennych zadaniach przez automatyzację odpowiedzi na zapytania klientów, asystowanie pracownikom oraz zarządzanie komunikacją przez platformy. Te technologie nie tylko podnoszą efektywność pracy przez automatyzację rutynowych zadań, ale także umożliwiają zaawansowane operacje jak analiza dokumentów czy integracja danych, co przekłada się na szerokie zastosowania w różnych branżach i poziomach zawodowych.

Andrzej Chybicki, PhD Eng.

CEO, Inero Software Sp. z o. o.

email: andrzej.chybicki@inero.pl

Artykuł Andrzej Chybicki: Modele będą potrafiły błyskawicznie przeglądać całe repozytorium, a następnie przekazywać pracownikowi gotowe dane pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Rok pod znakiem upowszechnienia Sztucznej Inteligencji

Marta Kuprasz — Thu, 21 Dec 2023 10:07:09 +0000

Koniec roku to czas podsumowań. W świecie IT wydarzyło się wiele interesujących rzeczy, dlatego w tym artykule postanowiliśmy skupić się na AI. Rozwój sztucznej inteligencji i jej obecność w mediach przyspieszyły do niespotykanej dotąd skali. Narzędzia oparte na Large Language Models (LLM) zostały spopularyzowane i szeroko udostępnione użytkownikom z różnych branż, nie tylko technologicznych. Postanowiliśmy podsumować rok z Andrzejem Chybickim, CEO Inero Software. Oto jego lita 5 kluczowych wydarzeń mijającego roku.

Fakt 1: OpenAI – sztuczna inteligencja staje się powszechnie dostępna

OpenAI odegrało ogromną rolę w popularyzacji sztucznej inteligencji w kontekście zrozumienia ludzkiego języka. W 2022 roku wydali ChatGPT, a w kolejnych miesiącach prezentowali nowe, ulepszone modele. Te postępy nie tylko poprawiły wydajność istniejących aplikacji, ale również otworzyły nowe możliwości dla AI w ochronie zdrowia, administracji, marketingu i wielu innych.

W 2023 roku do ChatGPT wprowadzono wiele ulepszeń, charakteryzujących się zaawansowanymi algorytmami uczenia dla lepszej dokładności i bardziej zniuansowanych konwersacji, spersonalizowanymi interakcjami z użytkownikami, rozszerzonym wsparciem językowym dla globalnej dostępności oraz szerszą integracją z aplikacjami. OpenAI podkreślało kwestie etyczne i redukcję uprzedzeń, włączyło uczenie się w czasie rzeczywistym dla aktualnych treści, poprawiło możliwości interakcji multimedialnych, a także wzmocniło niezawodność i solidność narzędzia. Dodatkowo, ChatGPT został dostosowany do konkretnych branż, zapewniając specjalistyczne funkcjonalności i wiedzę, co stanowi znaczący skok w technologii AI i aplikacjach skoncentrowanych na użytkowniku.

Komentarz eksperta

Open AI był pierwszym szeroko rozpoznawalnym dużym modelem językowym. Zapewne w najbliższych latach będziemy widzieli różne odmiany modeli LLM, przeznaczone do specyficznych zastosowań – de facto to już od paru miesięcy się dzieje. OpenAI, mimo bycia pionierem, przynajmniej w aspekcie rozpoznawalności, nie zawsze jest uważane za najlepszy i najbardziej uniwersalny model. Kierunek rozwoju to na pewno upowszechnienie na podobnej zasadzie jak kiedyś było z komputerami (tj. LLM jak PC) oraz specjalizacja, czyli wyspecjalizowane modele językowe, przeznaczone do konkretnych zastosowań, albo nawet podmiotów czy ludzi.

Fakt 2: GitHub Copilot – lider w implementacji AI/LLM

Jedną z kluczowych ról w rozwoju sztucznej inteligencji odegrał Microsoft, współpracujący z OpenAI. W ciągu ostatniego roku Microsoft kontynuował doskonalenie swojej wizji Microsoft Copilot. Skupmy się na rozwiązaniu dla programistów: GitHub Copilot. W 2023 roku przeszedł on znaczące zmiany i ulepszenia. Oto kluczowe aktualizacje:

W 2023 roku GitHub Copilot wprowadził kilka znaczących ulepszeń, wzmacniając swoją rolę w rozwoju oprogramowania napędzanego przez AI. Chat GitHub Copilot, jest teraz ogólnie dostępny i napędzany przez GPT-4 od OpenAI, oferuje bardziej precyzyjne sugestie i wyjaśnienia kodu, używając języka naturalnego, aby pomagać programistom w różnych językach. Ta funkcja jest zintegrowana zarówno z platformą GitHub, jak i jej aplikacją mobilną, wspierając kodowanie, żądania (pull requests) i dokumentację. Dodatkowo, wprowadzono GitHub Copilot Enterprise, dostosowując narzędzie do specyficznych potrzeb organizacyjnych, pomagając programistom szybko dostosować się do baz kodów swoich organizacji i usprawniając liczne zadania, mając na celu zwiększenie produktywności i bezpieczeństwa na poziomie korporacyjnym. Został również uruchomiony Program Partnerski GitHub Copilot, integrując Copilot z różnymi narzędziami i usługami deweloperskimi, tworząc szeroki ekosystem, który wzmacnia możliwości programistów korzystających z AI. Na koniec GitHub ujawnił nowe funkcje zabezpieczeń oparte na AI w swoim pakiecie Advanced Security, w tym system zapobiegania lukom bezpieczeństwa w czasie rzeczywistym oraz posiada funkcje testowania bezpieczeństwa aplikacji, aby wykrywać i naprawiać luki w kodzie oraz tajemnice, dalej zabezpieczając proces tworzenia oprogramowania.

Komentarz Eksperta

Dzięki współpracy z OpenAI, Microsoft w 2023r. stał się liderem jeśli chodzi o wdrażanie rozwiązań AI/LLM na świecie. Strategia Microsoftu, w tym zakresie opiera się na stosowaniu modelu LLM do tego, aby wspierał (ale nie zastępował) możliwie dużą liczbę czynności i procesów wykorzystujących produkty Microsoft. Szczególne znaczenie miało także zapewnienie odpowiedniego poziomu SLA (uspójnionego z resztą usług Azure) oraz bezpieczeństwa danych. Do najistotniejszych zmian, oprócz wspominanego GitHub CoPilota (który ma za zadanie wspierać programistów w kodowaniu), można zaliczyć, wtyczki CoPilota dostępne w praktycznie wszystkich flagowych produktach tej firmy (Word, Excel, PowerPoint, Outlook).
W Grudniu 2023, nastąpiła także prezentacja rozwiązania CoPilot Studio, które umożliwia tworzenie systemów IT low-code / no-code z istotnym wsparciem modelu OpenAI. To w efekcie umożliwia łatwe rozbudowanie już istniejących w Azure rozwiązań low-code, takich jak np. Azure Agents z botami konwersacyjnymi czy adapterami do baz danych wspieranymi przez AI. Mimo ze CoPilot Studio na chwilę obecną nie jest dostępny w docelowej formie, Microsft jasno komunikuje kierunki rozwoju oraz to jakie zalety, wynikające z jego użycia mogą doświadczyć zarówno deweloperzy, inżynierowie jak i użytkownicy. Z prezentacji przedstawicieli MS można wysnuć wniosek iż, celem Microsoftu jest obniżenie progu wejścia w zakresie tworzenia oraz wdrażania nowych, zaawansowanych rozwiązań AI, gdyż wykorzystanie platform low-code nie wymaga tak głębokiej wiedzy technicznej jak w przypadku tradycyjnego kodowania. Możemy się spodziewać powszechnego zainteresowania tymi rozwiązaniami, nie tylko największych firm wykorzystujących MS Azure w najbliższych latach. Obecnie w gronie ekspertów, pytanie brzmi nie “czy używać AI” ale jak ją wdrożyć aby nie zostać w tyle za konkurencją. Te podmioty, które w najbliższych latach stworzą spójną strategię w zakresie wchłaniania produktów opartych o AI do swoich procesów będą mogły znacząco skorzystać na rewolucji która już ma miejsce.

Fakt 3: Europejski akt ws. sztucznej inteligencji

14 czerwca 2023 roku Parlament Europejski zajął pozycję negocjacyjną w sprawie sztucznej inteligencji. Priorytetem Parlamentu było zapewnienie, że systemy AI używane w UE są bezpieczne, przejrzyste, możliwe do śledzenia i niedyskryminujące. Parlament zaplanował również ustanowienie neutralnej technologicznie, jednolitej definicji AI, która mogłaby być stosowana do przyszłych systemów AI. Akt ustala różne zasady dla różnych poziomów ryzyka AI.

Niedopuszczalne ryzyko: Systemy AI o niedopuszczalnym ryzyku to systemy uznane za zagrożenie dla ludzi i będą zakazane. Należą do nich:

Manipulacja poznawczo-zachowawcza osób lub konkretnych grup podatnych na wpływy: na przykład zabawki aktywowane głosem, które zachęcają dzieci do niebezpiecznych zachowań
Ocena społeczna: klasyfikacja osób na podstawie zachowania, statusu socjoekonomicznego lub cech osobistych
Systemy identyfikacji biometrycznej w czasie rzeczywistym i zdalnej, takie jak rozpoznawanie twarzy Niektóre
wyjątki mogą być dozwolone: Na przykład „post” systemy zdalnej identyfikacji biometrycznej, gdzie identyfikacja następuje po znacznym opóźnieniu, będą dozwolone do ścigania poważnych przestępstw, ale tylko po zatwierdzeniu przez sąd.

Systemy AI niedopuszczalnego ryzyka

Systemy sztucznej inteligencji stwarzające niedopuszczalne ryzyko, czyli uważane za zagrożenie dla ludzi, zostaną zakazane. To m.in.:

Poznawczo-behawioralna manipulacja ludźmi lub określonymi wrażliwymi grupami: na przykład zabawki aktywowane głosem, które zachęcają dzieci do niebezpiecznych zachowań.
Identyfikacja biometryczna i kategoryzacja osób fizycznych.
Scoring (klasyfikacja punktowa) obywateli: klasyfikacja ludzi na podstawie ich zachowań, statusu społeczno-ekonomicznego lub cech osobistych.
Systemy identyfikacji biometrycznej działające w czasie rzeczywistym i zdalnie, takie jak rozpoznawanie twarzy.

Pewne wyjątki mogą być dopuszczalne do celów egzekwowania prawa. Systemy zdalnej identyfikacji biometrycznej działające w czasie rzeczywistym będą dozwolone w ograniczonej liczbie poważnych przypadków, natomiast systemy identyfikujące ze znacznym opóźnieniem będą mogły być używane do ścigania poważnych przestępstw, ale wyłącznie po zgodzie sądu.

Systemy AI wysokiego ryzyka

Systemy sztucznej inteligencji negatywnie wpływające na bezpieczeństwo lub prawa podstawowe będą uznane za systemy wysokiego ryzyka.

Zostaną podzielone na dwie kategorie:

1) Systemy sztucznej inteligencji stosowane w produktach objętych unijnymi przepisami dotyczącymi bezpieczeństwa produktów. To np. zabawki, lotnictwo, samochody, urządzenia medyczne i windy.

2) Systemy sztucznej inteligencji należące do ośmiu konkretnych obszarów, które będą musiały zostać zarejestrowane w unijnej bazie danych:

Zarządzanie i eksploatacja infrastruktury krytycznej.
Edukacja i szkolenie zawodowe.
Zatrudnienie, zarządzanie pracownikami i dostęp do samozatrudnienia.
Dostęp do i korzystanie z podstawowych usług prywatnych oraz usług i korzyści publicznych.
Ściganie przestępstw.
Zarządzanie migracją, azylem i kontrolą granic.
Pomoc w interpretacji prawnej i stosowaniu prawa.

Wszystkie systemy AI wysokiego ryzyka będą oceniane przed wprowadzeniem na rynek, a także przez cały cykl ich życia.

*źródło https://www.europarl.europa.eu/news/pl/headlines/society/20230601STO93804/akt-ws-sztucznej-inteligencji-pierwsze-przepisy-regulujace-ai

Komentarz Eksperta:

Zapewnienie bezpieczeństwa oraz poufności danych to z pewnością jedna najistotniejszych kwestii dotyczących wdrażania rozwiązań AI. Liczni eksperci wskazują, że mimo dobrych intencji komisji Europejskiej, proponowane rozwiązania przyczynią się do zmniejszenia konkurencyjności rodzimego rynku twórców AI, co w efekcie zwiększy dystans pomiędzy Europą a liderami w tej dziedzinie (tj. USA i Chinami). Osobiście podzielam te obawy, tutaj dobrym przykładem może być analogiczna sytuacja jaka miała miejsce ok. 15 lat temu, kiedy wdrażana była chmura obliczeniowa. Wtedy w EU też powstał akt regulujący zasady dostępu i poufności danych (GDPR) który do tej pory jest podstawą regulacyjną w tym zakresie. Jednocześnie, największe rozwiązania, z których większość krajów EU korzysta to rozwiązania wytworzone w USA, dla których priorytetem był swobodny rozwój technologii a dopiero w drugiej kolejności ramy prawne. Niestety, wiele wskazuje na to że podobnie może być jeśli chodzi o AI.

Fakt 4: Gemini: nowy model od Google

Bez wątpienia premiera Gemini była najważniejszym wydarzeniem drugiej połowy 2023 roku, które odbiło się szerokim echem. Te nowe narzędzie jest wynikiem współpracy licznych zespołów Google. Zostało zbudowane od podstaw jako multimodalne, co oznacza, że może generalizować i bezproblemowo rozumieć, łączyć różne rodzaje informacji, w tym tekst, kod, audio, obraz i wideo.

Gemini 1.0 zostało przeszkolone do rozpoznawania i rozumienia tekstu, obrazów, dźwięku jednocześnie, dzięki czemu lepiej rozumie złożone informacje i może odpowiadać na pytania, dotyczące skomplikowanych tematów. To sprawia, że jest szczególnie dobre w wyjaśnianiu rozumowania w złożonych dziedzinach, takich jak matematyka i fizyka.

Podczas prezentacji dotyczącej wydania API Gemini dla deweloperów dużo czasu poświęcono AI Studio, narzędziu do tworzenia kodu. Drugim głównym tematem był Vertex AI, bardziej zaawansowany program, który umożliwia „zarówno szkolenie, jak i wdrażanie modeli uczenia maszynowego (ML) i aplikacji AI”. Google oferuje możliwość przeniesienia wstępnego projektu opracowanego w AI Studio do Vertex AI, aby dodać dodatkowe funkcje dostępne w ramach większej platformy Google Cloud.

Komentarz Eksperta:

Do wyścigu LLM oficjalnie dołączył Google. Najciekawszym aspektem tego co proponuje jest to, że ich model będzie działał w trzech wersjach Ultra (najbogatszej), Pro oraz Nano, przy czym ta ostatnia będzie przeznaczona do działania na telefonach komórkowych. Nie wiemy jeszcze czy Nano będzie w całości uruchamiany na urządzeniach klienckich (smartfonach) czy będzie jedynie swego rodzaju rozwinięciem Google Asisstant.
Warto tez podkreślić, że Google, podobnie jak Microsoft, będzie oferował usługi Gemini jako elementy swoich flagowych produktów takich jak SpreadSheets, Google Docs oraz inne.

Fakt 5: Postępy w przetwarzaniu języka naturalnego (NLP)

Rok 2023 był przyniósł znaczący postęp w dziedzinie przetwarzania języka naturalnego (NLP). Badacze i firmy na całym świecie poczynili znaczne kroki w poprawie dokładności i wszechstronności modeli NLP. Te postępy doprowadziły do bardziej zaawansowanego rozumienia i generowania ludzkiego języka przez maszyny, otwierając drogę do bardziej intuicyjnych i naturalnych interakcji człowieka z komputerem. W tym roku nastąpiło wdrożenie zaawansowanych technologii NLP w różnych aplikacjach, od chatbotów obsługi klienta po złożone narzędzia analizy danych, rewolucjonizując sposób, w jaki codziennie wchodzimy w interakcje z technologią. Postęp w technologii NLP nie tylko wzmocnił istniejące aplikacje, ale również otworzył nowe możliwości dla AI w takich dziedzinach jak edukacja, tworzenie treści i komunikacja wielojęzyczna.

Komentarz Eksperta:

Technologie AI coraz śmielej przełamują barierę rozumienia języka naturalnego. Tym samym powoli zaciera się granica pomiędzy danymi ustrukturyzowanymi jakie do tej pory używaliśmy w systemach IT a wiedzą ludzką. Wydaje się stworzenie AGI czyli maszyny dorównującej albo nawet przewyższającej przeciętnego człowieka w wielu aspektach jest już tylko kwestią czasu. Wyzwaniem dla świata nauki, biznesu i polityków będzie teraz pokierowanie rozwojem AI tak, aby służył on możliwie szeroko rozumianej ludzkości i nie powodował zagrożeń, których wielu (prawdopodobnie) słusznie się obawia.

Ostatnie miesiące były bogate w interesujące premiery w dziedzinie sztucznej inteligencji. Prezentacja nowych dużych modeli językowych, otworzyła szereg możliwości ich zastosowania w codziennych zadaniach, zarówno w pracy programistycznej, jak i w kreatywnych zespołach. Europejskie władze starają się nadążyć za tymi zmianami i dostosować przepisy prawne do aktualnej sytuacji technologicznej. W nadchodzących miesiącach z pewnością zobaczymy więcej nowości, ponieważ wiodący gracze, tacy jak Google i Microsoft, rywalizują w tworzeniu rozwiązań wykorzystujących sztuczną inteligencję.

Artykuł Rok pod znakiem upowszechnienia Sztucznej Inteligencji pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Budowa systemu rozpoznawania komend głosowych w języku polskim

Andrzej Chybicki — Mon, 04 Apr 2022 10:08:58 +0000

Budowa systemu rozpoznawania komend głosowych w języku polskim

System rozpoznawania komend głosowych został stworzony po to, aby usprawnić życie człowieka. Pełni on rolę pomocnika, który wyszuka dla nas odpowiednie informacje, ułatwi zakupy w Internecie czy umożliwi obsługę różnych urządzeń bez wykorzystywania zewnętrznych przycisków czy regulacji. Jednak stworzenie takiego systemu od podstaw może być trudnym wyzwaniem. W szczególności, jeśli chcemy zbudować go w języku polskim.

Istnieją ogólne modele sieci neuronowych, które dedykowane są rozpoznawaniu języka mówionego, czyli transkrypcji nagrania audio do tekstu. Wszystko jednak uwarunkowane jest od tego, ile danych posiadamy. Obecnie istnieje wiele zbiorów nagrań z języka angielskiego, które są odpowiednio przygotowane. Same dane jednak nie wystarczą. Muszą być do nich dołączone transkrypcje. Niestety w języku polskim nie mamy dużej ilości próbek głosowych razem z transkrypcjami. Na dzień dzisiejszy nie jesteśmy więc w stanie tak dobrze wyuczyć modeli, jak to jest robione w języku angielskim.

Jak na razie nie możemy wyuczyć asystentów wykorzystując modele open source’owe z zadowalającą skutecznością, jednak możemy sprawdzić co jesteśmy w stanie zbudować z ogólnie dostępnych danych. Celem naszej pracy jest stworzenie systemu rozpoznawania mowy, który działa w ograniczonym zbiorze komend.

Główne źródła zbierania danych dla systemu rozpoznawania komend głosowych

W ostatnich miesiącach pojawiły się zbiory danych: Common Voice i Zasoby Nauki, które są odpowiednio przygotowane pod modele ASR (Automatic Speech Recognition). Oznacza to, że nagrania dźwiękowe zawierają również transkrypcje. Są to tak naprawdę dwa największe zbiory danych, które można użyć. Do zbudowania własnego systemu wykorzystaliśmy więc je i złączyliśmy w jedno.

Common Voice jest ciekawym zbiorem danych. Jeżeli chcemy aby ich ilość była jeszcze większa, możemy kontrybuować w tym działaniu. Każdy z nas może wejść na stronę i nagrać swój głos, który zostanie zapisany, a następnie sprawdzony przez innych użytkowników. W ten sposób będziemy mogli przyczynić się do powiększenia ilości danych z języka polskiego, dzięki czemu budowanie systemów rozpoznawania komend głosowych będzie łatwiejsze.

W przyszłości istnieje możliwość, że YouTube udostępni do wykorzystania swoje nagrania audio razem z automatycznie generowanymi transkrypcjami. Jest to jednak rozwiązanie, które (być może) powstanie dopiero później. Dodatkowym źródłem danych mogą również być audiobooki, które zawierają transkrypcję książek i nagrania audio. W takim przypadku musimy jednak wykonać pracę przygotowania danych polegającą na pofragmentowaniu danych na krótsze nagrania. Dodatkowo zmienna intonacja lektora może wpływać na dokładność wyuczonych przez nas modeli.

Przygotowanie i ujednolicenie danych

Przede wszystkim musimy zapewnić minimalną i maksymalną długość nagrania. Muszą one znajdować się w określonych ramach czasowych. Zbyt długie nagrania mogą być problemem podczas uczenia modelu, natomiast krótkie nagrania mogą nie nieść ze sobą żadnej istotnej informacji. Musimy także zapewnić jednakową częstotliwość próbkowania sygnału. Jest to bardzo ważna kwestia przy uczeniu modeli opartych na dźwięk.

Fala dźwiękowa czystego tonu, rozchodząca się w przestrzeni, ma charakter sinusoidalny. Zmiana częstotliwości takiego dźwięku oznacza zmianę okresu sinusoidy, więc zmieniają się odległości między jej grzbietami. Jednak dźwięk w komputerze również musi być w jakiś sposób zaprezentowany. Sinusoida jest przebiegiem ciągłym, natomiast komputer zapisuje pojedyncze wartości. Częstotliwość próbkowania mówi nam o tym, ile razy na sekundę została zapisana wartość rejestrowanej fali dźwiękowej. Bardzo ważne jest to, żeby każdy dźwięk, który wchodzi do naszego modelu miał taką samą częstotliwość próbkowania.

Poprzez nieprawidłowe próbkowanie rekonstruowany dźwięk może być zniekształcony lub całkowicie niesłyszalny. Trzeba więc pamiętać o odpowiednim dobraniu częstotliwości próbkowania, aby zminimalizować rozmiar zapisywanych danych przy jednoczesnym braku utraty informacji. Zbyt rzadkie próbkowanie może spowodować pojawienie się zjawiska aliasingu, czyli nakładania się wyższych częstotliwości na niższe.

Źródło: Reprezentacje danych dźwiękowych w kontekście metod uczenia maszynowego, s. 134, Tymoteusz Cejrowski

Zapobieganie takiemu zjawisku polega na próbkowaniu sygnału z częstotliwością co najmniej dwa razy większą od najwyższej częstotliwości występującej w sygnale. Częstotliwość ta nazywana jest częstotliwością Nyqiusta. Dla przykładu, nagrania na płytach CD są zapisywane z częstotliwością próbkowania 44100 Hz. Natomiast maksymalna poprawnie zrekonstruowana częstotliwość będzie wynosiła 22050 Hz, co odpowiada górnemu zakresowi dźwięków słyszalnych przez człowieka.

Opis i uczenie modelu deepspeech w systemie rozpoznawania komend głosowych

Sieci neuronowe w pewien sposób przypominają układ nerwowy. Podstawowymi jednostkami w takich sieciach są neurony, które rozmieszczone są w warstwach. Jest to uproszczony model procesu przetwarzania informacji przez ludzki umysł.

Zazwyczaj sieć neuronowa składa się z trzech części. Pierwsza to warstwa wejściowa, która posiada jednostki reprezentujące zmienne wejściowe. Następna część to warstwy ukryte, które zawierają jednostki nieobserwowane i są ukrytym stanem sieci neuronowej. To właśnie od tych warstw w dużej mierze zależy efektywność modelu. Natomiast ostatnią częścią jest oczywiście warstwa wyjściowa, która posiada jednostki reprezentujące zmienne przewidywane. Wszystkie jednostki złączone są konkretnymi połączeniami o różnej wadze. Dane wejściowe znajdują się na pierwszej warstwie, przechodzą one przez kolejne, a ostatecznie z warstwy wyjściowej otrzymujemy wynik.

Sieć neuronowa uczy się przez porównywanie rekordów. Generuje ona predykcje dla konkretnych danych (nagrań audio) i wprowadza korekty wag, jeśli generują one niepoprawną predykcję (złą transkrypcję). Cały proces powtarzany jest wiele razy do uzyskania satysfakcjonującej dokładności. Wszystkie wagi na początku mają charakter losowy, a odpowiedzi wychodzące nie mają dużo sensu, z czasem natomiast sieć poprawia swoje predykcje. Dzieje się tak, ponieważ sieć dopasowuje się do danych w procesie uczenia wykorzystując algorytm wstecznej propagacji błędu.

Jednym z najprostszych modeli Sieci Neuronowych jest Perceptron wielowarstwowy. Składa się on z wielu warstw neuronowych. Neurony poprzedniej warstwy tworzą konkretny wektor, który jest podawany na wejście neuronów do warstwy następnej. Pojedynczy neuron w warstwie następnej ma liczbę wejść równej liczbie neuronów z warstwy poprzedniej +1. Jednak w ramach jednej warstwy, neurony między sobą nie mają żadnych połączeń. Taki typ modelu nazywany jest również modelem „Feed-Forward” i jest jedną z podstawowych architektur sieci neuronowych.

Rysunek przedstawiający model „Feed-Forward”

Sieci rekurencyjne różnią się od sieci typu „Feed-Forward” w wielu aspektach. Jedną z głównych różnic jest sposób propagacji danych wejściowych na wyjście sieci. W najprostszym modelu wyjście sieci jest niczym innym kombinacją wag i wejścia modelu (pojedynczego rekordu). W przypadku sieci rekurencyjnych wyjście modelu zależy również od poprzedniego wyjścia. Wynik działania modelu dla rekordu X jest brany pod uwagę przy wyliczaniu wyjścia dla kolejnego rekordu Y.

Konwolucyjna sieć neuronowa jest typem sieci najczęściej stosowanej do analizy obrazów wizualnych z uwagi na swój charakter procesowania wejścia. Podobnie jak człowiek, sieć ta nie analizuje obrazu piksel po pikselu ale wyłapuje wzorce obecne w danych wejściowych dzięki zastosowaniu tzw. Kerneli czyli filtrów. Każda warstwa w sieci neuronowej uczy się cech obrazu takich jak kontury czy nasycenie światłem. Złożenie tych informacji poprawia efektywność modelu.

Poza neuronowymi modelami rozpoznawania mowy, warto pochylić się nad open source’owymi systemami, które umożliwiają zbudowanie systemu rozpoznawania komend głosowych. Jednym z nich jest Kaldi, który został napisany w C++. Powstał on w 2009 roku, a jego głównymi cechami jest to, że system ten jest rozszerzalny i cały czas rozwijany. Udostępnia on m.in. narzędzia do pre-procesowania nagrań audio czy modeli opartych o Ukryte Modele Markowa (HMM). Sama społeczność udostępnia wiele innych modułów, które można wykorzystać do własnych zadań. Kaldi, poza modelami statystycznymi, obsługuje także głębokie sieci neuronowe. Pomimo tego, że jest napisany głównie w C++, to posiada on skrypty w jezyku Bash czy Python.

W naszej pracy skupiliśmy się jednak na konkretnym modelu ASR: deepspeech 2. Jest to model, który wykorzystuje głębokie uczenie (ang. Deep Learning), składa się on z 3 warstw konwolucyjnych, 8 rekurencyjnych i jednej Fully-Connected. Deepspeech 2 można z powodzeniem wyuczyć na dowolnym języku, trzeba jednak pamiętać, że takie uczenie wymaga wydajnego systemu komputerowego/serwerowego wyposażonego w odpowiednią ilość kart graficznych lub akceleratorów obliczeń.

W przypadku popularnych języków takich jak angielski czy mandaryński można znaleźć przetrenowane modele gotowe do użycia. W naszym zadaniu wybraliśmy deepspeech 2 z implementacją w PyTorchu, ponieważ jest on lekki, ma stosunkowo mało parametrów (wag do wyuczenia) i wybrana przez nas implementacja jest aktywnie utrzymywana. W tym modelu oprócz przygotowania odpowiednich częstotliwości próbkowania o których pisaliśmy wyżej, musieliśmy również przygotować odpowiednio dane pod sam model deepspeech. Wiązało się to z zapewnieniem odpowiedniej struktury katalogów.

Wnioskowanie z użyciem modeli ASR i dodatkowego modelu językowego

Wykorzystując deepspeech jesteśmy w stanie zastosować dodatkowy model językowy (model n-gramowy). Opiera się on na statystykach i pomaga w przewidywaniu kolejnego elementu sekwencji w wynikowej transkrypcji. Trzeba pamiętać, że zastosowanie takiego modelu wymaga zgromadzenia dużego zasobu danych statystycznych. N-gramy pomagają maszynom w zrozumieniu słowa w konkretnym kontekście. Dzięki temu mogą one lepiej zrozumieć jego przeznaczenie.

Jeśli chcemy utworzyć taki model, zaczynamy od zliczania wystąpień sekwencji o ustalonej długości n w istniejących już zasobach językowych. Analizuje się więc całe teksty i zlicza się pojedyncze wystąpienia (1-gram), dwójki (2-gramy) i trójki (3-gramy). Możemy również uzyskać model 4-gramowy, jednak tutaj potrzebne są już ogromne zbiory danych, przez co dla języka polskiego jest to niezwykle trudne do zrealizowania. W kolejnym kroku zamienia się liczbę wystąpień na prawdopodobieństwo poprzez normalizację. W ten sposób zyskujemy predykcję kolejnego elementu na podstawie dotychczasowych sekwencji. Warto zaznaczyć, że im więcej przeanalizowanego tekstu, tym wyższa jakość modelu. Dane te są głównie wykorzystywane w aplikacjach przetwarzania języka naturalnego (NLP). Model n-gramowy dla języka polskiego można znaleźć tutaj.

Użycie modelu n-gramowego na etapie wnioskowania pozwala na skorygowanie wyjścia sieci neuronowej (transkrypcji modelu deepspeech 2) zgodnie z regułami zawartymi w modelu n-gramowym.

Działanie w ograniczonym zbiorze komend

Niestety budowane modele nie mogą być wystarczająco dokładne ze względu na małą ilość danych w języku polskim. W naszym przypadku możemy jednak działać w ograniczonym zbiorze komend. Oznacza to, że rozpoznawaniu podlega konkretna ilość komend głosowych. Nasze zadanie polegało na tym, żeby dopasować odpowiednią komendę ze zbioru z tym co dostarczył nam model. Ważne jest tutaj określenie najwyższego podobieństwa pomiędzy komendą, a tym co zwrócił nam model.

Do tego zadania wykorzystaliśmy miarę zwaną odległością Levenshteina, która wskazuje na podobieństwo pomiędzy transkrypcją, a daną komendą. Polega ona na zliczaniu pozycji lub liter, które się nie zgadzają. Przykładowo, odległość Levenshteina pomiędzy wyrazami:

drzwi
drzwi

Jest zerowa. Są to wyrazy identyczne, więc nie potrzeba tutaj żadnych działań.

Natomiast odległość Levenshteina pomiędzy wyrazami:

kołacz
połać

wynosi 3, ponieważ potrzeba co najmniej 3 działań: zamiany k na p, zamiany c na ć i usunięcia litery z.

Tam, gdzie jest najmniej podstawień, posiadamy największe prawdopodobieństwo, że komendy są takie same.

Podsumowanie

Celem systemów rozpoznawania głosu jest zapewnienie łatwości w komunikacji między urządzeniem a człowiekiem. Podejście wykorzystujące narzędzia Open-Source w zadaniu uczenia modeli ASR na razie ogranicza się do rozpoznawania ograniczonego zbioru komend. Budowanie takiego sytemu w oparciu o dane w języku polskim jest trudnym zadaniem, ze względu na małą ilość danych dźwiękowych połączonych z transkrypcjami. Zastosowanie miary podobieństwa pomiędzy transkrypcją a zbiorem komend pozwala na zbudowanie użytecznego systemu ASR działającego w trybie offline. Biorąc pod uwagę aktualne trendy w wykorzystaniu inteligentnych urządzeń oraz możliwości techniczne, warto obserwować dalszy rozwój tych systemów i pojawiające się nowe zbiory danych.

Inero Software oferuje wiedzę i doświadczenie w zakresie skutecznego wykorzystywania najnowocześniejszych technologii i danych do kształtowania korporacyjnych produktów cyfrowych przyszłości.

W sekcji BLOG można znaleźć inne artykuły dotyczące nowoczesnych rozwiązań dla przedsiębiorstw.

Redakcja: Tymoteusz Cejrowski, Software Developer.

Artykuł Budowa systemu rozpoznawania komend głosowych w języku polskim pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.