Głównymi dziedzinami pracy laboratorium są właściwości dźwięku, pomiary sprzętu akustycznego, akustyka wnętrz, cyfrowe przetwarzanie sygnału i dźwięku, rozpoznawanie mowy.
Laboratorium akustyki i przetwarzania dźwięku prowadzi badania z zakresu systemów rozpoznawania mowy, modelowania języka naturalnego, budowy urządzeń opartych o mikrokontrolery i procesory sygnałowe. Prowadzi współpracę naukową i świadczy swoje usługi Katedrom i podmiotom zewnętrznym.
Dlaczego jest wyjątkowe?
Łączy badania z zakresu sztucznej inteligencji z algorytmami przetwarzania i rozpoznawania mowy
Jakiego typu badania prowadzimy?
Specjalizujemy się w technikach sztucznej inteligencji, których przykładem mogą być głębokie sieci neuronowe. Pozwalają one na znajdowanie wzorców i zależności między danymi. Możliwości są szerokie zależą od zbioru dostępnych danych – dźwięk, tekst, obraz, aktywność użytkowników, wskaźniki finansowe gmin i miast itd. Posiadając dostęp do serwerów z kartami z procesorami graficznymi GPU posiadamy możliwości do efektywnego opracowania modeli.
Budujemy systemy rozpoznawania mowy, dysponując korpusami audio (otagowane bazy nagrań mowy) oraz korpusami tekstowymi (otagowane bazy tekstu) wykorzystując wcześniej wspomniane techniki sztucznej inteligencji – zgodnie z najnowszymi kierunkami badań
Zastosowanie takich systemów obejmuje m.in.
-wsparcie infolinii, pozwalające odciążyć konsultantów w najprostszych zgłoszeniach.
-obsługę głosową procesów, w których kontakt z klawiaturą i monitorem jest uciążliwy
-wprowadzanie głosowe treści („dyktowanie”)
-sterowanie robotem
Co oferuje naukowcom i dyplomantom?
Współpracę w badaniach naukowych z powyższej tematyki (nie ograniczając się do niej) oraz w publikacjach.
Co oferuje firmom?
Rozwiązanie problemów biznesowych wymagających analizy danych (niekoniecznie numerycznych) z różnych dziedzin, rozpoznawania mowy. Posiadamy doświadczenie w realizacji grantów (NCN, programy regionalne) w tym we współpracy z firmami.
Jakie daje możliwości studentom?
W laboratorium studenci mogą zdobyć umiejętności dokonywania pomiarów w akustyce. Zapoznają się z budową i działaniem takich urządzeń jak wzmacniacz czy mikser. Dokonują pomiarów przetworników akustycznych (mikrofony, głośniki). Mogą też uczyć się projektowania akustyki pomieszczenia, czy oprogramować układy z procesorami sygnałowymi dokonującymi np. przetwarzania sygnału audio. Nauczą się również się obsługi urządzeń takich jak oscyloskop, generator funkcyjny, komputerowy zestaw pomiarowy. Były również przeprowadzone zajęcia w ramach „Rzeszowskiej Akademii Inspiracji”
Laboratorium umożliwia także prace nad rozpoznawaniem mowy oraz modelowaniem języka naturalnego. Sprzęt i oprogramowanie laboratorium jest wykorzystywane na potrzeby prac dyplomowych. Laboratorium jest też miejscem pracy stażystów współpracujących z Katedrą Zastosowań Systemów Informatycznych
Wyposażenie
Wyposażenie laboratorium stanowią przyrządy pomiarowe, płytki ewaluacyjne z procesorami sygnałowymi, jak również oprogramowanie do projektowania akustyki wnętrz i cyfrowego przetwarzania sygnałów, np.:
oprogramowanie Cara 2.2 Plus Power Pack, sygnały testowe do programu Cara, oraz do systemu pomiarowego ATS-2
programowanie do projektowania nagłośnienia CATT-A,
komputerowy system pomiarowy Audio Precission ATS-2A,
głośniki JBL ES-20,
mikrofon pomiarowy Bayerdynamic MM1, mikrofon Beyerdynamic TG V30d
amplituner wielokanałowy Pioneer VSX-520-K,
trzy zestawy uruchomieniowe TMDSDK5416 C5416 DSP wraz z płytkami ewaluacyjnymi z procesorami sygnałowymi i kodekami sprzętowymi,
generator funkcyjny z cyfrową syntezą częstotliwości, z przemiataniem i modulacjami (AM,FM): FG-710F,
oscyloskopy Tektronix GoodWill GDS-1062A, wraz z oprogramowaniem do pracy zdalnej
generator funkcyjny z cyfrową syntezą częstotliwości, z przemiataniem i modulacjami (AM,FM): GoodWill GFG-3015,
sprzęt audio (wzmacniacze, mikser, kolumny głośnikowe)
oprogramowanie rozpoznawania mowy (Kaldi, HTK, Sphinx)
korpusy audio (LUNA, Parlament – język polski, AN4, AMI – język angielski)
korpusy tekstowe (korpus IPI PAN – j. polski, Fisher -j. angielski)
narzędzia do modelowania języka naturalnego (SRILM i własne)..
Do obliczeń są wykorzystywane serwery Laboratorium Architektury Przetwarzania Równoległego i Programowania Równoległego m.in. maszyny z kartami GPU.
Realizowane granty
W laboratorium były realizowane granty (prace z zakresu rozpoznawania mowy, przetwarzania języka naturalnego):
2010-2013 grant promotorski N N516 513439“Modelowanie języka naturalnego (polskiego) dla potrzeb systemów rozpoznawania mowy klasy LVCSR”
2012 -2015 grant NCN nr 2011/03/B/ST7/02518 “Organizacja pamięci semantycznej w uczeniu motywowanym robotów” http://ncn.wsiz.rzeszow.pl/
2017 – 2018 grant “Platforma usługowa IVA wirtualnych agentów głosowych do automatyzacji pracy awaryjnych infolinii zgłoszeniowych” finansowany przez Mazowiecką Jednostkę Wdrażania Programów Unijnych, nr RPMA.01.02.00-14-5746/16
2017-2020 grant NCN nr 2016/21/B/ST7/02220 “Opracowanie efektywnych mechanizmów percepcyjnych robota wykorzystujących uczenie motywowane oraz samo-organizującą się pamięć asocjacyjną” http://perception.wsiz.rzeszow.pl/
Zapraszamy do współpracy!
Opiekun: dr inż. Leszek Gajecki, lgajecki@wsiz.edu.pl
