XV Ogólnopolska Konferencja Bibliotekarzy Muzycznych odbyła się w dniach 28-30 listopada w Akademii Muzycznej im. Karola Lipińskiego we Wrocławiu. W sesji Bibliotek Muzycznych, dr inż. Ewa Łukasik przedstawiła informacje o grupie DARIAH-PL MIR WG, realizowanych przez nas projektach i tworzonych w ich ramach narzędziach, które swoją funkcjonalnością wpisują się w motyw przewodni konferencji „Biblioteka muzyczna – idea dostrojona do czasu”. Prezentacja obejmowała rozwiązania dla muzycznych bibliotek cyfrowych, takie jak systemy OMR (ang. Optical Music Recognition), czy transkrypcja nagrań muzycznych do zapisu nutowego.

DARIAH-PL jest projektem, którego celem jest budowa infrastruktury badawczej dla humanistyki i nauk o sztuce, w tym również etnomuzykologii. W ramach tego projektu opracowujemy szereg użytecznych narzędzi do przetwarzania materiałów muzycznych, czyli zapisów nutowych i nagrań.

Obejmują one narzędzia do automatycznej transkrypcji nagrań utworów jednogłosowych i przedstawienia ich w postaci zapisu nutowego oraz automatycznego „odczytu” skanów zapisu nutowego z wykorzystaniem metod sztucznej inteligencji (sieci neuronowych). W obu wypadkach uzyskuje się zapis utworu w jednym z kilku formatów przeznaczonych do „maszynowej” reprezentacji muzyki – MEI, MusicXML, ABC, MIDI czy EsAC, co otwiera drogę do dalszego przetwarzania i odtwarzania utworu z wykorzystaniem szeregu innych programów muzycznych.

Powstaje również narzędzie do analizy nagrań muzycznych wyznaczające wartości parametrów widmowych odpowiedzialnych za wrażenie barwy dźwięku oraz wizualizujące podobieństwa wybranych dźwięków na podstawie różnych parametrów charakteryzujących ich barwę. Parametry barwowe mogą być wykorzystane do rozpoznawania gatunku muzycznego, nastroju muzyki, rodzaju instrumentu muzycznego, głosów ludzkich itp. Zaawansowane są również prace nad prototypem opartego na sieciach neuronowych systemu generowania muzyki o różnym wydźwięku emocjonalnym, który mógłby na przykład wspomagać twórców gier w przygotowaniu ścieżki muzycznej.

Dobiegła końca realizacja trwającego rok projektu FolkArtiNet, którego celem była identyfikacja rozwiązań technologicznych mogących wesprzeć zespoły muzyki ludowej w ich działalności artystycznej. Był to dla nas angażujący i bardzo ciekawy projekt.

Lokalizacje zespołów uczestniczących w zbieraniu danych

Oto kilka wniosków płynących z analizy zebranych danych:

• Niektóre rozwiązania technologiczne są szeroko stosowane. Nikogo nie zdziwi zapewne powszechna obecność zespołów w media społecznościowych.
• Internetowe repozytoria muzycznych i choreograficznych materiałów źródłowych stają się coraz bardziej popularne, jednakże dostrzegamy potrzebę dalszego ich rozpowszechniania zarówno jako źródeł informacji jak i narzędzi udostępniania własnych zasobów zespołów.
• W praktyce materiały cyfrowe będące w posiadaniu zespołów i dokumentujące ich dorobek nie są przechowywane w wiarygodnych repozytoriach zapewniających bezpieczeństwo danych. Często są one składowane na lokalnych dyskach będących w posiadania członków zespołu.
• Nawet w czasie pandemii, kiedy organizacja tradycyjnych prób i spotkań zespołu była mocno ograniczona, wiele zespołów nie rozważało zdalnych prób podkreślając społeczny aspekt spotkań oraz konieczność bezpośredniego kontaktu w czasie prób zespołów tanecznych. Członkowie kapel wskazywali z kolei na negatywny wpływ niewielkich nawet opóźnień jakie występują w komunikacji on-line na synchronizację gry, zwłaszcza w przypadku żywszych melodii.
• Strumieniowanie relacji z koncertów na żywo lub w trybie VoD jest częstsze w przypadku dużych wydarzeń artystycznych, kiedy rejestracja jest realizowana przy pomocy profesjonalnego sprzętu przez ekipę opłacaną przez organizatora. W przypadku mniejszych koncertów, brak finansów na zakup dobrej jakości sprzętu i wyszkolenie ludzi jest często czynnikiem ograniczającym dostępność nagrań koncertów czy rejestracji prób zespołu.

FolkArtiNet będzie prezentowany na przyszłorocznym DARIAH Annual Event, który odbędzie się w dniach 31.05 – 03.06.2022.

W spotkaniu inaugurującym realizację projektu FBC TeNe 9 marca wzięli udział przedstawiciele Poznańskiego Centrum Superkomputerowo-Sieciowego jako lidera projektu, Instytutu Sztuki PAN oraz Politechniki Poznańskiej. Ze względu na panującą sytuację pandemiczną, spotkanie miało charakter zdalny.

Jednym z elementów prezentowanych na spotkaniu były wyniki pracy inżynierskiej realizowanej w Instytucie Informatyki Politechniki Poznańskiej pod kierunkiem dr inż. Ewy Łukasik w obszarze Optical Music Recognition. W ramach pracy trzyosobowy zespół studentów – Mateusz Kałamoniak, Zuzanna Piniarska i Michał Subocz – opracował prototyp systemu pozyskiwania symbolicznej reprezentacji materiałów nutowych bazujący na głębokich sieciach neuronowych. Zuzanna Piniarska i Mateusz Kałamoniak wzięli udział w spotkaniu i przedstawili etapy procesu pozyskiwania symbolicznej reprezentacji, zbiory danych wykorzystane jako zbiory treningowe oraz napotkane trudności i kierunki dalszego rozwoju systemu.

OMR jest jednym z obszarów prac planowanych w ramach projektu FBC TeNe. Narzędzia opracowane w projekcie posłużą do generowania symbolicznej reprezentacji materiałów nutowych dostępnych w FBC, dzięki czemu możliwe będzie indeksowanie, wyszukiwanie i filtrowanie treści muzycznych z uwzględnieniem ich zwartości.

Kolejny ze zgłoszonych przez nas projektów uzyskał finansowanie. Celem FBC TeNe jest zwiększenie dostępności cyfrowych zbiorów polskich instytucji kultury i nauki poprzez rozbudowę serwisu Federacji Bibliotek Cyfrowych (FBC, https://fbc.pionier.net.pl/).

Do tej pory wyszukiwanie w FBC realizowane było na podstawie metadanych. Dzięki uzyskaniu reprezentacji treści, która może zostać poddana indeksacji, możliwe stanie się wyszukiwanie materiałów na podstawie ich zawartości. Dotyczy to również tzw. muzykaliów, dla których wykonanie operacji OMR (ang. Optical Music Recognition) umożliwi uzyskanie symbolicznego zapisu muzycznego i konwersji do różnych formatów (np. MIDI), i tym samym stworzy nowe możliwości wyszukiwania treści muzycznych.

Zakończyła się weryfikacja i ocena wniosków projektowych złożonych w ramach Programu Operacyjnego Inteligentny Rozwój 2014-2020 działanie 4.2 4/4.2/2020 z pozytywnym skutkiem dla projektu „Cyfrowa Infrastruktura Badawcza dla Humanistyki i Nauk o Sztuce DARIAH- PL”.

Celem projektu jest utworzenie krajowej infrastruktury badawczej dla humanistyki i nauk o sztuce – zaawansowanej platformy służącej pozyskiwaniu, przechowywaniu, integracji różnych kategorii i jakości danych, przetwarzaniu oraz udostępnianiu zasobów cyfrowych 2D i 3D na potrzeby prowadzenia szeroko zakrojonych badań, a także zastosowań w gospodarce.
Członkowie grupy roboczej MIR należą również do konsorcjum realizującego projekt. Naszym celem w projekcie będzie rozwijanie metod i algorytmów eksploracji danych i odkrywaniu wiedzy w muzyce, ze szczególnym uwzględnieniem polskiej muzyki tradycyjnej, opartych na uczeniu maszynowym.

Jednym z obszarów tegorocznej edycji DARIAH Theme jest „Arts Exchanges”, w którym wspierane są inicjatywy mające na celu nawiązanie współpracy z artystami i zrozumienie ich potrzeb w odniesieniu do technologii jakie są przez nich wykorzystywane.

Nasza propozycja „Folk music groups: their artistic practice and infrastructural needs in the COVID-19 era and beyond” dotyczy zespołów artystycznych zajmujących się muzyką ludową. Chcemy we współpracy z tym środowiskiem ustalić z jakich narzędzi i usług korzystają artyści w swojej twórczości, zrozumieć ich potrzeby i ocenić czy istniejące zasoby są w stanie sprostać ich wymaganiom, czy też istnieje potrzeba tworzenia nowych.

Realizacja projektu rozpoczęła się 1 grudnia 2020 i potrwa 12 miesięcy.

Prototyp etnomuzykologicznego środowiska badawczego został zaprezentowany na międzynarodowej konferencji ACM/IEEE Joint Conference on Digital Libraries (JCDL). W artykule zatytułowanym „Digital Library Adaptation for Traditional Music and Content-Based Research: Polish Sound Archives and dLibra” przedstawiliśmy motywację oraz szereg wyzwań związanych z budową środowiska, jak również jego koncepcję i prototyp oraz plany dalszego rozwoju.

JCDL jest jedną z głównych światowych konferencji dotyczących bibliotek cyfrowych i związanych z nimi zagadnień technicznych, praktycznych i społecznych. W tym roku konferencja odbyła się w dniach 1-5 sierpnia w trybie wirtualnym. W ramach prezentacji przedstawiliśmy sposób w jaki oprogramowanie bibliotek cyfrowych dLibra zostało zaadaptowane do potrzeb treści muzycznych oraz przygotowane do integracji z zewnętrznymi modułami przeznaczonymi do przetwarzania takich treści. Prezentacja była podzielona na trzy części obejmujące stan polskich archiwów dźwiękowych w kontekście istniejących muzycznych bibliotek cyfrowych, adaptację systemu dLibra do potrzeb treści muzycznych oraz moduły do przetwarzania treści muzycznych – SoundScribe and WebEsAC.

W zeszłym roku mieliśmy możliwość zaprezentowania koncepcji wirtualnego środowiska dla naukowców badających różne aspekty muzyki tradycyjnej na konferencji DLfM w Paryżu. Od tego czasu na bazie oprogramowania bibliotek cyfrowych dLibra powstał prototyp tego środowiska pod nazwą MIRELA – Music Information Environment with dLibrA, który zaprezentowany zostanie społeczności badaczy w czasie tegorocznej edycji DLfM w Hadze.
Prezentacja obejmie prototypowe repozytorium treści zintegrowane z modułami przetwarzania danych oraz rezultaty testów przeprowadzonych z wykorzystaniem utworów muzyki ludowej oraz metadanych pochodzących z archiwów Instytutu Sztuki PAN.

Demonstracyjna wersja repozytorium MIRELI została udostępniona pod adresem: https://mir-wg.dariah.pl/repo/dlibra. Zawiera ona próbki utworów pochodzące ze zbiorów IS PAN oraz wyniki działania WebESaAC’a i SoundScribe’a – dwóch modułów do analizy utworów muzycznych zintegrowanych z dLibrą. Ze względu na prototypowy charakter repozytorium, dostęp to treści możliwy jest na razie tylko w trybie odczytu.

WebEsAC 2.0 oraz SoundScribe, aplikacje stworzone jako część cyfrowego środowiska dla badaczy pracujących ze zbiorami fonograficznymi, zostaną zaprezentowane w czasie konferencji DARIAH Annual Event 2019.  Tegoroczne  spotkanie ogólnoeuropejskiego konsorcjum DARIAH odbędzie się w dniach 15-17 maja w Warszawie. Motywem przewodnim spotkania będą zagadnienia dotyczące rodzaju i ilości danych gromadzonych przez humanistów.

Jako grupa robocza MIR, będziemy mieli okazję zaprezentować postępy prac nad stworzeniem cyfrowego środowiska dla badaczy pracujących ze zbiorami fonograficznymi. Koncepcja cyfrowego środowiska dla muzykologów zostanie przedstawiona w ramach sesji plenarnej  „Invited ignite talks”, a bardziej szczegółowa prezentacja będzie miała miejsce  w ramach sesji „Technical Solutions”.

Podstawę tworzonego środowiska stanowi prototypowe repozytorium MIR.  Obecnie trwają prace nad rozwojem narzędzi. Aplikacja WebEsAC, która umożliwia archiwizację i wyszukiwanie utworów polskiej muzyki tradycyjnej zapisanych w symbolicznej notacji EsAC, została wyposażona w funkcjonalność m.in.  kontroli dostępu użytkowników, walidacji poprawności zapisu melodii, ekstrakcji  skali, konwersji linii melodycznej na sekwencję interwałów oraz generowania statystyk dla zebranych melodii. SoundScribe umożliwia automatyczną transkrypcję melodii z pliku audio. Wyodrębniona z wykorzystaniem algorytmu pYIN melodia jest konwertowana na MIDI oraz zapisywana w postaci symbolicznej.

Pobierz Book of Abstracts