O repozytorium i jego politykach

Infrastruktura badawcza CLARIN-PL jest polskim węzłem europejskiej infrastruktury zasobów i technologii językowych CLARIN ERIC. Jedną z jej usług jest repozytorium zasobów i narzędzi językowych CLARIN-PL.

Platformę repozytorium utrzymuje personel Politechniki Wrocławskiej, a infrastruktura sprzętowa znajduje się we Wrocławskim Centrum Sieciowo-Superkomputerowym. Stosujemy trwałe identyfikatory, federacyjne uwierzytelnianie i autoryzację oraz ustrukturyzowane, standardowe i dostępne formaty metadanych.

Polityki opisują zasady ochrony zbiorów danych, metadanych i integralności danych. Uzupełniają polityki bezpieczeństwa informatycznego i sieciowego PWr oraz WCSS, a także wdrażają dobre praktyki i standardy CLARIN oraz CoreTrustSeal.

Repozytorium obsługuje m.in. OAI-PMH, OAI-ORE, ELG, MODS, METS, OAI_DC, DIM, HTML, OAI_MetashareV2, OLAC, BibTeX i CMDI. Pozwala to zarówno na ogólne wyszukiwanie, jak i dziedzinowy opis oraz ponowne wykorzystanie zasobów.

• Identyfikacja endpointu OAI-PMH
• Lista formatów OAI-PMH

Polityki repozytorium służą:

• zapewnieniu użyteczności i dostępności danych zgodnie z zasadami FAIR;
• utrzymaniu ścieżki pozyskania, publikacji i archiwizacji metadanych oraz danych;
• zapewnieniu kompletnych i prawidłowych metadanych umożliwiających odnalezienie zbioru;
• egzekwowaniu licencji i wynikających z nich ograniczeń;
• ochronie jakości oraz integralności zbiorów środkami fizycznymi i cyfrowymi.

Misja CLARIN

Nadrzędnym celem CLARIN ERIC jest rozwój badań w humanistyce i naukach społecznych przez jednolity dostęp typu single sign-on do europejskiej platformy integrującej zasoby językowe i zaawansowane narzędzia. Cel jest realizowany przez budowę i eksploatację wspólnej, rozproszonej infrastruktury udostępniającej zasoby, technologie i wiedzę ekspercką szerokiej społeczności badawczej.

Więcej informacji zawiera krótki przewodnik po CLARIN.

Misja CLARIN-PL

Repozytorium „CLARIN-PL Centre” udostępnia zasoby i narzędzia językowe Politechniki Wrocławskiej, Katedry Sztucznej Inteligencji oraz innych członków CLARIN-PL. Jego misją jest:

• promowanie wiedzy o języku polskim i jego użycia przez prowadzenie naukowych badań stosowanych;
• stymulowanie i koordynowanie naukowego opisu polskiego słownictwa i gramatyki we wszystkich aspektach i okresach;
• tworzenie, łączenie i udostępnianie historycznych i współczesnych korpusów, słowników, cyfrowych baz leksykalnych, gramatyk oraz powiązanych narzędzi.

Oficjalny dokument misji CLARIN-PL jest dostępny w języku angielskim.

Etyka danych repozytorium

W możliwym zakresie dbamy, aby dane były tworzone, opracowywane, udostępniane i wykorzystywane zgodnie z normami dyscyplinarnymi i etycznymi. Podstawowe reguły dostępu oraz użycia określają Warunki korzystania.

Dane są udostępniane na licencji przypisanej do zasobu. W publikacjach użytkownik musi wskazać zdeponowane dzieło za pomocą trwałego identyfikatora, jego pierwotnych autorów lub twórców oraz wydawcę, jeśli ma zastosowanie. Pełne zasoby nie mogą być masowo pobierane przez roboty poza przejściowym indeksowaniem pełnotekstowym lub analizą cytowań ani sprzedawane bez zgody właścicieli praw, chyba że licencja wyraźnie na to zezwala.

Podczas zgłaszania deponent potwierdza, że ma prawo rozpowszechniać dane oraz upoważnić repozytorium do ich dystrybucji. Obejmuje to wcześniejsze rozwiązanie kwestii prawnych dotyczących materiału.

Polityka prywatności

Informacje o zarządzaniu danymi osobowymi zbieranymi przez repozytorium i usługi CLARIN-PL znajdują się w polityce ochrony danych Politechniki Wrocławskiej. Pytania można kierować do zespołu repozytorium.

Polityka cytowania danych

Zasady cytowania danych z repozytorium opisuje strona Jak cytować zasoby. Rekordy często wskazują publikacje opisujące dane bardziej szczegółowo. Dla adresów tych publikacji zdecydowanie zalecamy trwałe identyfikatory, np. DOI, o ile są dostępne.

Umowy licencyjne i kontrakty

CLARIN-PL rozróżnia trzy rodzaje uzgodnień:

• każdy depozyt podlega standardowej umowie depozytowej, która określa prawa i obowiązki stron oraz potwierdza prawo deponenta do przekazania danych;
• każda osoba pobierająca dane podlega licencji przypisanej do zasobu; pobranie danych chronionych wymaga uwierzytelnienia i elektronicznej akceptacji licencji — zobacz listę licencji;
• w uzasadnionych przypadkach deponent może uzgodnić licencję niestandardową podczas procesu zgłaszania.

Kwestie prawne dotyczące danych źródłowych

Deponent podpisuje umowę depozytową, potwierdzając prawo do przekazania danych i udzielając repozytorium prawa do ich dystrybucji. Odpowiada więc za rozwiązanie kwestii własności intelektualnej przed publikacją danych lub narzędzi.

Redaktorzy analizują szczególnie prawa autorskie do tekstów źródłowych, ochronę danych osobowych na podstawie polskich przepisów i RODO oraz warunki platform, z których pozyskano materiał. W razie wątpliwości mogą zażądać wyjaśnień, odmówić publikacji albo uzgodnić specjalną licencję. Możliwe środki ograniczania ryzyka obejmują publikację próbek, zmianę kolejności zdań lub anonimizację danych za pomocą narzędzi rozpoznawania jednostek nazewniczych.

W Polsce prawa do tekstów źródłowych reguluje ustawa o prawie autorskim i prawach pokrewnych, a ochronę danych osobowych — ustawa o ochronie danych osobowych wraz z RODO. Przy ocenie uwzględniamy również dobro publiczne wynikające z udostępnienia zbioru. Dla danych pozyskanych z mediów społecznościowych analizujemy ponadto regulaminy platform źródłowych.

Jeżeli szczególne warunki prawne na to pozwalają, można przygotować licencję właściwą dla konkretnego zasobu. We współpracy z deponentem można też przekształcić materiał w sposób zmniejszający ryzyko: udostępnić próbki zamiast pełnych utworów, przestawić zdania z zachowaniem informacji językowej lub automatycznie wykryć i zastąpić dane osobowe. Ma to znaczenie m.in. dla realizacji prawa do bycia zapomnianym w korpusach zawierających starsze teksty prasowe.

Misją repozytorium jest szerokie udostępnianie danych, dlatego dominują zasoby otwarte, zwłaszcza na licencjach Creative Commons. Dane poufne lub niosące ryzyko ujawnienia, którego nie można ograniczyć, nie są przyjmowane do publikacji publicznej. W kwestiach złożonych korzystamy również z wiedzy CLARIN Legal and Ethical Issues Committee.

Komitet CLARIN ds. zagadnień prawnych i etycznych, w którego pracach uczestniczy CLARIN-PL, prowadzi także szkolenia dotyczące zgodnego z prawem i etycznego zarządzania danymi tekstowymi oraz ich rozpowszechniania.

Polityka metadanych

Zdeponowana treść musi mieć wystarczające metadane opisujące zawartość, pochodzenie i formaty, aby umożliwić ochronę i rozpowszechnianie. Metadane są dostępne bez ograniczeń i przekazywane do domeny publicznej na zasadach CC0. Prosimy o poinformowanie Helpdesku o ich komercyjnym wykorzystaniu wraz z opisem przypadku użycia.

Polityka ochrony cyfrowej

CLARIN-PL zobowiązuje się do długoterminowej opieki nad zasobami przyjętymi do repozytorium i stosowania aktualnych dobrych praktyk ochrony cyfrowej. Centrum zapewnia ochronę i dostęp tak długo, jak dostępne jest odpowiednie finansowanie.

Integralność i autentyczność danych

Zasoby deponują zarejestrowani i uwierzytelnieni użytkownicy albo redaktor działający w porozumieniu z deponentem. Od utworzenia rekordu zachowujemy informacje o pochodzeniu. Po zatwierdzeniu dane i metadane mogą zmieniać wyłącznie uprawnieni administratorzy. Szczegóły opisuje cykl życia zasobu.

Tożsamość użytkownika jest potwierdzana przez instytucję akademicką należącą do federacji tożsamości albo przez uzgodnione konto lokalne. Każdy zasób pozostaje powiązany z kontem producenta danych, a historia operacji pozwala ustalić, kto i kiedy wykonał daną zmianę.

Redaktorzy sprawdzają kompletność metadanych, dostępność i trwałość formatów, integralność i jakość danych oraz ryzyka prawne. Okresowe kontrole obejmują sumy kontrolne, obecność wymaganych metadanych i działanie adresów URL. Opublikowane dane są niezmienne; istotna zmiana wymaga nowej wersji z nowym PID i relacją do wersji wcześniejszej. Drobne korekty metadanych i uzasadnione dodatkowe formaty są rejestrowane w metadanych proweniencji.

Narzędzia wspierają redaktorów m.in. w kontroli adresów URL i walidacji metadanych. Automatyczne raporty z cyklicznych kontroli integralności są przekazywane zespołowi repozytorium. Dodanie pliku po publikacji jest dopuszczalne tylko w określonych sytuacjach, np. gdy społeczność potrzebuje tych samych danych w dodatkowym formacie, i nie może zacierać znaczenia istniejącego PID.

Odpowiedzialność personelu repozytorium

Funkcje administracyjne są dostępne wyłącznie dla upoważnionych pracowników o zdefiniowanych rolach. Redaktorzy znają politykę ochrony, proces deponowania, wymagania metadanych i formatów, zasady jakości, integralności, prawa i licencjonowania.

Każdy pracownik utrzymujący repozytorium lub obsługujący jego codzienne działanie zna niniejsze polityki i odpowiada za ich realizację w granicach swojej roli. Uprawnienia administracyjne są przyznawane według zasady niezbędnego dostępu.

Ciągłość operacyjna i odtwarzanie po awarii

Chronione komponenty obejmują pliki zasobów, metadane, oprogramowanie i konfigurację repozytorium, systemy operacyjne wraz z logami oraz eksportowane kopie konfiguracji i baz danych. Obrazy systemów są zabezpieczane przed zmianami, pliki danych kopiowane niezależnie, a bazy regularnie eksportowane i replikowane mechanizmem odrębnym od kopii maszyn.

Poszczególne komponenty mają odrębne mechanizmy bezpieczeństwa i kopii zapasowych. Przed zmianami konfiguracji lub aktualizacjami wykonywany jest punkt odtworzenia systemu, a obrazy są regularnie replikowane do lokalizacji wtórnej. Pliki zasobów są zabezpieczane jako niezależne obiekty. Bazy danych są codziennie eksportowane, a eksporty przechowywane i replikowane niezależnie od kopii systemu operacyjnego.

Infrastruktura WCSS zapewnia bezpieczeństwo sieci, monitoring brzegowy, zapory, rejestrowanie zdarzeń i ocenę zagrożeń. Magazyn danych wykorzystuje redundancję, migawki i kopie w odrębnej lokalizacji. Oprogramowanie oraz konfiguracja są wersjonowane w Git, aktualizacje najpierw testowane, a procedury odtworzenia obejmują możliwość uruchomienia usługi w innym środowisku.

Repozytorium działa na rozwijanej w otwartym modelu platformie CLARIN-DSpace, opartej na DSpace i modelu referencyjnym OAIS. Wdrożenie jest utrzymywane w zwirtualizowanym środowisku o podwyższonej dostępności. Osobna instancja testowa służy do weryfikacji cykli aktualizacji przed zmianą produkcji.

Warstwa składowania wykorzystuje redundancję sprzętową, migawki wersjonowane, replikację i kopie zapasowe. Pliki DSpace są przechowywane na zarządzanym wolumenie sieciowym i replikowane na inny serwer, a metadane repozytorium znajdują się zarówno w produkcyjnej bazie PostgreSQL, jak i w postaci tekstowych zrzutów zgodnych z odtwarzaniem.

Aktywne maszyny wirtualne repozytorium i usług powiązanych są klonowane lub obejmowane migawkami regularnie, a w szczególności przed zmianami konfiguracji. Serwery zapasowe pozwalają przenieść usługę po awarii infrastruktury podstawowej. Kopie obrazów maszyn, plików i eksportów baz trafiają do systemu w innej lokalizacji; kopie plikowe i kopie obrazów korzystają z różnych implementacji, aby ograniczyć pojedyncze punkty awarii.

Procedury kopii wykorzystują sumy kontrolne i automatyczny monitoring. Obejmują także test kompletnego odtworzenia usługi w innym środowisku oraz możliwość przeniesienia wszystkich zbiorów do innej instancji platformy CLARIN-DSpace.

Plan ochrony danych repozytorium

Dokumentację planu ochrony można uzyskać przez Helpdesk. Na podstawie umowy depozytowej CLARIN-PL może kopiować, przekształcać i przechowywać dane oraz zapewniać do nich dostęp.

Funkcja ochrony obejmuje przyjęcie przekazanego zbioru, jego zapis, archiwizację oraz utrzymanie dostępności i użyteczności dla społeczności badawczej.

Ochrona obejmuje zachowanie bitowe, czyli kontrolę integralności danych i metadanych mimo zmian nośników, oraz ochronę funkcjonalną, m.in. migrację formatów. Proces jest zgodny z modelem OAIS. Preferujemy otwarte, udokumentowane, sprawdzalne i tekstowe formaty, a przy digitalizacji sygnału — formaty bezstratne lub bez kompresji. Zalecenia formatów są dostępne w CLARIN Standards Information System.

W fazie przyjęcia interfejs prowadzi deponenta przez logiczne kroki: przesłanie danych, wybór zalecanych formatów, informacje prawne wraz z zaakceptowaniem umowy dystrybucyjnej oraz dobór odpowiedniego modelu licencjonowania. Redaktor sprawdza wszystkie przekazane informacje, w tym wybór formatów, i może poprosić o uzupełnienia.

Ogólną zasadą repozytorium jest niedopuszczanie do usuwania metadanych istotnych dla długoterminowej ochrony. Metadane zasobu pozostają publiczne, a wszystkie zmiany wykonywane przez deponentów i redaktorów są rejestrowane w proweniencji. Rozbudowane raporty okresowe pomagają identyfikować problemy z kompletnością, integralnością i trwałością.

Dane językowe mogą łączyć tekst, mowę i wideo oraz złożone warstwy anotacji. Dlatego wybór formatu uwzględnia nie tylko otwartość standardu, lecz również dokumentację, możliwość walidacji, dojrzałość narzędzi i charakter danych. Każdy zasób i jego metadane otrzymują PID, a metadane można udostępnić jako samodzielny, czytelny dla człowieka dokument XML.

Personel regularnie kontroluje kompletność metadanych i sumy kontrolne, przegląda raporty oraz aktualizuje procedury. Bierze udział w pracach komitetów CLARIN dotyczących centrów technicznych, prawa i etyki, standardów oraz zaangażowania użytkowników, a także śledzi rozwój platformy CLARIN-DSpace i praktyk ochrony zasobów językowych.

Zespół techniczny i redakcyjny pozostaje w kontakcie z twórcami platformy przez repozytoria kodu i kanały robocze, zgłasza problemy, proponuje ulepszenia oraz uczestniczy w rozwoju standardów kodowania zasobów językowych. Członkowie zespołu regularnie biorą udział w konferencjach i warsztatach poświęconych zasobom językowym, w tym Language Resources and Evaluation Conference, aby śledzić rozwój dziedziny.

Ciągłość dostępu

Finansowanie Centrum Technologii Językowych CLARIN-PL na lata 2024–2026 zapewniło Ministerstwo Nauki i Szkolnictwa Wyższego w trzyletnim modelu projektowym. Pozytywna ocena jest ważnym elementem przedłużenia projektu. W razie wstrzymania finansowania Politechnika Wrocławska jako właściciel infrastruktury ma obowiązek zagwarantować zarządzanie i utrzymanie centrum; potwierdza to dokument przyjęcia środka trwałego nr ST-011341 z 29 grudnia 2023 r.

CLARIN-PL uzyskał również finansowanie europejskie na lata 2025–2027 w programie FENG.02.04-IP.04 0004/24. Umowa grantowa przewiduje pięcioletni okres trwałości po zakończeniu projektu, obejmujący lata 2028–2033. Za ciągłość organizacyjną repozytorium odpowiada Katedra Sztucznej Inteligencji Wydziału Informatyki i Telekomunikacji Politechniki Wrocławskiej.

Warunki korzystania

Korzystając z danych lub usług repozytorium, użytkownik zgadza się przestrzegać Warunków korzystania oraz licencji przypisanej do zasobu. W publikacjach musi wskazać zdeponowane dzieło za pomocą PID, jego twórców i wydawcę, jeśli ma zastosowanie.

Jeśli do zasobu nie przypisano licencji, dane są dostępne do przeglądania, drukowania i pobierania na potrzeby niekomercyjnych badań lub prywatnej nauki. Pełnych zasobów nie wolno masowo pobierać przez roboty poza przejściowym indeksowaniem pełnotekstowym lub analizą cytowań ani wykorzystywać komercyjnie bez odpowiedniej podstawy licencyjnej.

W przypadku wykrycia naruszenia licencji lub warunków przez zalogowanego użytkownika operator może wyjaśnić sprawę z pomocą dostawcy tożsamości, skontaktować się z właścicielem danych, deponentem i osobą odpowiedzialną za naruszenie oraz tymczasowo ograniczyć dostęp do usługi lub określonych danych do czasu zakończenia postępowania.