Zmiany infrastrukturalne w 2026r.

[pzygmunt]

Jak wiecie, ilość danych historycznych, jakie gromadzimy, liczona jest w miliardach rekordów. To stawia przed nami coraz to większe wyzwania infrastrukturalne. W związku z tym postanowiliśmy przeprojektować naszą infrastrukturę tak, by dane historyczne wydzielić do odrębnych, dedykowanych serwerów opartych o TimescaleDB, co pozwoli nam sprostać potrzebom naszych użytkowników.

Zmiana lokalizacji składowania tego typu danych pozwoli nam również na zwiększenie limitów czasowych tam, gdzie one występują, lub będziemy mogli pozbyć się ich całkowicie. Możliwe będzie również zwiększenie zakresu danych o kolejne rodzaje kanałów oraz wprowadzenie historii zdarzeń, takich jak np. zdarzenia włączenia, wyłączenia czy otwarcia.

Przygotowywaliśmy się do procesu migracji przez kilka miesięcy i chcemy wystartować z przeniesieniem danych już w najbliższych dniach.

Kolejne duże zadanie, jakie stoi przed nami w tym roku, to reinstalacja dużej części infrastruktury, co ma związek ze zbliżającym się końcem wsparcia w zakresie aktualizacji systemów operacyjnych. Reinstalacja infrastruktury rozpocznie się po migracji na TimescaleDB i powinna zakończyć się nie później niż 01.06.2026 r., czyli na trzy miesiące przed zakończeniem wsparcia dla systemów operacyjnych.

O szczegółach będziemy informować na forum.supla.org.

[vajera]

Jak wiecie, ilość danych historycznych, jakie gromadzimy, liczona jest w miliardach rekordów. To stawia przed nami coraz to większe wyzwania infrastrukturalne. W związku z tym postanowiliśmy przeprojektować naszą infrastrukturę tak, by dane historyczne wydzielić do odrębnych, dedykowanych serwerów opartych o TimescaleDB, co pozwoli nam sprostać potrzebom naszych użytkowników.

Zmiana lokalizacji składowania tego typu danych pozwoli nam również na zwiększenie limitów czasowych tam, gdzie one występują, lub będziemy mogli pozbyć się ich całkowicie. Możliwe będzie również zwiększenie zakresu danych o kolejne rodzaje kanałów oraz wprowadzenie historii zdarzeń, takich jak np. zdarzenia włączenia, wyłączenia czy otwarcia.

Przygotowywaliśmy się do procesu migracji przez kilka miesięcy i chcemy wystartować z przeniesieniem danych już w najbliższych dniach.

Kolejne duże zadanie, jakie stoi przed nami w tym roku, to reinstalacja dużej części infrastruktury, co ma związek ze zbliżającym się końcem wsparcia w zakresie aktualizacji systemów operacyjnych. Reinstalacja infrastruktury rozpocznie się po migracji na TimescaleDB i powinna zakończyć się nie później niż 01.06.2026 r., czyli na trzy miesiące przed zakończeniem wsparcia dla systemów operacyjnych.

O szczegółach będziemy informować na forum.supla.org.

images-1.jpeg

ps. to może KTXT przy okazji?

[pzygmunt]

KTXT ?

[[email protected]]

KTXT ?

Miał na myśli KTOP Kanał tekstowy ogólnego przeznaczenia

[pzygmunt]

Kiedyś i KTOP nadejdzie

[Duch__]

Czy w związku z pracami można się spodziewać jakiś przestojów w funkcjonowaniu usług supla? Pytam żeby poinformować moich klientów że mogą wystąpić problemy.

[pzygmunt]

Migracja na TSDB będzie niezauważalna. Reinstalacja serwerów już tak. Przed reinstalacją będziemy informować wcześniej o harmonogramie. Podczas reinstalacji szacujemy, że dany serwer nie będzie dostępny do 15 minut. Raczej będziemy celować w godziny nocne lub 9-12 jak jeszcze większość jest w pracy.

Cały proces jest zautomatyzowany.
Proces wygląda mniej więcej tak:
1. Podłączenie dysku.
2. Odcięcie wszystkich na fireall-u.
3. Backup danych na podłączony dysk (dane historyczne będą już na innym serwerze).
4. Format.
5. Instalacja nowego systemu (w rzeczywistości wgranie obrazu).
6. Instalacja usług i konfiguracja.
7. Odtworzenie danych z podłączonego w pkt 1 dysku.
8. Przywrócenie ustawień fireall-a.

Usługi będą niedostępnie od pkt 2 do 8. Wstępne testy pokazały, że i w 8 minut jesteśmy w stanie przeprowadzić ten proces ale wolę założyć 15.

[Duch__]

Może warto by dodać przy okazji funkcjonalność o usuwaniu logów starszych niż X lat, X miesięcy, X dni? Nie było by to dla was pewnego rodzaju ułatwieniem w zarządzaniu taką ilością danych? Użytkownik by decydował ile czasu chce mieć zachowane dane. Po co mi np. wilgotność powietrza sprzed 4 i więcej lat?

[pzygmunt]

Po przejściu na tsdb otwierają się nowe możliwości. Nie wiem czy taka retencja per user jest wskazana ponieważ chcielibyśmy aby pilnowała jej sama baza, a to jest tam ustawiane globalnie per tabela. Myślę jednak, że możemy pozwolić użytkownikowi samodzielnie usuwać dane w trybie manualnym. Np przycisk usuń dane starsze niż ….

[SOYER]

Może warto by dodać przy okazji funkcjonalność o usuwaniu logów starszych niż X lat, X miesięcy, X dni? Nie było by to dla was pewnego rodzaju ułatwieniem w zarządzaniu taką ilością danych? Użytkownik by decydował ile czasu chce mieć zachowane dane. Po co mi np. wilgotność powietrza sprzed 4 i więcej lat?

Bardzo dobry pomysł.