Wyszukiwanie w wątkach za pomocą AI, NotebookLM

[virgil]

Sporo wątków na forum jest bardzo rozległych (+100 stron) a opcja szukania w wątkach jest trochę jednak ograniczona i utrudnia to znalezienie odpowiednich informacji.

Wpadłem na pomysł aby wykorzystać https://notebooklm.google/. Można tam dodawać źródła i na nich operować, wypytywać, podsumowywać itd. Jednak wrzucanie każdej strony do źródeł po pierwsze limituje nas (w wersji free) do tylko do 50 stron a po drugie nie działa , zapewne dlatego że forum jest chronione przez Cloudflare.

I teraz pytanie do administratorów/developerów forum.

Czy byłaby szansa aby wprowadzić jakiś tryb forum dla LLM, dla przykładu w phpBB jest opcja aby dodać parametr `&view=print` w URL i może dałoby się to wykorzystać żeby było dużo więcej wiadomości na jednej stronie (albo nawet wszystkie) i dodatkowo aby ta wersja była dostępna bez Cloudflare.

A drugi sposób to jakaś opcja na po prostu pobranie całego wątku do pliku html/pdf/txt i wtedy dodanie jako źródła do NotebookLM. Ta opcja niestety nie będzie samoczynnie aktualizować źródeł, ale nadal jest to dobra opcja jak dla mnie.

Co o tym sądzicie?

[YoMan]

to raczej zamiast robić forum dla llm to prędzej dopiąć LLM'a do forum. Zamiast tej lupki, za pomocą której chyba jeszcze nic nie znalazłem
Obawiam się, że zasoby są zbyt skromne, żeby stawiać dedykowanego LLMa dla forum ale może kiedyś ...

[Gang]

Jestem za tym aby wpuścić llm

[klew]

Kto wie co i jak trzeba zrobić aby takie forum jakoś podłączyć pod llm?
Jakie są koszty puszczania tego typu zapytań przez llm?
Ktoś chciałby zrobić PoC?

[virgil]

Kto wie co i jak trzeba zrobić aby takie forum jakoś podłączyć pod llm?
Jakie są koszty puszczania tego typu zapytań przez llm?
Ktoś chciałby zrobić PoC?

Wydaje się po stronie z kosztami (zakładka Crawler https://www.algolia.com/pricing), że https://www.algolia.com/ ma dość spory darmowy plan. Można by wykorzystać tryb "crawlera", sam by indeksował wszystkie strony forum i nie trzeba ingerować zbytnio w kod forum. Jedyne co by było potrzebne to wrzucenie skryptu od Algolii na forum. Tylko to nie do końca jest pełnoprawny LLM. A no i trzeba pewnie dać jakiś wyjątek w cloudflare aby przepuszczał tego crawlera zawsze.

Inne podejście jakie AI mi podpowiedziało trochę nawiązując jednak do tego aby udostępnić w zjadliwej dla LLM formie dane z forum i wykorzystać np w NotebookLM, to aby zrobić dość prosty dodatek do phpBB który dodawał by nowy rodzaj dla parametru `view` w adresie URL. Może ekspertem w php nie jestem (tylko w JS) ale myślę że dałbym radę zrobić z tego jakiegoś PoC. Tylko nie widziałem kodu forum na github supli, tylko jakieś repozytorium do dodatków (?). Tutaj moja rozmowa z AI na ten temat: https://gemini.google.com/share/e87636b09d63