Tô fazendo meu trabalho de conclusão de curso em cima do fediverse, e meus orientadores recomendaram crawlear as redes pra fazer algumas análises. Como entendo que tá todo mundo meio ferrado com esses scrappers pra GPTs da vida, queria saber se isso seria okay pelos admins e qual seria a forma mais "respeitosa" de coletar esses dados sem gerar custos pro hosting.

you are viewing a single comment's thread
view the rest of the comments

[–] bunitor 2 points 1 week ago (1 children)

primeiro de tudo: isso não teria que passar por conselho de ética não?

fora isso, a rigor, o que é público é público e ninguém pode te impedir de salvar o que quiser. mesmo assim, é de bom tom conseguir o consentimento de quem for afetado por esse scraping e deixar claro qual é o uso. muita gente pode se sentir exposta de ter todas suas conversas aleatórias salvas em um grande banco de dados. já fizeram coisa como um banco de dados público de busca por posts no fediverso inteiro e foi rechaçado com força.

seria de melhor tom ainda se você pedisse permissão para coletar os dados (opt-in) em vez de remover quem pedir (opt-out).

[–] r2castro 2 points 1 week ago (1 children)

Esse opt-in seria a nível de instância ou de usuário? Acho que de usuário seria bem restritivo. Mas de toda forma, nada do que eu pretendo fazer necessitará a divulgação do banco de dados (eu espero). As análises serão todas feitas in-loco e agregadas preservando a privacidade de indivíduos. Mas ótimas pontuações, vou tentar conversar com meus orientadores sobre isso.

[–] bunitor 1 points 6 days ago

tenta fazer o melhor que possível que ainda seja factível