Só pra ficar registrado, não sei se os edits estão sendo federados corretamente, então o link pra versão mais atualizada tá aqui: https://lemmy.eco.br/comment/6300628
thes0ls
joined 2 years ago
Welp que eu acabei mesmo passando a limpo o meu script.
Aqui estou levando em conta que o matrix já está com a bridge rodando e o script vai cuidar só de espiar se chega mensagem de áudio.
Quem for usar, leia o código que eu botei uns comentários nos trechos que deve editar.
Testei só no meu próprio ambiente, então pode ser que tenha uma dependência ou outra que esqueci de anotar (nem lembro como que instalei o whisper, por exemplo).
A documentação do nio fica em aqui: https://matrix-nio.readthedocs.io/en/latest/index.html
# -*- coding: utf-8 -*-
import requests
import os
import re
import time
import whisper
import asyncio
import json
from nio import AsyncClient, MatrixRoom, RoomMessageText, RoomMessageAudio, Api
# whisper requer o ffmpeg:
# sudo apt update && sudo apt install ffmpeg
# E no virtualenv do seu python, os requisitos provavelmente são:
# pip install asyncio openai-whisper matrix-nio
# Analisar o restante do script e substituir os valores do room_id na função audio_callback pelos da sua instância
# ------------------------------------------------
# Credenciais do login. Pegar os dados da response:
# curl -XPOST -d '{"type":"m.login.password", "user":"NOMEDOUSUARIO", "password":"SENHADOUSUARIO"}' "https://matrix.zzz/_matrix/client/r0/login"
CONFIG_FILE = "matrix-credentials.json"
if not os.path.isfile(CONFIG_FILE):
f = open(CONFIG_FILE, 'w')
f.write('{"user_id":"@usuario:matrix.zzz","access_token":"abc123","home_server":"https://matrix.zzz","device_id":"ABCD"}')
f.close()
print('Preencha as credenciais...')
exit()
# Este arquivo é usado pro script ignorar mensagens anteriores a data dele
lastruntime='matrix.time.txt'
if not os.path.isfile(lastruntime):
f = open(lastruntime, 'w')
f.write("0")
f.close()
# Pasta onde ficarão salvos os áudio temporários
if not os.path.isdir("matrixtemp"):
os.mkdir("matrixtemp")
with open(CONFIG_FILE, "r") as f:
config = json.load(f)
client = AsyncClient(config["home_server"])
client.access_token = config["access_token"]
client.user_id = config["user_id"]
client.device_id = config["device_id"]
async def matrix_message(text, room_id, server_timestamp, in_reply_to = 0):
event_type="m.room.message"
msgtype="m.text"
if in_reply_to == 0:
content = {
"msgtype": msgtype,
"body": cleanhtml(text),
"format": "org.matrix.custom.html",
"formatted_body": text
}
else:
content = {
"m.relates_to": {"m.in_reply_to": {"event_id": in_reply_to } },
"msgtype": msgtype,
"body": cleanhtml(text),
"format": "org.matrix.custom.html",
"formatted_body": text
}
await client.room_send(
room_id,
message_type="m.room.message",
content=content,
ignore_unverified_devices=True,
)
f = open(lastruntime, "w")
f.write(str(server_timestamp))
f.close()
CLEANR = re.compile('<.*?>')
def cleanhtml(raw_html):
cleantext = re.sub(CLEANR, '', raw_html)
return cleantext
async def audio_callback(room: MatrixRoom, event: RoomMessageAudio) -> None:
# Aqui os chats que podem receber a transcrição na própria conversa.
# Pra pegar o id, no Element, clique direito na sala, Settings > Advanced > Internal room ID
permitidos=[
"!AsasasASas:matrix.zzz",
"!Idasasas:matrix.zzz"
]
if room.room_id in permitidos:
room_id = room.room_id
event_id = event.event_id
else:
room_id = "!BHBhbHBHbhb:matrix.zzz" # Aqui especifica o room_id do chat que vai receber fora dos permitidos acima
event_id = 0
sender = event.source['sender']
lastrun = open(lastruntime, "r")
lastrun = lastrun.read()
if event.server_timestamp > int(lastrun):
print(vars(room))
print(event)
dllink = Api.mxc_to_http(event.source['content']['url'])
print(dllink)
filename = os.path.basename(dllink)+".ogg"
filepath = "./matrixtemp/"+filename
r = requests.get(dllink)
print(r.status_code)
with open(filepath, 'wb') as f:
f.write(r.content)
print("iniciando openai/whisper")
start = time.time()
model = whisper.load_model("medium")
whisperconfig="bs3" #def p2bs5 bs3 bs2
if whisperconfig == "p2bs5":
result = model.transcribe(filepath, language="pt", fp16=False, verbose=True, patience=2, beam_size=5) #580 segundos
if whisperconfig == "def":
result = model.transcribe(filepath, language="pt", fp16=False, verbose=True) #56 segundos
if whisperconfig == "bs3":
result = model.transcribe(filepath, language="pt", fp16=False, verbose=True, beam_size=3) #181 segundos
if whisperconfig == "bs2":
result = model.transcribe(filepath, language="pt", fp16=False, verbose=True, beam_size=2) #136 segundos
end = time.time()
tempogasto = int(end - start)
print("Conluido, tempo gasto: "+ str(tempogasto))
text = result["text"]
await matrix_message("<b>Transcrição:</b><br/><br/>"+sender+":<br/> "+text, room_id, str(event.server_timestamp), event_id)
async def main() -> None:
client.add_event_callback(audio_callback, RoomMessageAudio)
await client.sync_forever(timeout=30000) # milliseconds
asyncio.run(main())
EDIT:
2024-03-27 21h50: Corrigi um erro de copicola logo depois do if not os.path.isfile(CONFIG_FILE):.
Hahah, tá no meio de um script enorme que eu também uso pra fazer o mirror das outras mensagens. Qualquer coisa alguma hora eu vejo se tento isolar só isso, mas pra dar um início seria:
Um script python com nio, que serve pra conectar no servidor, logar na conta e ficar espiando as mensagens que vão chegando.
Quando ele encontrar uma mensagem de áudio, eu faço ele baixar o arquivo numa pasta local e depois eu rodo o whisper hospedado localmente pra fazer a transcrição.
Depois com o resultado, eu tenho duas opções, enviar de volta o áudio para o mesmo chat, ou enviar pra um chat privado só comigo. Quando é com alguém chegado, eu envio pro mesmo chat, já o restante eu faço vir em separado.
Inicialmente eu usava o sr*, mas se a pessoa tinha um pouco de sotaque, o reconhecimento não funcionava legal.
Com o whisper o resultado é bem melhor, porém é bem mais pesado e demora um tanto pra transcrever. Um áudio de 30 segundos leva uns 3~4 minutos. Mas se a pessoa quis economizar o tempo dela enviando em audio, não deve se importar de esperar uns 5 minutos pra receber uma resposta do outro lado... hahah
*EDIT: Uma correção, o meu script também tava com o tesseract sendo usado em outro trecho, por isso eu confundi, mas a parte do audio era usando o SpeechRecognition. Foi mals. EDIT
O problema é que é totalmente aleatório. Ontem às 22h tava comendo os 35% de novo. Reiniciei o container e tá até agora rodando bonitinho consumindo de 1% pra baixo.
No dendrite eu não tinha notado esses problemas.
alias gastou quanto pra criar servidor doméstico?
Um fornecedor do meu irmão tava se desfazendo de equipamentos antigos e peguei um "HP Prodesk 600 Slim", acho que um i5 e 8gb de ram e um hdd mecânico de 500GB por uns R$600.
Só botei mais uns pentes de memória que eu tinha sobrando aqui e um ssd, que também tinha de sobra.
EDIT:
Btw, não sei se é bug, mas só consegui fazer o upload da imagem pela interface normal, tentando pelo old.lemmy só retornava erro.
Tenho feito selfhost de uma instância do matrix desde o ano passado.
A ideia era criar um mirror do grupo de trabalho do telegram (que vinha sendo ameaçado de bloqueios na época) e migrar pro matrix caso fosse necessário.
No fim, o meu provedor "esqueceu" de bloquear o telegram e acabou dando em nada.
Assim o matrix continuou só como um mirror e aproveitei para botar uma bridge do meu whatsapp pessoal lá, principalmente pra deixar rodando um script pra transcrever as mensagens de áudio que eu recebo e agora não consigo mais ficar sem isso.
Na época eu tinha optado por usar o Dendrite, que dizia ser uma versão mais enxuta do que o Synapse (que é o servidor padrão). Tava tudo redondo, até que recentemente as bridges foram atualizadas e passaram a precisar da api versão 1.4, mas o Dendrite meio que estagnou e tá empacado na api 1.2 ainda.
Então tentei instalar o Synapse aqui, mas aleatoriamente ele começa a comer 35% da CPU (de um i5-4590). Se eu reiniciar o container dele, normaliza por um tempo, mas depois de algumas horas volta a pesar de novo.
O próximo passo vai ser testar o Matrix Conduit pra ver :|
Ia dizer que é o que eu uso, mas na verdade é outro fork.
No PC eu tenho o KeePassXC (em conjunto com o addon KeePassXC-Browser do firefox). E no android eu tenho o Kepass2Android Offline, que eu uso como read-only.
E pra sincronizar do pc pro android uso Syncthing.
Livros da outra loja que vende digitais no Brasil, a Kobo, também precisam ter a proteção quebrada. Nesse caso, a obtenção dos arquivos *.epub protegidos é meio chata e envolve baixar o Adobe Digital Editions
Não sei como é nos outros sistemas operacionais, mas no Windows, ao se instalar o cliente da própria Kobo e depois no Calibre instalar o plugin obok (que tá no pacote do noDRM/DeDRM_tools), o plugin vai listar todos os seus ebooks baixados e permite importar diretamente pra biblioteca do calibre já removendo a proteção com um único clique.
Recomendo fortemente um jailbreak e depois instalar o KOReader.
Uso em conjunto com um servidor opds (que permite baixar os livros que estão no meu servidor direto do aparelho, no meu caso uso o Komga, mas tem vários que conseguem usar o banco de dados do próprio calibre) e um sincronizador de progresso de leitura (uso o myelsukov/koreader-sync).
Dessa forma, basta eu também instalar o KOReader no celular, que quando for enfrentar alguma fila inesperada, consigo continuar a leitura mesmo longe do ereader. E quando voltar para o ereader, ele vai sincronizar de onde eu parei de ler no celular.
Hey, thanks for the Audiobookshelf recommendation!
Recently I was looking for a audiobook player and Smart Audiobook Player was the best I found, but Audiobookshelf have almost all of the functions I liked like simultaneous dual timeline bar (one for the whole book and another for the current chapter), auto sleep, shake to reset sleep and so on. Just missed the small beep alert before the audio fade out on sleep.
Anyway, and all of this with the advantage of using my already selfhosted data, so no need to keep transferring files manually to the device. And all the progress are synced back to my homeserver, so I can use multiple devices without any problems.
Como o projeto é opensource, agora fica nas mãos de quem quiser continuar (e que não está na mira da empresa coreana). Muito respeito e agradecimento ao pessoal que pavilhou o caminho até aqui.
Pelo que procurei, dos forks já existentes:
-
O SY não planeja parar.
-
O AZ planeja continuar como já estava antes, sem intenção de implementar nada novo mas arrumar qualquer coisa que se quebrar com o tempo.
-
O J2K, que é o que eu uso, ainda é uma incógnita pois nem implementou as extensões externas.
-
E por fim, Mihon (ainda sem link), vai se propor a ser o sucessor do tachi original (já que os forks acima são versões modificadas), sendo encabeçado por um dos contribuidores do projeto original.
O eBooks e Textos da seção de livros pra dl tá apontando pra busca na ordem dos mais visualizados na semana, mas não seria mais interessante ordenar para a ordem de adicionados recentemente (archive.org/details/texts?sort=-publicdate&and[]=language%3A"Portuguese")?
Pois assim dá pra se descobrir muito conteúdo interessante que acabaria ficando escondido no meio da enorme biblioteca, e a cada vez que visitar pode acabar encontrando uma coisa diferente.
Abri aqui o link da ursal.zone e vários comentários do mastodon não apareceram aqui no lemmy, então vamos ver se pelo menos a resposta chega.
@fbobraga@mastodon.social
A bridge que eu uso não feita pelo próprio matrix, mas sim do maunium, que imagino que foi feito caçando as chamadas da api mesmo.
Parece que algo similar tem para o xmpp também: https://slidge.im/slidge-whatsapp/
Tenho fibra 600mbps, mas a maioria do que eu faço selfhost é pra uso pessoal e acaba sendo usado mais na rede local mesmo.
Falha minha. Fui caçar os scripts antigos aqui e ele também tinha o tesseract logo antes, mas na verdade era o sr. O tesseract de fato tava lá só pra lidar com imagens.
@noherotoots@ursal.zone
É um script em python, que roda como se fosse um app/client normal. No caso ele fica rodando de fundo o tempo todo no computador.
EDIT:
E pelo jeito eu falhei em como usar as mentions :v