Raderack

joined 1 month ago
MODERATOR OF
[–] Raderack 2 points 3 weeks ago

Nah, for me it's simple, but I'm saying that due to having instances and servers more for the self-hosting scheme, the moderation is very efficient. Well on Mastodon at least it is, I've never had any problems here, to test this

[–] Raderack 1 points 3 weeks ago

Hmm, my block list is going to fill up..again..so sad.

 

cross-posted from: https://sh.itjust.works/post/29818490

Personally it would be claymore, often hailed as a female centric berserk.
A story about the lowest class of a generation of engineered superhuman woman fighting monsters to save humanity.
The art gets better and better as it goes on, with stunning panels everywhere(example below). The intrigue struggle and strive the characters go through is a stellar example of simple yet effective storytelling.

[–] Raderack 7 points 3 weeks ago (1 children)

A little bit of my mental health, here is to learn new things, relax... life is already stress-free. Normal life

[–] Raderack -1 points 3 weeks ago (2 children)

Hmm, invaders of that place? Which community are they in so I can avoid them..

[–] Raderack 2 points 3 weeks ago

Hmm,vo testar ele Valeu ai

 

Well, to sum up the story, I was part of a community on Reddit that was extremely poorly moderated, but also because most of the users were very rude, right? And that blessed system of Karma, created a separation of classes between them, you understand, which is ridiculous. But since it is a very controlled and moderate environment, and the intellectual level of the people here is much higher, I'm thinking about recreating this group. What kind of rules should I put in the description to avoid confusion?

1
The actual situation (self.Characterai)
submitted 3 weeks ago* (last edited 3 weeks ago) by Raderack to c/Characterai
 

****The current situation of the character, we are currently suffering from the limitations of the filter, not to mention the new rules that will impose punishments on all users and, apart from taking into account their rules, it limits us.

#c.ai #characterai #ia

[–] Raderack 1 points 3 weeks ago

Tudo depende de como e usada né,as ia de roleplay e coding dao otimos resultados.

[–] Raderack 3 points 3 weeks ago

Bem falado,vou dar uma olhada então. Mas e que andam fazendo data mining no gifhub né,"eu acho" ate o copilot deu uma melhorada,em suporte de coding

[–] Raderack 2 points 3 weeks ago (1 children)

Tudo de bom,ai

༼ つ ◕_◕ ༽つ

 

🚀 Notícias Tecnológicas Recentes 🚀

  1. Anatel e Emergências: A Anatel, em parceria com operadoras de telefonia, Google e Apple, lançou uma tecnologia inovadora para o atendimento emergencial no Brasil43dcd9a7-70db-4a1f-b0ae-981daa162054. Agora, a localização dos usuários de smartphones Android e iOS pode ser enviada automaticamente durante chamadas de emergência para números como 190 (polícia), 192 (SAMU) e 193 (bombeiros)noticia.

  2. Moto G15 e G05: A Motorola lançou os novos Moto G15 e G05 no Brasilnoticia. Ambos vêm com o sistema Android 15 e o processador Helio G81 Extreme da MediaTek, além de uma bateria robusta43dcd9a7-70db-4a1f-b0ae-981daa162054.

  3. Educação 5.0: Novas tecnologias estão transformando a educação no Brasilnoticia. Ferramentas como inteligência artificial, análise de dados e IoT estão promovendo a transição para a Educação 5.0, que combina tecnologias digitais com o desenvolvimento de competências socioemocionais e éticasnoticia.

  4. Bitcoin em Alta: O Bitcoin continua em alta e bateu um novo recorde, ultrapassando a barreira dos R$ 640 milnoticia. A criptomoeda está em alta em 2024, com medidas futuras anunciadas por Donald Trumpnoticia.

  5. Elon Musk e IA: O governador de São Paulo, Tarcísio de Freitas, publicou uma imagem no Instagram ao lado de Elon Musk, mas a foto foi gerada por inteligência artificialnoticia.

  6. HDMI 2.2: O consórcio responsável pela conexão HDMI revelou que a próxima geração, HDMI 2.2, será anunciada na CES 2025 com mais velocidadenoticia.

  7. Direitos de Carros Elétricos: O governo federal está prestes a mudar as regras do jogo para carros elétricos, antecipando o aumento do imposto de importação para 35% em 2025noticia.

  8. Xiaomi e Telas OLED: A Xiaomi anunciou que todos os aparelhos de alto desempenho da marca virão equipados com telas OLEDnoticia.

 

Google e OpenAI blitz Dezembro com tantos lançamentos de IA, itilits difícil de acompanhar

No último mês, vimos uma rápida cadência de notáveis anúncios e lançamentos relacionados à IA do Google e do OpenAI, e está fazendo a cabeça da comunidade de IA girar. Ele também derramou combustível no fogo da rivalidade OpenAI-Google, um jogo acelerado de one-upmanship ocorrendo incomumente perto do feriado de Natal.

"Como as pessoas estão sobrevivendo com a mangueira de fogo das atualizações de IA que estão saindo," escreveu um usuário no X na última sexta-feira, que ainda é um foco de conversa relacionada à IA. "nas últimas <24 horas temos o flash gemini 2.0 e o chatGPT com compartilhamento de tela, pesquisa profunda, pika 2, sora, projetos chatGPT, clio antrópico, wtf nunca termina."

Os rumores viajam rapidamente no mundo da IA, e as pessoas na indústria da IA esperavam que a OpenAI enviasse alguns dos principais produtos em dezembro. Uma vez que o OpenAI anunciou "12 dias do OpenAI" no início deste mês, o Google entrou em ação e aparentemente decidiu tentar superar seu rival em várias contagens. Até agora, a estratégia parece estar funcionando, mas está chegando ao custo do resto do mundo ser capaz de absorver as implicações dos novos lançamentos.

"12 Days of OpenAI se transformou em 50 novos lançamentos @GoogleAI", escreveu outro usuário X na segunda-feira. "Na semana passada, a OpenAI e o Google foram lançados à velocidade de uma startup recém-nascida", escreveu um terceiro usuário X na terça-feira. "Mesmo seus próprios usuários não conseguem acompanhar. Tempo louco em que vivemos."

"Alguém disse ao Google que eles poderiam apenas fazer as coisas", escreveu a16z parceiro e AI influenciador Justine Moore em X, referindo-se a um meme motivacional comum dizendo às pessoas que "podem apenas fazer coisas."

A corrida da IA do Google

A campanha "12 Days of OpenAI" da OpenAI incluiu lançamentos de seu modelo o1 completo, uma atualização do o1-preview, juntamente com o1-pro para tarefas avançadas de "raciocínio". A empresa também lançou publicamente o Sora para geração de vídeo, adicionou a funcionalidade Projetos ao ChatGPT, introduziu recursos de Voz Avançada com recursos de streaming de vídeo e muito mais.

[–] Raderack 1 points 4 weeks ago

Nah...ta bem simplório pro meu gosto..mas por enquanto rola.

 

Configuração Detalhada do ChatGPT em Python

Se você deseja configurar e utilizar o ChatGPT em Python de maneira detalhada, aqui estão os passos essenciais para garantir que tudo funcione corretamente. Este guia inclui instalação, configuração, uso inicial e treinamento, com exemplos práticos, referências e tags.

🛠️ Passo 1: Instalação do SDK do OpenAI

Primeiro, você precisa instalar o SDK do OpenAI. Abra o terminal e execute o seguinte comando:

pip install openai

Fonte: Documentação do OpenAI

🔑 Passo 2: Gerando e Configurando a Chave de API

Crie uma conta na plataforma da OpenAI e gere sua chave de API:

import openai
openai.api_key = 'SUA_CHAVE_DE_API'

Fonte: Como usar a API do ChatGPT

📦 Passo 3: Carregar o Modelo e o Tokenizador

Aqui estamos utilizando a biblioteca transformers da Hugging Face para carregar e utilizar o ChatGPT. Instale a biblioteca:

pip install transformers

Carregue o modelo e o tokenizador:

from transformers import GPT2LMHeadModel, GPT2Tokenizer

model_name = "gpt-3.5-turbo"  # ou gpt2, dependendo do modelo que você deseja usar
model = GPT2LMHeadModel.from_pretrained(model_name)
tokenizer = GPT2Tokenizer.from_pretrained(model_name)

Fonte: Hugging Face Transformers

📝 Passo 4: Tokenização de Texto

A tokenização é o processo de converter texto em tokens que o modelo pode processar:

text = "Olá, mundo!"
inputs = tokenizer(text, return_tensors="pt")

🤖 Passo 5: Uso Inicial

Geração de Texto Simples:

prompt = "Era uma vez"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(inputs['input_ids'], max_length=50)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(generated_text)

Tradução de Texto:

from transformers import MarianMTModel, MarianTokenizer

model_name = "Helsinki-NLP/opus-mt-en-fr"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)

src_text = "This is a test sentence."
translated_tokens = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))
translated_text = tokenizer.decode(translated_tokens[0], skip_special_tokens=True)
print(translated_text)

Sumarização de Texto:

from transformers import BartForConditionalGeneration, BartTokenizer

model_name = "facebook/bart-large-cnn"
tokenizer = BartTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

text = "O GPT-3 é um modelo de linguagem de última geração da OpenAI que utiliza a arquitetura Transformer..."
inputs = tokenizer(text, return_tensors="pt")
summary_ids = model.generate(inputs['input_ids'], max_length=130, min_length=30, length_penalty=2.0, num_beams=4, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print(summary)

Correção Gramatical:

from transformers import pipeline

corrector = pipeline('text2text-generation', model='t5-small')
text = "Eu está aprendendo Python."
corrected_text = corrector(text)[0]['generated_text']
print(corrected_text)

Resposta a Perguntas de Conhecimento Geral:

question = "Quem foi Albert Einstein?"
response = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": question}]
)
print(response.choices[0].message["content"])

Geração de Código em Python:

prompt = "Escreva um código em Python para calcular a soma de uma lista de números."
response = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": prompt}]
)
print(response.choices[0].message["content"])

🏋️ Passo 6: Treinamento do Modelo

Preparação dos Dados:

from datasets import load_dataset

dataset = load_dataset("wikitext", "wikitext-103-raw-v1")

Treinamento com Hugging Face Transformers:

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    save_steps=10_000,
    save_total_limit=2,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"]
)

trainer.train()

🔗 Referências e Tutoriais

Para mais detalhes e tutoriais avançados, você pode conferir os seguintes links:

🏷️ Tags

#Python #ChatGPT #OpenAI #API #InteligênciaArtificial #MachineLearning #Bots #Conversaçao #Desenvolvimento #Tutorial #Instalação #Programação #Pythonistas #Tutoriais #Código #Desenvolvedores #OpenAI #Chatbots #Python3 #APIs #Treinamento

 

Instalação, Configuração e Treinamento do ChatGPT em Python

Introdução

O ChatGPT da OpenAI é uma ferramenta poderosa para criar chatbots inteligentes em Python. Vamos aprender como instalar, configurar e treinar um modelo ChatGPT em seus projetos Python.

Instalação do SDK do OpenAI

Para começar, você precisa instalar o SDK do OpenAI. Abra o terminal e execute o seguinte comando:

pip install openai

Gerando a Chave de API

Você precisa gerar uma chave de API para acessar a API do ChatGPT. Acesse a plataforma da OpenAI, crie uma conta e gere sua chave de API:

import openai
openai.api_key = 'SUA_CHAVE_DE_API'

Configuração Básica

  1. Carregar Modelo e Tokenizador:

    from transformers import GPT2LMHeadModel, GPT2Tokenizer
    
    model_name = "gpt-3.5-turbo"  # ou gpt2, dependendo do modelo que você deseja usar
    model = GPT2LMHeadModel.from_pretrained(model_name)
    tokenizer = GPT2Tokenizer.from_pretrained(model_name)
    
  2. Tokenização de Texto:

    text = "Olá, mundo!"
    inputs = tokenizer(text, return_tensors="pt")
    

Uso Inicial

  1. Geração de Texto Simples:

    prompt = "Era uma vez"
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs['input_ids'], max_length=50)
    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
    print(generated_text)
    
  2. Tradução de Texto:

    from transformers import MarianMTModel, MarianTokenizer
    
    model_name = "Helsinki-NLP/opus-mt-en-fr"
    tokenizer = MarianTokenizer.from_pretrained(model_name)
    model = MarianMTModel.from_pretrained(model_name)
    
    src_text = "This is a test sentence."
    translated_tokens = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))
    translated_text = tokenizer.decode(translated_tokens[0], skip_special_tokens=True)
    print(translated_text)
    

Treinamento do Modelo

  1. Preparação dos Dados: Você precisa de um conjunto de dados para treinar o modelo. Normalmente, esses dados são grandes coleções de texto.

    from datasets import load_dataset
    
    dataset = load_dataset("wikitext", "wikitext-103-raw-v1")
    
  2. Treinamento com Hugging Face Transformers:

    from transformers import Trainer, TrainingArguments
    
    training_args = TrainingArguments(
        output_dir="./results",
        num_train_epochs=3,
        per_device_train_batch_size=4,
        save_steps=10_000,
        save_total_limit=2,
    )
    
    trainer = Trainer(
        model=model,
        args=training_args,
        train_dataset=dataset["train"],
        eval_dataset=dataset["validation"]
    )
    
    trainer.train()
    

Referências e Tutoriais

Para mais detalhes e tutoriais avançados, você pode conferir os seguintes links:

Tags

#Python #ChatGPT #OpenAI #API #InteligênciaArtificial #MachineLearning #Bots #Conversaçao #Desenvolvimento #Tutorial #Instalação #Programação #Pythonistas #Tutoriais #Código #Desenvolvedores #OpenAI #Chatbots #Python3 #APIs #Treinamento

 

🤖 ChatGPT: Tudo o que você precisa saber! 🚀

🏛️ História:

ChatGPT é um modelo de linguagem desenvolvido pela OpenAI, baseado na arquitetura GPT (Generative Pre-trained Transformer). Lançado inicialmente com o GPT-3, ChatGPT rapidamente se tornou uma ferramenta popular para interações em linguagem natural devido à sua capacidade de gerar texto coerente e relevante.

⚙️ Capacidades:

  • Geração de Texto: ChatGPT pode criar textos de diversos tipos e tamanhos com base nos prompts fornecidos pelos usuários. Isso inclui desde simples frases até parágrafos inteiros e até histórias complexas.

    from transformers import GPT2LMHeadModel, GPT2Tokenizer
    
    # Carregando modelo e tokenizador
    model_name = "gpt2"
    model = GPT2LMHeadModel.from_pretrained(model_name)
    tokenizer = GPT2Tokenizer.from_pretrained(model_name)
    
    # Geração de texto
    prompt = "Era uma vez"
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs['input_ids'], max_length=50)
    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
    print(generated_text)
    
  • Assistência em Tarefas: Ajuda com redação de artigos, correção de gramática, elaboração de resumos, brainstorm de ideias, respostas automáticas em chats e e-mails, e muito mais.

    from transformers import pipeline
    
    # Usando pipeline para correção gramatical
    corrector = pipeline('text2text-generation', model='t5-small')
    corrected_text = corrector("Este é um exemplo de um texto com error", num_return_sequences=1)
    print(corrected_text[0]['generated_text'])
    
  • Respostas Contextuais: Mantém o contexto ao longo de conversas prolongadas, permitindo diálogos mais naturais e coerentes.

    conversation = [
        "Olá, como você está?",
        "Estou bem, obrigado! E você?",
        "Também estou bem, obrigado por perguntar!"
    ]
    
    for message in conversation:
        inputs = tokenizer(message, return_tensors="pt")
        outputs = model.generate(inputs['input_ids'], max_length=50)
        response = tokenizer.decode(outputs[0], skip_special_tokens=True)
        print(f"ChatGPT: {response}")
    
  • Tradução de Idiomas: Tradução de texto entre diferentes idiomas, tornando-se uma ferramenta valiosa para a comunicação global.

    from transformers import MarianMTModel, MarianTokenizer
    
    # Tradução de Inglês para Francês
    src_text = "This is a test sentence."
    model_name = "Helsinki-NLP/opus-mt-en-fr"
    tokenizer = MarianTokenizer.from_pretrained(model_name)
    model = MarianMTModel.from_pretrained(model_name)
    translated_tokens = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))
    translated_text = tokenizer.decode(translated_tokens[0], skip_special_tokens=True)
    print(translated_text)
    
  • Síntese de Informações: Capaz de resumir documentos longos, extrair informações relevantes e apresentar dados de forma organizada.

    from transformers import BartForConditionalGeneration, BartTokenizer
    
    # Sumário de um texto longo
    model_name = "facebook/bart-large-cnn"
    tokenizer = BartTokenizer.from_pretrained(model_name)
    model = BartForConditionalGeneration.from_pretrained(model_name)
    
    text = "O GPT-3 é um modelo de linguagem de última geração da OpenAI que utiliza a arquitetura Transformer..."
    inputs = tokenizer(text, return_tensors="pt")
    summary_ids = model.generate(inputs['input_ids'], max_length=130, min_length=30, length_penalty=2.0, num_beams=4, early_stopping=True)
    summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
    print(summary)
    
  • Codificação: Pode ajudar na escrita de código em diversas linguagens de programação, identificar e corrigir erros em scripts, e oferecer sugestões de melhoria.

    # Gerando sugestões de código
    from transformers import GPTNeoForCausalLM, GPT2Tokenizer
    
    model_name = "EleutherAI/gpt-neo-2.7B"
    tokenizer = GPT2Tokenizer.from_pretrained(model_name)
    model = GPTNeoForCausalLM.from_pretrained(model_name)
    
    prompt = "def fibonacci(n):\n"
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs['input_ids'], max_length=50, num_return_sequences=1)
    suggestion = tokenizer.decode(outputs[0], skip_special_tokens=True)
    print(suggestion)
    
  • Conteúdo Criativo: Geração de poemas, músicas, contos e até scripts para vídeos e jogos.

    # Gerando um poema
    prompt = "Escreva um poema sobre o pôr do sol:"
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs['input_ids'], max_length=100, num_return_sequences=1)
    poem = tokenizer.decode(outputs[0], skip_special_tokens=True)
    print(poem)
    
  • Consultoria Técnica: Fornece explicações técnicas sobre diversos tópicos, desde conceitos de ciência da computação até teorias físicas complexas.

    # Explicação técnica
    prompt = "Explique a teoria da relatividade de Einstein:"
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs['input_ids'], max_length=100, num_return_sequences=1)
    explanation = tokenizer.decode(outputs[0], skip_special_tokens=True)
    print(explanation)
    

🌐 Variações:

  • GPT-2: O precursor de ChatGPT com menos parâmetros e capacidades limitadas em comparação aos modelos mais recentes. Foi uma importante prova de conceito para a geração de texto.

  • GPT-3: Com 175 bilhões de parâmetros, GPT-3 revolucionou a geração de texto por IA, oferecendo respostas mais naturais e coerentes. É amplamente utilizado em assistentes virtuais, chatbots e outras aplicações de NLP.

  • GPT-3.5: Uma versão intermediária entre GPT-3 e GPT-4, trazendo melhorias incrementais em desempenho e compreensão de contexto.

  • GPT-4: A versão mais avançada até o momento, com mais parâmetros e refinamentos que melhoram significativamente a capacidade de entender e gerar texto complexo. É usada em diversas aplicações de ponta.

📰 Notícias:

  • Lançamento de Modelos Atualizados: A cada novo lançamento, a OpenAI introduz melhorias significativas na compreensão e geração de texto.
  • Integração com Plataformas: ChatGPT tem sido integrado em diversas plataformas como assistentes virtuais, atendimento ao cliente e educação online.
  • Debates sobre Ética e Privacidade: Discussões contínuas sobre o uso ético de LLMs e a privacidade dos dados dos usuários.

🌐 Sites e Recursos:

  • OpenAI: Página oficial com informações sobre ChatGPT e outras iniciativas da OpenAI.
  • Hugging Face: Repositório de modelos de linguagem, incluindo variações de ChatGPT.
  • GitHub: Código e exemplos de uso de ChatGPT e outros projetos da OpenAI.
  • Medium: Artigos e tutoriais sobre ChatGPT e suas aplicações.

🌟 Curiosidades:

  • Capacidade de Redação: ChatGPT pode escrever poemas, histórias, artigos e até mesmo código de programação.
  • Aprendizado Contínuo: ChatGPT é continuamente aprimorado com novos dados e técnicas de treinamento.
  • Popularidade Explosiva: Desde seu lançamento, ChatGPT se tornou um dos modelos de IA mais comentados e utilizados no mundo.
  • Impacto em Diversas Indústrias: Utilizado em áreas como saúde, finanças, educação e entretenimento.

🔖 Tags:

#InteligênciaArtificial #ChatGPT #OpenAI #GPT3 #GPT4 #NLP #MachineLearning #DeepLearning #Tecnologia #Inovação #AssistenteVirtual #GeraçãoDeTexto #TraduçãoDeIdiomas #ModelosDeLinguagem #EthicalAI #Privacidade #IA #Transformadores #DesenvolvimentoDeSoftware #EducaçãoOnline #Curiosidades #Capacidades #Código

 

🧠 Especificações de um Large Language Model (LLM) e Comandos Básicos em Python para LLMs 📚

Os Large Language Models (LLMs) são modelos avançados de IA que conseguem processar e gerar texto de forma natural. Para quem está começando, aqui vai uma introdução às especificações de uma LLM, comandos básicos em Python e as bibliotecas mais utilizadas.

🔧 Especificações de um LLM:

  • Parâmetros: A quantidade de parâmetros em um LLM pode variar de milhões a bilhões. Estes parâmetros são os "pesos" do modelo que são ajustados durante o treinamento.
  • Arquitetura: A arquitetura mais comum para LLMs é baseada em transformadores, que permitem lidar com dependências de longo alcance nos dados de entrada.
  • Treinamento: LLMs são treinados em grandes corpora de texto utilizando técnicas de aprendizado não supervisionado.
  • Capacidade: LLMs são capazes de realizar uma ampla variedade de tarefas de NLP, incluindo tradução, resumo, geração de texto e muito mais.

📜 Comandos Básicos em Python para LLMs:

Aqui estão alguns comandos básicos em Python que você pode usar para começar a trabalhar com LLMs, utilizando a biblioteca transformers da Hugging Face:

  1. Instalação da Biblioteca:

    pip install transformers
    
  2. Carregando um Modelo Pré-Treinado:

    from transformers import AutoModelForCausalLM, AutoTokenizer
    
    model_name = "gpt2"  # Nome do modelo pré-treinado
    model = AutoModelForCausalLM.from_pretrained(model_name)
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    
  3. Tokenização de Texto:

    text = "Olá, mundo!"
    inputs = tokenizer(text, return_tensors="pt")
    
  4. Geração de Texto:

    # Geração de texto a partir de um prompt
    prompt = "Era uma vez"
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs['input_ids'], max_length=50)
    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
    print(generated_text)
    
  5. Ajuste Fino (Fine-Tuning):

    from transformers import Trainer, TrainingArguments
    
    training_args = TrainingArguments(
        output_dir="./results",
        num_train_epochs=3,
        per_device_train_batch_size=4,
        save_steps=10_000,
        save_total_limit=2,
    )
    
    trainer = Trainer(
        model=model,
        args=training_args,
        train_dataset=train_dataset,  # Dataset de treinamento
        eval_dataset=eval_dataset  # Dataset de validação
    )
    
    trainer.train()
    

📚 Bibliotecas Essenciais para LLMs:

  1. TensorFlow: Uma biblioteca de código aberto para aprendizado de máquina. Muito utilizada para treinar e implementar LLMs.

    import tensorflow as tf
    
    # Exemplo de criação de um modelo simples
    model = tf.keras.Sequential([
        tf.keras.layers.Dense(128, activation='relu'),
        tf.keras.layers.Dense(10)
    ])
    
    model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
    
    # Treinamento do modelo
    model.fit(train_images, train_labels, epochs=5)
    
  2. PyTorch: Outra biblioteca popular para aprendizado de máquina e deep learning. Também amplamente usada para modelos de linguagem.

    import torch
    import torch.nn as nn
    
    # Exemplo de criação de um modelo simples
    class SimpleNN(nn.Module):
        def __init__(self):
            super(SimpleNN, self).__init__()
            self.fc1 = nn.Linear(784, 128)
            self.fc2 = nn.Linear(128, 10)
    
        def forward(self, x):
            x = torch.relu(self.fc1(x))
            x = self.fc2(x)
            return x
    
    model = SimpleNN()
    criterion = nn.CrossEntropyLoss()
    optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
    
    # Treinamento do modelo
    for epoch in range(5):
        for data, target in train_loader:
            optimizer.zero_grad()
            output = model(data)
            loss = criterion(output, target)
            loss.backward()
            optimizer.step()
    
  3. Transformers (Hugging Face): Biblioteca específica para LLMs que facilita o uso de modelos como GPT, BERT e outros.

    from transformers import pipeline
    
    # Exemplo de uso do pipeline para geração de texto
    generator = pipeline('text-generation', model='gpt2')
    generated_text = generator("Era uma vez", max_length=50, num_return_sequences=1)
    print(generated_text)
    
  4. NLTK: Toolkit para processamento de linguagem natural, útil para várias tarefas de NLP.

    import nltk
    from nltk.tokenize import word_tokenize
    
    # Exemplo de tokenização de texto
    nltk.download('punkt')
    text = "Este é um exemplo de tokenização."
    tokens = word_tokenize(text)
    print(tokens)
    
  5. spaCy: Biblioteca de NLP de alto desempenho com modelos pré-treinados para análise e processamento de texto.

    import spacy
    
    # Exemplo de uso do spaCy para análise de texto
    nlp = spacy.load('en_core_web_sm')
    doc = nlp("Este é um exemplo de análise de texto.")
    for token in doc:
        print(token.text, token.lemma_, token.pos_, token.dep_)
    

🔖 Tags: #InteligênciaArtificial #LLM #Python #DeepLearning #NLP #Transformers #MachineLearning #DataScience

1
submitted 4 weeks ago* (last edited 4 weeks ago) by Raderack to c/Iabr
 

🌟 Principais Large Language Models (LLMs) de Código Aberto 🌟

Os Large Language Models (LLMs) de código aberto estão transformando o campo da inteligência artificial, democratizando o acesso a tecnologias avançadas e incentivando a inovação. Aqui estão algumas das principais LLMs de código aberto que estão causando impacto na comunidade de IA:

  1. LLaMA (Meta): O LLaMA da Meta é um modelo de código aberto que tem ganhado popularidade por sua escalabilidade e desempenho robusto em diversas tarefas de linguagem.

  2. Falcon (Instituto de Inovação Tecnológica de Abu Dhabi): A série Falcon inclui modelos com até 180 bilhões de parâmetros, oferecendo desempenho de ponta em geração de texto

  3. FLAN-T5 (Google): Uma versão aprimorada do T5, o FLAN-T5 é otimizado para uma variedade de tarefas e demonstra desempenho robusto mesmo com menos disparos

  4. GPT-Neo (EleutherAI): O GPT-Neo é uma alternativa de código aberto ao GPT-3 da OpenAI, oferecendo desempenho semelhante com acesso aberto para pesquisadores e desenvolvedores.

  5. BLOOM (BigScience): O BLOOM é um modelo de linguagem de código aberto treinado em um corpus diversificado e de alta qualidade, com foco em segurança e transparência.

  6. BERT (Google): Embora não seja um modelo de linguagem completo, o BERT é fundamental para tarefas de processamento de linguagem natural, como análise de sentimentos e reconhecimento de entidades.

  7. RoBERTa (Facebook): Uma versão aprimorada do BERT, o RoBERTa oferece melhorias significativas em desempenho e precisão em tarefas de linguagem.

  8. T5 (Google): O Text-to-Text Transfer Transformer (T5) é um modelo versátil que pode ser ajustado para uma ampla gama de tarefas de linguagem.

  9. XLNet (Google/CMU): O XLNet é conhecido por sua capacidade de capturar dependências de longo alcance em textos, sendo uma escolha popular para tarefas de compreensão de linguagem.

  10. DeBERTa (Microsoft): O DeBERTa é uma versão aprimorada do BERT, com melhorias em desempenho e capacidade de compreensão de linguagem.

Esses modelos estão em constante evolução, e cada um traz suas próprias vantagens e aplicações únicas. Qual deles você acha mais interessante?

 

Aqui está um post sobre as 10 principais Large Language Models (LLMs):


🌟 As 10 Principais Large Language Models (LLMs) 🌟

Os Large Language Models (LLMs) têm revolucionado o campo da inteligência artificial, proporcionando capacidades impressionantes de compreensão e geração de linguagem natural. Aqui estão as 10 principais LLMs que estão moldando o futuro da IA:

  1. GPT-4 (OpenAI): O sucessor do GPT-3, o GPT-4 continua a ser um dos modelos mais avançados e amplamente utilizados, com melhorias significativas em desempenho e capacidade.

  2. LLaMA (Meta): O LLaMA da Meta é um modelo de código aberto que tem ganhado popularidade por sua escalabilidade e desempenho robusto em diversas tarefas de linguagem.

  3. PaLM 2 (Google): O PaLM 2 é conhecido por sua capacidade de realizar tarefas complexas de linguagem e raciocínio, sendo uma escolha popular para aplicações comerciais.

  4. Falcon (Instituto de Inovação Tecnológica de Abu Dhabi): A série Falcon inclui modelos com até 180 bilhões de parâmetros, oferecendo desempenho de ponta em geração de texto.

  5. FLAN-T5 (Google): Uma versão aprimorada do T5, o FLAN-T5 é otimizado para uma variedade de tarefas e demonstra desempenho robusto mesmo com menos disparos.

  6. BERT (Google): Embora não seja um modelo de linguagem completo, o BERT é fundamental para tarefas de processamento de linguagem natural, como análise de sentimentos e reconhecimento de entidades.

  7. RoBERTa (Facebook): Uma versão aprimorada do BERT, o RoBERTa oferece melhorias significativas em desempenho e precisão em tarefas de linguagem.

  8. T5 (Google): O Text-to-Text Transfer Transformer (T5) é um modelo versátil que pode ser ajustado para uma ampla gama de tarefas de linguagem.

  9. XLNet (Google/CMU): O XLNet é conhecido por sua capacidade de capturar dependências de longo alcance em textos, sendo uma escolha popular para tarefas de compreensão de linguagem.

  10. DeBERTa (Microsoft): O DeBERTa é uma versão aprimorada do BERT, com melhorias em desempenho e capacidade de compreensão de linguagem.

Esses modelos estão em constante evolução, e cada um traz suas próprias vantagens e aplicações únicas. Qual deles você acha mais interessante?

 

15 sites brasileiros de pirataria de anime são derrubados por produtoras japonesas https://www.tecmundo.com.br/minha-serie/600296-15-sites-brasileiros-de-pirataria-de-anime-sao-derrubados-por-produtoras-japonesas.htm

Posted into Tecnologia @tecnologia-FlipboardBR

[–] Raderack 2 points 4 weeks ago

Ow e.faz um post sobre isso..pena que não tem tags de usuário aqui,tu merece uma pelo conhecimento.

[–] Raderack 1 points 1 month ago

And I'm going to answer you, since no one has answered you... not yet... at least on the app... They tell you to come here, to have support, but there is none...no comment.

[–] Raderack 1 points 1 month ago

I really wouldn't like that, because after all, if you post in a community that has cliques, you only get downvotes, so it's very relative.This kind of thing is what made that place intolerable, I don't want that here.

view more: next ›