Aula 52 – RoopUnleashed

Aula 51                        Aula 53 (Ainda não disponível)

TensorFlow – Keras – Redes Neurais

Redes Sociais do Código Fluente:

Scarlett Finch

Scarlett Finch é uma 🎤 cantora e 🎶compositora pop britânica , influencer digital, nos seu 24 anos de idade, adora o Brasil e em especial o Rio de Janeiro.

Ela foi criada utilizando algumas ferramentas de IA como a que vou apresentar hoje, o Foooocus.

Siga a Scarlett Finch no Instagram e no Tiktok:

Escute a música no Spotify:

Conecte-se comigo!

LinkedIn: Fique à vontade para me adicionar no LinkedIn.

Ao conectar-se comigo, você terá acesso a atualizações regulares sobre desenvolvimento web, insights profissionais e oportunidades de networking no setor de tecnologia.

GitHub: Siga-me no GitHub para ficar por dentro dos meus projetos mais recentes, colaborar em código aberto ou simplesmente explorar os repositórios que eu contribuo, o que pode ajudar você a aprender mais sobre programação e desenvolvimento de software.

Recursos e Afiliados

Explorando os recursos abaixo, você ajuda a apoiar nosso site.

Somos parceiros afiliados das seguintes plataformas:

• https://heygen.com/ – Eleve a produção de seus vídeos com HeyGen! Com esta plataforma inovadora, você pode criar vídeos envolventes utilizando avatares personalizados, ideal para quem busca impactar e conectar com audiências em todo o mundo. HeyGen transforma a maneira como você cria conteúdo, oferecendo ferramentas fáceis de usar para produzir vídeos educativos, demonstrações de produtos e muito mais. Descubra o poder de comunicar através de avatares interativos e traga uma nova dimensão para seus projetos. Experimente HeyGen agora e revolucione sua forma de criar vídeos!
• letsrecast.ai – Redefina a maneira como você consome artigos com Recast. Esta plataforma transforma artigos longos em diálogos de áudio que são informativos, divertidos e fáceis de entender. Ideal para quem está sempre em movimento ou busca uma forma mais conveniente de se manter informado. Experimente Recast agora.
• dupdub.com – Explore o universo do marketing digital com DupDub. Esta plataforma oferece ferramentas inovadoras e soluções personalizadas para elevar a sua estratégia de marketing online. Ideal para empresas que buscam aumentar sua visibilidade e eficiência em campanhas digitais. Descubra mais sobre DupDub.
• DeepBrain AI Studios – Revolucione a criação de conteúdo com a tecnologia de inteligência artificial da DeepBrain AI Studios. Esta plataforma avançada permite que você crie vídeos interativos e apresentações utilizando avatares digitais gerados por IA, que podem simular conversas reais e interações humanas. Perfeito para educadores, criadores de conteúdo e empresas que querem inovar em suas comunicações digitais. Explore DeepBrain AI Studios.
• Audyo.ai – Transforme a maneira como você interage com conteúdo auditivo com Audyo.ai. Esta plataforma inovadora utiliza inteligência artificial para criar experiências de áudio personalizadas, melhorando a acessibilidade e a compreensão de informações através de podcasts, transcrições automáticas e síntese de voz avançada. Ideal para profissionais de mídia, educadores e qualquer pessoa que deseje acessar informações auditivas de maneira mais eficiente e envolvente. Descubra Audyo.ai e suas possibilidades.
• Acoust.io – Transforme sua produção de áudio com Acoust.io. Esta plataforma inovadora fornece uma suite completa de ferramentas para criação, edição e distribuição de áudio, ideal para artistas, produtores e empresas de mídia em busca de excelência e inovação sonora. Acoust.io simplifica o processo de levar suas ideias à realidade, oferecendo soluções de alta qualidade que elevam seus projetos de áudio. Experimente Acoust.io agora e descubra um novo patamar de possibilidades para seu conteúdo sonoro.
• Hostinger – Hospedagem web acessível e confiável. Ideal para quem busca soluções de hospedagem de sites com excelente custo-benefício e suporte ao cliente robusto. Saiba mais sobre a Hostinger.
• Digital Ocean – Infraestrutura de nuvem para desenvolvedores. Oferece uma plataforma de nuvem confiável e escalável projetada especificamente para desenvolvedores que precisam de servidores virtuais, armazenamento e networking. Explore a Digital Ocean.
• One.com – Soluções simples e poderosas para o seu site. Uma escolha ideal para quem busca registrar domínios, hospedar sites ou criar presença online com facilidade e eficiência. Visite One.com.

Educação e Networking

Amplie suas habilidades e sua rede participando de cursos gratuitos e comunidades de desenvolvedores:

• Digital Innovation One – Cursos gratuitos com certificado.
• Workover – Aprenda Python3 gratuitamente.
• Comunidades de desenvolvedores para networking:
  • Impulser
  • Google Developer Groups
  • Comunidades.tech

Canais do Youtube

Explore nossos canais no YouTube para uma variedade de conteúdos educativos e de entretenimento, cada um com um foco único para enriquecer sua experiência de aprendizado e lazer.

Toti

Toti: Meu canal pessoal, onde posto clips artesanais de músicas que curto tocar, dicas de teoria musical, entre outras coisas.

Lofi Music Zone Beats

Lofi Music Zone Beats: O melhor da música Lofi para estudo, trabalho e relaxamento, criando o ambiente perfeito para sua concentração.

Backing Track / Play-Along

Backing Track / Play-Along: Acompanhe faixas instrumentais para prática musical, ideal para músicos que desejam aprimorar suas habilidades.

Código Fluente

Código Fluente: Aulas gratuitas de programação, devops, IA, entre outras coisas.

Putz!

Putz!: Canal da banda Putz!, uma banda virtual, criada durante a pandemia com mais 3 amigos, Fábio, Tatá e Lula.

PIX para doações

PIX Nubank

Bem-vindos à Aula 52 – RoopUnleashed

Notebook do RoopUnleashed:  RoopUnleashedColab

Na aula anterior, exploramos o incrível poder do software Fooocus, que nos permite transformar descrições textuais em obras de arte visuais utilizando avançadas tecnologias de IA.

Hoje, daremos um passo além na nossa jornada pelo universo dos deepfakes com o “Roop Unleashed“, uma ferramenta poderosa para face-swapping e aprimoramento de faces em vídeos e imagens.

Antes de mergulharmos nos detalhes técnicos e práticos, gostaria de compartilhar algo especial com vocês.

Recentemente, criei um perfil para a cantora pop britânica Scarlett Finch, que promete sucesso no Instagram e no TikTok.

Utilizando tanto o Fooocus quanto o RoopUnleashed, produzi um vídeo emocionante onde Scarlett anuncia que sua nova música “How we lost the summer” já está disponível nas principais plataformas de streaming.

Vocês verão ela em diversas situações, demonstrando a versatilidade e o realismo que essas ferramentas de IA podem oferecer.

Assista ao vídeo de Scarlett Finch aqui.

Não deixem de seguir e apoiar Scarlett nas redes sociais para acompanhar seu trabalho incrível e todas as novidades!

Agora, preparem-se para uma aula prática no Google Colab, onde aprenderemos a manipular e aprimorar vídeos e imagens com “Roop Unleashed“.

Vamos explorar como essa tecnologia pode ser aplicada não apenas no entretenimento, mas também em outras áreas criativas e educacionais.

Antes, vamos a uma parte mais teórica e técnica por trás da tecnologia.

Introdução – Face-Swapping e Deepfakes com “Roop Unleashed“

O que são Deepfakes?

Deepfakes são imagens ou vídeos manipulados que usam técnicas avançadas de inteligência artificial e aprendizado de máquina para fazer parecer que alguém está dizendo ou fazendo algo que não aconteceu na realidade.

A palavra “deepfake” é uma combinação de “deep learning” (aprendizado profundo) e “fake” (falso), indicando a tecnologia por trás dessa manipulação.

Tecnologia de Face-Swapping

Uma das aplicações mais populares de deepfakes é o face-swapping, ou troca de rostos. Essa tecnologia substitui o rosto de uma pessoa no vídeo ou imagem pelo de outra. Isso é feito treinando um modelo de rede neural para entender e replicar as características faciais de ambas as pessoas de maneira convincente.

Introdução ao “Roop Unleashed“

“Roop Unleashed” é uma ferramenta que permite aos usuários criar deepfakes, especialmente para face-swapping, sem necessidade de um treinamento extensivo de modelos de IA. Baseada no projeto original chamado “Roop”, esta versão aprimorada oferece uma interface gráfica de usuário mais robusta e várias funcionalidades adicionais que facilitam a manipulação de faces em vídeos e imagens.

Funcionalidades Principais do “Roop Unleashed”

• Seleção de Faces Específicas: Permite aos usuários escolher qual face em uma imagem ou vídeo será substituída.
• Melhoria Dinâmica de Faces: Oferece a opção de aprimorar a qualidade das faces durante o processo de substituição, garantindo um resultado mais limpo e realista.
• Suporte a Vídeos e Imagens: A ferramenta suporta tanto manipulações estáticas em imagens quanto dinâmicas em vídeos, abrindo um leque de possibilidades para criação de conteúdo.
• Interface Gráfica Aperfeiçoada: Torna a tecnologia acessível até para usuários sem experiência técnica em programação ou IA.

Considerações Éticas

Embora o “Roop Unleashed” ofereça potencial considerável para artistas e criadores de conteúdo, é crucial discutir as implicações éticas de seu uso. A capacidade de alterar a aparência de alguém em mídia digital levanta questões sérias sobre consentimento e representação. Portanto, é altamente recomendado que os usuários obtenham permissão das pessoas cujos rostos serão utilizados e divulguem claramente quando um vídeo ou imagem é um deepfake.

Fundamentos Técnicos: Redes Neurais para Deepfake

1. Breve Revisão sobre Redes Neurais

Redes neurais são sistemas inspirados pelo funcionamento do cérebro humano, capazes de aprender tarefas específicas através de exemplos. Compostas de camadas de neurônios, elas transformam progressivamente a entrada recebida, aprendendo características complexas. Isso é crucial na geração de deepfakes para capturar nuances de expressões faciais com precisão.

2. Modelos de Reconhecimento Facial: VGGFace e FaceNet

• VGGFace: Baseado na arquitetura VGG-16, é treinado com milhões de imagens para produzir embeddings que capturam características faciais essenciais, eficaz na identificação e diferenciação de rostos.
• FaceNet: Desenvolvido pelo Google, gera embeddings faciais através de uma rede siamesa, focando na distância entre as representações de diferentes rostos para otimizar a semelhança.

Esses modelos são fundamentais para identificar e modificar faces em deepfakes.

3. Introdução aos Autoencoders e GANs

• Autoencoders: Redes neurais que replicam suas entradas em suas saídas, aprendendo uma representação compacta dos dados, útil para recriar características faciais em deepfakes.
• GANs (Redes Adversárias Generativas): Duas redes em conflito (um gerador e um discriminador) melhoram a qualidade e realismo das imagens geradas, essenciais para criar deepfakes convincentes.

Exemplos de Código e Aplicação do “Roop Unleashed”

• face_enhancer.py e face_swapper.py:
  • Face Enhancer: Utiliza o modelo GFPGAN para melhorar a qualidade das faces em deepfakes. O script ajusta a nitidez e textura das faces, integrando melhorias visuais que tornam os deepfakes mais realistas.
  • Face Swapper: Aplica modelos de reconhecimento facial e algoritmos de swapping para substituir uma face por outra em vídeos e imagens, utilizando insightface para uma seleção precisa de faces e garantindo substituições convincentes.
• roop/predicter.py e roop/face_analyser.py:
  • Utilizam modelos para analisar conteúdo de imagens e vídeos, detectando faces e características essenciais. O predict_frame usa o modelo opennsfw2 para avaliar a adequação do conteúdo.
• roop/utilities.py:
  • Manipulação de Vídeo: Funções como extract_frames e create_video manipulam frames para análise e recompilação após edições, essenciais para manter a qualidade e compatibilidade.
  • Manipulação de Áudio com restore_audio: Garante que o áudio original seja preservado ou sincronizado corretamente após a edição de vídeo, crucial para a experiência de visualização final.

Com este entendimento sólido das tecnologias subjacentes e das aplicações específicas dentro do projeto “Roop Unleashed“, estamos agora prontos para explorar esses conceitos na prática.

Vamos agora utilizar o Google Colab para demonstrar o uso real dessa ferramenta e técnicas.

Iremos aplicar o conhecimento adquirido para criar e aprimorar deepfakes, utilizando diretamente o código e as funcionalidades discutidas.

Preparem-se para uma sessão interativa onde vocês poderão ver em primeira mão como a teoria se traduz em aplicação prática.

Vamos manipular vídeos, experimentar a troca e o aprimoramento de faces e observar os resultados que essa tecnologia pode alcançar.

Esta será uma oportunidade valiosa para compreender melhor os desafios técnicos, bem como as implicações éticas do uso de deepfakes.

Deep Fake na Prática

Passo 1 – Crie o personagem base

Abra o Notebook do Fooocus: Fooocus

E use algum prompt como esse abaixo para gerar o seu personagem base.

Prompt: Punk girl realistic photo, grunge style, incredibly detailed, reflection, octane, detailed face, 35mm, F/2.8, 4k

Prompt: Out of focus photorealistic of a beautiful!!! aesthetic!!! pale young woman by sarah moon, very blurry, translucent white skin, closed eyes, foggy, kodak film, ultra realistic face, photorealistic effect, 8k, perfetc eyes, perfect edges, perfetc body and hair ultra realistic, hair with great details, face photorealistic, perfect face, perfect anatomy, clouds, fog, smoke, cloud.

Prompt: Girl soft lighting, glamorous, sophisticated, studio photography.

Prompt: A man in a formal suit and tie, sitting at a desk with a stack of papers and a pen in front of him, The background should be a bookshelf filled with leather-bound books.

Prompt: a character photograph of a smiling old man, optimistic, photojournalism, war photography, adobe, canon, nikon, flickr contest winner, neo-expressionism, art photography, busy background, hyperrealism, chiaroscuro, anamorphic lens flare, elegant, shallow depth of field, haze, volumetric lighting, photo taken with provia, 24mm, f1.8.

Salve a(s) foto(s) do seu personagem em alguma pasta da sua máquina.

Passo 2 – Trocar a cara

Agora, o faceswap de algum vídeo.

O que vamos fazer é pegar algum vídeo que já exista, tem a possibilidade de fazer na hora direto no Roop Unleashed ou subir da sua máquina.

Nesses sites você pode encontrar vídeos para essa experiência:Pixabay,Pexels, Videezy, Vidsplay.

Abra o notebook “RoopUnleashedColab” no Google Colab e sigam as instruções para configurar o ambiente de trabalho conforme necessário.

Estou ansioso para ver as incríveis criações que todos vocês irão realizar!

Até a próxima! 

Voltar para página principal do blog

Todas as aulas desse curso

Aula 51                        Aula 53 (Ainda não disponível)

Obrigado, até a próxima e bons estudos. 😉