Desenvolvimento de um LLM

Há muitas etapas no desenvolvimento de um LLM. Dada a crescente popularidade dos LLMs, sua empresa pediu a você, o evangelista de dados, que faça uma apresentação no próximo evento da empresa e apresente uma compreensão conceitual do que é necessário para desenvolver esses modelos. Para fazer isso, você precisa relembrar as várias técnicas usadas para criar um modelo bem-sucedido.

Esta ilustração mostra o processo de construção.

Em que parte do processo de desenvolvimento é usada a representação vetorial de palavras?

Este exercício faz parte do curso

Conceitos de Grandes Modelos de Linguagem (LLMs)

Ver curso

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Começar o exercício

Este exercício faz parte do curso

Conceitos de Grandes Modelos de Linguagem (LLMs)

InicianteNível de habilidade

4.8+

4901 reviews

Iniciar curso de graça

O mundo da IA está mudando rápido, e os Grandes Modelos de Linguagem (LLMs, Large Language Models) estão na vanguarda dessas mudanças. Este capítulo examina como os LLMs estão avançando no desenvolvimento da inteligência artificial semelhante à humana e transformando setores por meio de suas inúmeras aplicações. Você explorará os desafios e a complexidade associados à modelagem de linguagem.

Exercise 1: A ascensão dos LLMs no cenário da IA Exercise 2: Definição de LLM Exercise 3: LLMs no cenário da IA Exercise 4: Aplicações da IA x LLMs Exercise 5: Aplicações reais Exercise 6: Aplicações comerciais Exercise 7: Aplicações multimodais Exercise 8: Automatização de tarefas orientadas por dados Exercise 9: Desafios da modelagem de linguagem Exercise 10: O que um modelo de linguagem pode fazer?Exercise 11: Aprendizado com uma ou várias tarefas

Este capítulo destaca a novidade dos LLMs e suas novas capacidades, ao mesmo tempo em que descreve várias técnicas de PLN para preparação de dados. Você vai aprender os desafios do treinamento de LLMs e como o ajuste fino pode resolvê-los com eficácia. Você também entenderá como as técnicas de aprendizado n-shot permitem a adaptação eficiente de modelos pré-treinados quando confrontados com dados rotulados limitados.

Exercise 1: Inovação dos LLMs Exercise 2: Solução de problemas com LLMs Exercise 3: Modelos tradicionais x LLMs Exercise 4: Visão geral do PLN Exercise 5: Preparação de dados Exercise 6: Pré-processamento e representação de textos Exercise 7: Representação vetorial de palavras em vez de sacos de palavras Exercise 8: Ajuste fino Exercise 9: Desafios no desenvolvimento de LLMs Exercise 10: Adaptação de um modelo pré-treinado Exercise 11: Pré-treinado ou aperfeiçoado?Exercise 12: Técnicas de aprendizado Exercise 13: Ajuste fino de um modelo Exercise 14: Aprendizado n-shot

Neste capítulo, você vai aprender os componentes fundamentais do treinamento de um LLM, como as técnicas de pré-treinamento. Você também obterá uma compreensão intuitiva de conceitos complexos, como a arquitetura de transformadores, incluindo o mecanismo de atenção. O capítulo apresenta uma técnica avançada de ajuste fino e resume o processo de treinamento para concluir um LLM.

Exercise 1: Elementos básicos para treinar LLMs Exercise 2: Linguagem mascarada Exercise 3: Previsão da próxima palavra Exercise 4: Construção a partir do zero Exercise 5: Apresentando o transformador Exercise 6: Relações entre palavras distantes Exercise 7: Componentes do transformador Exercise 8: Mecanismos de atenção Exercise 9: Foco de atenção de várias cabeças Exercise 10: Autoatenção vs. atenção de várias cabeças Exercise 11: Ajuste fino avançado Exercise 12: Treinamento de ponta a ponta Exercise 13: Treinamento, ajuste e feedback Exercise 14: Desenvolvimento de um LLM

Exercício atual

Neste capítulo, abordamos as principais considerações ao treinar LLMs, como a grande disponibilidade de dados, a qualidade dos dados, a rotulagem precisa e as implicações de dados enviesados. Você também vai examinar diversos riscos de LLMs, como privacidade de dados, preocupações éticas e impacto ambiental. Por fim, o capítulo conclui discutindo novas áreas de pesquisa e o cenário em evolução dos LLMs.

Exercise 1: Preocupações e considerações sobre os dados Exercise 2: Seu modelo é imparcial?Exercise 3: Relevantes e sem vieses Exercise 4: Atendimento ao cliente de um banco Exercise 5: Preocupações éticas e ambientais Exercise 6: Uso responsável Exercise 7: Ética e meio ambiente Exercise 8: Para onde estão indo os LLMs?Exercise 9: Criatividade vs. eficiência Exercise 10: Análise de obras literárias Exercise 11: Hora de encerrar