Datadesigner orquestra a geração de dados sintéticos na Plataforma NeMo.
Datadesigner, da Nvidia Nemo, é uma estrutura de orquestração da categoria mcp construída principalmente com Python. Ele se especializa na geração de dados sintéticos de alta qualidade, suportando o uso de ferramentas e MCP. Distribuído como uma biblioteca de código aberto, ele se integra à plataforma NeMo como um serviço e se conecta a vários servidores de inferência LLM. Esta ferramenta permite que os desenvolvedores definam esquemas de conjuntos de dados e escalem pipelines de dados sintéticos, fornecendo uma solução flexível para a criação de dados.
Alternativa mais recomendada
O que o Datadesigner conecta?
O Datadesigner funciona como uma estrutura de orquestração para geração de dados sintéticos, categorizado sob Uso de Ferramentas & MCP. Ele atua como um cliente para vários servidores de inferência de Modelos de Linguagem Grande, incluindo NVIDIA, OpenAI e pontos finais vLLM, sem hospedar modelos em si. Ele se integra como um serviço com a Plataforma NeMo e pode ser envolvido pelo NeMo Curator para escalabilidade. Além disso, conecta-se a ferramentas externas durante a geração via o Protocolo de Contexto do Modelo, utilizando a API de Arquivos, a API de Segredos e a API de Gateway de Inferência de um cluster de Serviços NeMo.
Principais recursos e ferramentas
O Datadesigner expõe ferramentas de construção de configuração dentro de seu pacote "data_designer.config". Os componentes principais incluem ModelConfig, SamplerColumnConfig e LLMTextColumnConfig, que são usados para definir esquemas de conjuntos de dados. O DataDesignerConfigBuilder constrói essas configurações. O método DataDesigner.preview() está disponível para gerar novas colunas. Comandos da interface de linha de comando, como "data-designer create", também são fornecidos para execução. Ele permite que colunas LLM chamem ferramentas externas via MCP para tarefas como buscas ou recuperação.
Para quem é?
O Datadesigner é para desenvolvedores e cientistas de dados que precisam gerar dados sintéticos de alta qualidade e orquestrar pipelines impulsionados por LLM. Ele beneficia aqueles que se integram com a Plataforma NeMo ou escalam esforços de dados sintéticos com o NeMo Curator. Usuários que requerem controle detalhado sobre esquemas de conjuntos de dados e interações com ferramentas externas via MCP acharão isso valioso. Isso não é a escolha certa se você precisar de uma solução tudo-em-um que hospede modelos LLM internamente.
Como começar
O acesso é concedido através de um fluxo de autorização OAuth padrão para o serviço da Plataforma NeMo. Para provedores de LLM, o servidor autentica usando uma chave de API passada como uma variável de ambiente, como NVIDIA_API_KEY, via HTTP.
Casos de uso
- Gerar dados sintéticos para treinamento e teste de modelos.
- Orquestrar pipelines de dados complexos envolvendo múltiplos servidores de inferência LLM.
- Definir e gerenciar esquemas de conjuntos de dados com colunas geradas por LLM.
Datadesigner da Nvidia Nemo oferece uma estrutura de orquestração baseada em Python para geração de dados sintéticos dentro da categoria mcp. Ele suporta uma ampla gama de servidores de inferência LLM e se integra com a Plataforma NeMo, permitindo o desenvolvimento escalável de pipelines de dados. Suas ferramentas de configuração oferecem controle granular sobre a definição do esquema do conjunto de dados e interação com ferramentas externas. Tente gerar novas colunas usando o método DataDesigner.preview() para explorar suas capacidades.
