A OctoML, startup de aprendizado de máquina bem financiada que ajuda as empresas a otimizar e implantar seus modelos, lançou hoje uma grande atualização em seu produto que tornará muito mais fácil para os desenvolvedores integrar modelos de ML em seus aplicativos. Com esta nova versão, o OctoML agora pode transformar modelos de ML em funções de software portáteis com as quais os desenvolvedores podem interagir por meio de uma API consistente. Com isso, também será mais fácil integrar esses modelos aos fluxos de trabalho de DevOps existentes.
Como o fundador e CEO da OctoML, Luis Ceze, me disse, ele acredita que este é um momento importante para a empresa. Ceze, juntamente com o CTO da empresa Tianqi Chen, o CPO Jason Knight, o arquiteto-chefe Jared Roesch e o vice-presidente de parcerias de tecnologia Thierry Moreau, fundaram a empresa para produzir TVM, uma estrutura de compilador de aprendizado de máquina de código aberto que ajuda os engenheiros de ML a otimizar seus modelos para hardware.
Créditos da imagem: OctoML
“Cgalinha nós iniciado OctoML, nós disse: vamos faço TVM Como uma Sserviço”, disse Ceze. “Ce aprendido uma muito a partir de este mas então tornou-se limpar ums nós trabalhou com mais clientes este IA/ML implantação está parado também duro.”
Ele observou que, à medida que as ferramentas para ingerir dados e construir modelos melhoraram nos últimos anos, a lacuna entre o que esses modelos podem fazer e realmente integrá-los aos aplicativos só aumentou. Então, essencialmente transformando modelos em funções, essa lacuna praticamente desaparece. Este novo sistema abstrai muito dessa complexidade para os desenvolvedores, o que certamente ajudará a trazer mais modelos para a produção. Atualmente, dependendo dos números em que você confia, mais da metade dos modelos de ML treinados nunca chegam à produção, afinal.
Como o OctoML já oferece ferramentas para fazer com que esses modelos sejam executados essencialmente em qualquer lugar, muitas dessas opções sobre onde implantar um modelo agora também podem ser automatizadas. “Cchapéu nos diferencia de qualquer outra solução é a habilidade para pegue a modelo por implantação, integrá-lo em a inscrição – e então corre sobre algum endpoint”, disse Ceze e observou que isso também é um divisor de águas para o escalonamento automático, pois permite que os engenheiros construam sistemas de escalonamento automático que podem mover o modelo para CPUs e aceleradores com diferentes características de desempenho, conforme necessário.
A capacidade de modelos como funções é apenas uma parte dos anúncios da empresa hoje. Outra novidade na plataforma é uma nova ferramenta que ajuda o OctoML a usar o aprendizado de máquina para otimizar os modelos de aprendizado de máquina. O serviço pode detectar e resolver dependências automaticamente e limpar e otimizar o código do modelo. Há também uma nova interface de linha de comando OctoML local e suporte para o servidor de inferência Triton da Nvidia que agora pode ser usado com o novo serviço model-as-function.
“NVIDIA Triton é uma abstração poderosa que permite que os usuários aproveitem várias estruturas de aprendizado profundo e tecnologias de aceleração em CPU e GPU NVIDIA”, disse Jared Roesch, CTO da OctoMl. “Além disso, ao combinar o NVIDIA Triton com o OctoML, estamos permitindo que os usuários escolham, integrem e implementem mais facilmente a funcionalidade do Triton. O fluxo de trabalho OctoML aumenta ainda mais o valor do usuário das implantações baseadas em Triton, integrando perfeitamente a tecnologia de aceleração OctoML, permitindo que você aproveite ao máximo as camadas de serviço e de modelo.”
Olhando para o futuro, Ceze observou que a empresa, que cresceu de 20 funcionários para mais de 140 desde 2020, se concentrará em levar seu serviço a mais dispositivos de ponta, incluindo smartphones e, graças à parceria com a Qualcomm, outros dispositivos com Snapdragon.
“Tele cronometragem parece certo Porque Como nós conversa para pessoal este são implantando para a nuvem, agora elas tudo dizem que eles tenho planos para implantar sobre a borda, também”, disse.
