Até 2027, o capital de ~ $ 1,1 trilhão a ~ $ 1,6 trilhão está planejado para ser implantado em data centers! Embora isso seja empolgante e importante, a economia precisa de um olhar mais atento.
com as margens de crescimento de IA de ~ 30-40% de hoje, esses dólares serão pagos de volta até 2033, somente se a eficiência continuar aumentando, a IA melhorar e as demandas continuarem aumentando.
O caminho sustentável é híbrido: enviar o máximo de inferência possível para os dispositivos, escalar apenas as coisas pesadas para a nuvem. A margem de software em dispositivos é de cerca de 70-90%, com capex contínuo muito menor.
Mais no dispositivo:
> mais privado
> mais rápido
> mais ecológico
> e economia unitária consideravelmente melhor.
Com o Nanos fornecendo resultados de nível de fronteira em tarefas especializadas e executando localmente em dispositivos, este é o nosso primeiro passo em direção à IA em nuvem de dispositivos em escala planetária que seja acessível e economicamente sã.
Vamos mover o token mediano para a borda!
💧⚛️
Apresentando o Liquid Nanos ⚛️ — uma nova família de modelos específicos de tarefas extremamente pequenos que oferecem desempenho de classe GPT-4o enquanto são executados diretamente em telefones, laptops, carros, dispositivos incorporados e GPUs com a menor latência e velocidade de geração mais rápida.
> tamanho do modelo: 350M a 2.6B
> construído no LFM2, nossa arquitetura de modelo eficiente v2
> desempenho competitivo com modelos até centenas de vezes maiores
> permitem tarefas principais do agente: extração precisa de dados, tradução multilíngue, chamada de ferramentas, matemática e RAG. 1/n
Conheça o LFM2-2.6B, o mais novo membro da nossa família LFM2, um novo líder na classe de modelos 3B.
> leve com parâmetros 2.6B
> rápido, construído por nossa arquitetura eficiente v2 (convs curto + atenção de consulta em grupo)
> Treinado em tokens 10T32k de comprimento de contexto
> recursos de acompanhamento de instrução abertos, multilíngues e excelentes
🧵 Para mais informações