Até 2027, está previsto que ~$1.1T a ~$1.6T de capital seja alocado em centros de dados! Embora isso seja empolgante e importante, a economia precisa de uma análise cuidadosa.
Com as margens de crescimento de IA de ~30-40% de hoje, esses dólares serão recuperados até 2033, apenas se a eficiência continuar a se acumular, a IA melhorar e a demanda continuar a aumentar.
O caminho sustentável é híbrido: empurrar o máximo possível de inferência para os dispositivos, escalando apenas o que é pesado para a nuvem. A margem de software em dispositivos é de cerca de 70-90% com um capex contínuo muito mais baixo.
Mais em dispositivos:
> mais privado
> mais rápido
> mais ecológico
> e com uma economia unitária consideravelmente melhor.
Com a Nanos entregando resultados de nível de fronteira em tarefas especializadas e funcionando localmente em dispositivos, este é nosso primeiro passo em direção a uma IA de dispositivo-nuvem em escala planetária, que é acessível e economicamente viável.
Vamos mover o token mediano para a borda!
💧⚛️
Apresentando Liquid Nanos ⚛️ — uma nova família de modelos extremamente pequenos e específicos para tarefas que oferecem desempenho de classe GPT-4o enquanto rodam diretamente em telefones, laptops, carros, dispositivos embutidos e GPUs com a menor latência e a mais rápida velocidade de geração.
> tamanho do modelo: 350M a 2.6B
> construído sobre LFM2, nossa arquitetura de modelo eficiente v2
> desempenho competitivo com modelos até centenas de vezes maiores
> possibilitam tarefas centrais de agente: extração precisa de dados, tradução multilíngue, chamada de ferramentas, matemática e RAG. 1/n
Conheça o LFM2-2.6B, o mais novo membro da nossa família LFM2, um novo líder na classe de modelos 3B.
> leve com 2.6B parâmetros
> rápido, construído pela nossa arquitetura eficiente v2 (convoluções curtas + atenção de consulta em grupo)
> Treinado em 10T tokens com comprimento de contexto de 32k
> pesos abertos, multilíngue, ótimas capacidades de seguimento de instruções
🧵 para mais informações