Portada
mis comunidades
otras secciones
#1:
O potencialmente que con el mismo consumo energético que el actual puedan multiplicar por 20 sus capacidades.
#2:
#1 Efectivamente, yo lo veo como una posibilidad de Edge-AI que requiera un consumo muy pequeño de energia.
Ya tenemos el arduino BLE y el sparkfun con tensorflow que funciona con pilas de botón, si consigues multiplicar su capacidad en algo tan simple y barato se podrán hacer virguerías sin conexión al cloud y aumentando la protección de información.
Ya tenemos el arduino BLE y el sparkfun con tensorflow que funciona con pilas de botón, si consigues multiplicar su capacidad en algo tan simple y barato se podrán hacer virguerías sin conexión al cloud y aumentando la protección de información.
#15:
Addition is All You Need for Energy-Efficient Language Models el paper completo ....
Comentarios
O potencialmente que con el mismo consumo energético que el actual puedan multiplicar por 20 sus capacidades.
#1 Efectivamente, yo lo veo como una posibilidad de Edge-AI que requiera un consumo muy pequeño de energia.
Ya tenemos el arduino BLE y el sparkfun con tensorflow que funciona con pilas de botón, si consigues multiplicar su capacidad en algo tan simple y barato se podrán hacer virguerías sin conexión al cloud y aumentando la protección de información.
#2, habla de consumo en términos de energía, no en términos de memoria que es un limitante tanto o más importante para los Edge devices.
#29 para hacer inferencia no necesitas memoria.
#37, cómo que no? Para hacer inferencia tienes que cargar el modelo en memoria.
#38 mm.. a ver, para hacer inferencia tienes que cargar el modelo calculado, que ocupa muy poca memoria, solo son los valores de los pesos entre neuronas, por muchas neuronas que tengas y por muchas capas sigue siendo un tamaño pequeño...
100 neuronas x 100 neuronas x 50 neuronas x 25 neuronas = 100 x 100 pesos en la primera capa, en formato lite de tensorflow y restingiendo tamaño (quantization) ocupa menos de un byte cada peso, más 100 x 50 y otros 50 x 25 más la final (ejemplo simple) total:
100 x 100 + 100 x 50 + 50 x 25 + 25 = 10.000 + 5.000 + 1250 + 25 = 16.275 bytes ... un poco menos de 16Kb. (*)
Un arduino BLE (que es el que viene en el kit de TinyML de Arduino) ya tiene 256 Kb de Ram.
Repito que estoy hablando de IA on the Edge, no de grandes ordenadores o GPUs con 10.000 cuda cores.
(*) y he puesto 8 bits por peso para simplificar, cuando se aconsejan 5 o 6:
Through experimentation, it was determined that, in many cases, a value of 5 or 6 bits gives the same accuracy as training in floating point and values above n=7 do not increase model performance (but rather induce a strong slowdown).
#54, cualquier modelo de lenguaje actual tiene miles de millones de parámetros que en términos de memoria son varios GB, cuantizar el modelo puede mejorar sustancialmente el espacio que ocupa en memoria el modelo pero ni de coña te soluciona la papeleta cuando hablamos de modelos grandes. Créeme el problema de la memoria que ocupan los modelos también es crítico y más cuando se habla de Edge devices.
#55 ¿LLM? ¿que tiene eso que ver con Edge AI o con TinyML?
#56, lo de LLM lo has dicho tu, yo he hablado de modelos de lenguaje que no tienen porque ser lo mismo, y con edge computing tiene que ver lo mismo que cualquier modelo de deep learning, ya sea un SLM o un modelo de visión que te interese correr en un dispositivo que esté diseñado para ello.
No me digas que no se necesita memoria para hacer inferencia en estos modelos porque llevo varios años peleándome en correr modelos de todo tipo en arquitecturas TFLite y TensorRT. Se ve que no has intentado nunca ejecutar nada en un Coral TPU con 8MB de SRAM conectado a una Raspberry, si no, te aseguro que no dirías que la memoria no se necesita para hacer inferencia.
#57 Bueno, digamos que tengo el USB Coral de Google desde que salió (hace más de 5 años) al igual que el Jestson nano... igual si que he hecho cosas con Edge IA y el problema no ha sido la memoria.
Digamos que tenemos experiencias distintas.
#1 Si hasta ahora en todos los campos donde se ha conseguido ahorrar energía o sustituir la fuente por renovables solo ha servido para aumentar su consumo, en esto no va a ser diferente.
#1 paradoja de Jevons
#6 venía a eso. Si consiguen esa eficacia apuesto que el consumo energético de las IAs aumenta un 50% como mínimo.
#1 El número 20 es justo el que recuerdo. Al sustituir las sumas actuales por una función más compleja, aunque fácil de calcular, es necesario 20 veces más entrenamiento de la red neuronal para alcanzar los mismos resultados actuales.
#7 o sea que lo que ahorras por un lado se gasta por otro? O entendi cualquier cosa?
#11 Cómo las luces led. Lo que ahorras en gasto... lo gastas en más energía
#14 Explica eso...
#19 Suele pasar que, como te ahorras pasta con las leds, pones muchas más. Al final, tienes el mismo gasto pero con mucha más contaminación lumínica...
#26 No me parece para nada que eso pase.
PS: soy arquitecto y los proyectos de iluminación están muy optimizados.
En urbanización, hay normativas muy estrictas en cuanto a contaminación lumínica.
#28 Es más una sensación personal que otra cosa. Y noticias como la del alcalde de VIgo solo hacen que persista esa sensación.
#30 Es un caso muy muy muy anecdótico...
#28 A nivel de iluminación creo que tienes razón por que era un sector ya muy desarrollado, la luz que se ponía no estaba limitada tanto por su consumo como por su utilidad.
Aunque por ejemplo ahora los camiones llevan tanta iluminación que parecen árboles de navidad, aunque seguro que consumen menos en luz que antes ciertamente llevan más luz que nunca.
En sectores donde el coste energético ha limitado su desarrollo cuando ese coste energético se reduce es muy probable que se incremente su uso hasta volver a llegar al límite de coste energético anterior. Y la IA es un sector que está en esa fase, su consumo energético es ahora su limitante (están buscando comprar centrales nucleares).
#26 ¿mismo gasto?. Ni de coña, vamos.
Antes con 5 bombillas de 100W incandescentes iluminabas más o menos 5 estancias. Con 500 watios en leds tu casa la luminosidad supera a la Navidad de Vigo.
#19 doy fe, pasamos a led y ahora tengo mas luces philips hue que todas las bombillas que tenia antes de la revolución del led en mi vida juntas y prendidas al mismo tiempo.
#33 Pues muy mal. Allà tú con tu consumo innecesario...
#40 son inteligentes, mas que eso no puedo hacer porque son demasiadas, se hace lo mejor que se puede. Pero iba a otro punto.
#1 no, que a implique b no significa que b implique a.
es una simplificación muy burda
#18 Te lo voy a explicar de otra forma: "si antes podiamos pagar 15 millones de dolares al mes en electricidad, el mes que viene seguiremos pudiendo gastar los mismos 15 millones. Si antes dabamos de comer a 1.000 ordenadores con eso, ahora podremos dar de comer a 20.000. Voy empezando a pedir presupuesto para ampliar el datacenter...".
#27 sin embargo hay más variables que intervienen. no es tan sencillo.
#1 por lo que yo entiendo, no. De hecho, con el hardware especializado actual este algoritmo ahorraria energia pero tanto el entrenamiento como la inferencia serian mas lentos (3 ciclos de reloj vs 1 por operacion). Por lo que a no ser que se fabrique hardware especializado para esta operacion no merecera la pena, y a las grandes empresas que poseen cientos de millones de dolares invertidos en hardware actual no les va a interesar.
#1 Económicamente creo que ahora mismo, les interesa gastar menos que aumentar las capacidades de la IA, las empresas del gremio están perdiendo pastas precisamente por eso a raudales...
Dudo mucho que ofrecer un aumento de su capacidad un 20% en el momento actual les reporte beneficios, ahora bien, bajar su consumo energético, les supone salvar sus cuentas, por lo que veo mas viable que lo dediquen a lo primero que a lo segundo.
#24 les interesa gastar menos que aumentar las capacidades de la IA
Están en plena escalada de capacidades para ganarse un espacio en el mercado, están buscando como ampliar su consumo energético de forma barata planteándose comprar centrales nucleares.
En absoluto su prioridad es reducir costes, su prioridad es ganar la guerra comercial de la IA.
Dudo mucho que ofrecer un aumento de su capacidad un 20%
Yo he hablado de multiplicar por 20, que supone un aumento de "capacidad" del 1.900%, potencialmente que la IA sea un 1.900% más inteligente que ahora con el mismo consumo energético que el actual.
#25 No podemos saber lo que discurre por la cabeza de los directivos de las empresas de IA, para ser tan categóricos.
Pero si mi empresa pierde cientos de millones de euros al mes debido al consumo energético, hasta el punto de plantearme adquirir centrales nucleares para mitigarlo y al tiempo mantengo un equipo desarrollando las capacidades de la IA, yo al menos miraría ese ahorro con ojos golosos.
#43 Es una apuesta a futuro, no están perdiendo dinero lo están invirtiendo. Si considerasen que están perdiendo dinero apagarían los servidores y dejarían de insistir en la IA, por que es trivial cerrar el proyecto y dejar de consumir energía.
Lo que están haciendo es lo opuesto, están intentando comprar centrales nucleares para poder seguir usando la energía actual pero de forma más barata o incluso para poder consumir más por esa apuesta a futuro que están haciendo.
Si ahora les sale la oportunidad de ahorrar mucho dinero en energía o aumentar la velocidad de esa apuesta a futuro sin duda la mayoría elegirán lo segundo, ya que eso es lo consistente con lo que llevan haciendo hasta ahora.
#44 Sin quitarte la razón o dártela.
Me sigue raspando que se afirme tan categóricamente esa postura.
Pero para mi resulta una conversación que no lleva a nada. Los responsables eligieran lo que consideren oportuno en función de lo que crean que va a mejorar su posición en el mercado. Y seguramente, los distintos actores tomaran distintas posiciones, en función de sus intereses, que no todo es OpenAi.
#1 sería impresionante!!!
#1 Va a ser eso.
Addition is All You Need for Energy-Efficient Language Models el paper completo ....
#15 Gracias por ahorrarme la búsqueda.
Le darán una silla al esclavo que responde las preguntas del pringao que se cree que es el software el que le está respondiendo, y arreglado.
#9 al indio que maneja los autos en San Francisco. Esos que de vez en cuando los trollean a todos desde el call center cuando saturan un punto en particular.
Toda multiplicación es una serie de sumas y no por eso es más eficiente. Requiere muchos más ciclos de computación.
Por eso se usan algoritmos como el de Karatsuba
https://en.m.wikipedia.org/wiki/Karatsuba_algorithm
La suma de números flotantes tiene además problemas de pérdida de precisión y requiere otros algoritmos como el de Kahan
https://en.m.wikipedia.org/wiki/Kahan_summation_algorithm
A ver en qué queda el algoritmo. Potencialmente podría usarse para cualquier uso
Ahora otra noticia de la batería mágica semanal y otra que mencione grafeno y cantamos bingo, "fapbingo"
#17 una batería de grafeno diseñada por IA que si te la frotas te cura el cancer....
#17 #21 ¿y los gatos? ¿Es que nadie piensa en los gatos?
#49 Como siempre te las das tú solo. Con tu incapacidad lectora
Con lo único que has demostrado ser bueno fue con el bot
#50 tú todavía tienes que demostrar que eres bueno en algo
#59 No es eso lo que afirma el titular.
#60 L-Mul could cut energy use for element-wise floating-point tensor multiplications by up to 95% and for dot products by 80%.
#61 Y el titular dice que eso implica una reducción de hasta el 95% en los requerimientos energéticos de los sistemas de AI.
Desconozco si es cierto, meramente indico que eso es lo que afirma el titular.
#62 Sensacionalista a más no poder. Ya estaba buscando la empresa en bolsa para invertir
Han inventado la aritmético en punto fijo.
O la sopa de ajo.
¿Y cuanta energía consume ese algoritmo?
95% ... ya, hagan sus apuestas señores
#4 94,8%
#5 93,333333% que me gané?
#4 a ver quién se acerca más al ahorro exacto, pero sin pasarse. Quién acierte la cifra exacta gana una IA.
¡a jugar!
#5 #12 os habéis pasado.
#5 Es el 95% en un tipo concreto de operaciones de coma flotante, ahora solo hay que ver lo que cuenta en el total, quizás un 1%
Esto sin duda, bajará los precios de toooooodas las páginas creadas para hacer deepfakes
Esto ya es viejo (en el mundo IA), "noticia" de hace 4 meses... ejemplo
https://arstechnica.com/information-technology/2024/06/researchers-upend-ai-status-quo-by-eliminating-matrix-multiplication-in-llms/
#10 No tiene absolutamente nada que ver lo uno con lo otro. Lo que tu enlazas está enfocado a reemplazar las multiplicaciones de matrices. Lo que ha llegado a portada hace unas horas sustituye las multiplicaciones de números individuales.
Como añadido, lo de MatMul-Free está muy restringido al caso concreto de los LLMs, mientras que lo que se está discutiendo aquí es muchísimo más genérico.
#10 https://dx.doi.org/10.48550/arxiv.2410.00907
Subido al arxiv el 1 de octubre de 2024.
Nunca lees nada y lo que lees no lo entiendes.
Cc #20
#36 me vas a dar tú lecciones sobre IA
😬 😬 😬 😬 😬 😬