El nuevo hardware ofrece un cálculo más rápido para la inteligencia artificial, con mucha menos energía
Los ingenieros que trabajan en el “machine learning analógico” han encontrado una manera de impulsar protones a través de sólidos a velocidades sin precedentes.
A medida que los científicos amplían los límites del aprendizaje automático, la cantidad de tiempo, energía y dinero necesarios para entrenar modelos de redes neuronales cada vez más complejos se está disparando. Una nueva área de inteligencia artificial llamada aprendizaje profundo analógico promete un cálculo más rápido con una fracción del uso de energía.
Las resistencias programables son los componentes clave del aprendizaje profundo analógico, al igual que los transistores son los elementos centrales de los procesadores digitales. Al repetir matrices de resistencias programables en capas complejas, los investigadores pueden crear una red de “neuronas” y “sinapsis” artificiales analógicas que ejecutan cálculos como una red neuronal digital. Esta red puede ser entrenada para realizar tareas complejas de IA como el reconocimiento de imágenes y el procesamiento del lenguaje natural.
Un equipo multidisciplinario de investigadores del MIT se propuso superar los límites de velocidad de un tipo de sinapsis analógica hecha por el hombre que habían desarrollado anteriormente. Utilizaron un práctico material inorgánico en el proceso de fabricación que permite que sus dispositivos funcionen 1 millón de veces más rápido que las versiones anteriores, lo que también es aproximadamente 1 millón de veces más rápido que las sinapsis del cerebro humano.
Además, este material inorgánico también hace que la resistencia sea extremadamente eficiente energéticamente. A diferencia de los materiales utilizados en la versión anterior de su dispositivo, el nuevo material es compatible con las técnicas de fabricación de silicio. Este cambio ha permitido fabricar dispositivos a escala nanométrica y podría allanar el camino para la integración en el hardware informático comercial para aplicaciones de aprendizaje profundo.
“Con esa visión clave y las técnicas de nanofabricación muy potentes que tenemos enMIT.nano, hemos podido unir estas piezas y demostrar que estos dispositivos son intrínsecamente muy rápidos y funcionan con voltajes razonables”, dice el autor principal Jesús A. del Alamo, profesor Donner en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT. “Este trabajo realmente ha puesto a estos dispositivos en un punto en el que ahora parecen realmente prometedores para futuras aplicaciones”.
“El mecanismo de trabajo del dispositivo es la inserción electroquímica del ion más pequeño, el protón, en un óxido aislante para modular su conductividad electrónica. Debido a que estamos trabajando con dispositivos muy delgados, podríamos acelerar el movimiento de este ion mediante el uso de un campo eléctrico fuerte y empujar estos dispositivos iónicos al régimen operativo de nanosegundos”, explica el autor principal Bilge Yildiz, el Breene M. Profesor Kerr en los departamentos de Ciencia e Ingeniería Nucleares y Ciencia e Ingeniería de Materiales.
“El potencial de acción en las células biológicas aumenta y baja con una escala de tiempo de milisegundos, ya que la diferencia de voltaje de aproximadamente 0,1 voltios está limitada por la estabilidad del agua”, dice el autor principal Ju Li, profesor de Ciencia e Ingeniería Nuclear de Battelle Energy Alliance y profesor de ciencia e ingeniería de materiales, “Aquí aplicamos hasta 10 voltios a través de una película especial de vidrio sólido de espesor a nanoescala que conduce los protones, sin dañarlos permanentemente. Y cuanto más fuerte sea el campo, más rápidos serán los dispositivos iónicos”.
Estas resistencias programables aumentan enormemente la velocidad a la que se entrena una red neuronal, al tiempo que reducen drásticamente el costo y la energía para realizar ese entrenamiento. Esto podría ayudar a los científicos a desarrollar modelos de aprendizaje profundo mucho más rápidamente, que luego podrían aplicarse en usos como los coches autónomos, la detección de fraude o el análisis de imágenes médicas.
“Una vez que tengas un procesador analógico, ya no estarás entrenando redes en las que todos los demás están trabajando. Estarás entrenando redes con complejidades sin precedentes que nadie más puede permitirse y, por lo tanto, superarás enormemente a todas. En otras palabras, este no es un coche más rápido, es una nave espacial”, añade el autor principal y postdoctor del MIT Murat Onen.
Entre los coautores se encuentra Frances M. Ross, profesora Ellen Swallow Richards en el Departamento de Ciencia e Ingeniería de Materiales; postdoctores Nicolas Emond y Baoming Wang; y Difei Zhang, estudiante de posgrado de la EECS. La investigación se publica hoy en Science.
Acelerar el aprendizaje profundo
El aprendizaje profundo analógico es más rápido y eficiente energéticamente que su contraparte digital por dos razones principales. “En primer lugar, el cálculo se realiza en la memoria, por lo que no se transfieren enormes cargas de datos de ida y vuelta de la memoria a un procesador”. Los procesadores analógicos también realizan operaciones en paralelo. Si el tamaño de la matriz se expande, un procesador analógico no necesita más tiempo para completar nuevas operaciones porque todo el cálculo se produce simultáneamente.
El elemento clave de la nueva tecnología de procesador analógico del MIT se conoce como resistencia programable protónica. Estas resistencias, que se miden en nanómetros (un nanómetro es la milmillonésima parte de un metro), están dispuestas en una matriz, como un tablero de ajedrez.
En el cerebro humano, el aprendizaje se produce debido al fortalecimiento y debilitamiento de las conexiones entre las neuronas, llamadas sinapsis. Las redes neuronales profundas han adoptado durante mucho tiempo esta estrategia, en la que los pesos de la red se programan a través de algoritmos de entrenamiento. En el caso de este nuevo procesador, aumentar y disminuir la conductancia eléctrica de las resistencias protónicas permite el aprendizaje automático analógico.
La conductancia está controlada por el movimiento de los protones. Para aumentar la conductividad, se empujan más protones a un canal de la resistencia, mientras que para disminuir la conductancia se sacan protones. Esto se logra utilizando un electrolito (similar al de una batería) que conduce protones pero bloquea los electrones.
Para desarrollar una resistencia protónica programable súper rápida y altamente eficiente energéticamente, los investigadores buscaron diferentes materiales para el electrolito. Mientras que otros dispositivos utilizaban compuestos orgánicos, Onen se centró en el vidrio de fosfosilicato inorgánico (PSG).
El PSG es básicamente dióxido de silicio, que es el material desecante en polvo que se encuentra en las pequeñas bolsas que vienen en la caja con muebles nuevos para eliminar la humedad. Se estudia como conductor de protones en condiciones humidificadas para pilas de combustible. También es el óxido más conocido utilizado en el procesamiento de silicio. Para hacer PSG, se añade un poco de fósforo al silicio para darle características especiales para la conducción de protones.
Onen planteó la hipótesis de que un PSG optimizado podría tener una alta conductividad de protones a temperatura ambiente sin necesidad de agua, lo que lo convertiría en un electrolito sólido ideal para esta aplicación. Tenía razón.
Velocidad sorprendente
El PSG permite un movimiento de protones ultrarrápido porque contiene una multitud de poros del tamaño de un nanómetro cuyas superficies proporcionan caminos para la difusión de protones. También puede soportar campos eléctricos pulsados muy fuertes. Esto es fundamental, explica Onen, porque aplicar más voltaje al dispositivo permite que los protones se muevan a velocidades cegadoras.
“La velocidad fue sin duda sorprendente. Normalmente, no aplicaríamos campos tan extremos en todos los dispositivos, para no convertirlos en cenizas. Pero en cambio, los protones terminaron encerrando a velocidades inmensas a través de la pila de dispositivos, específicamente un millón de veces más rápido en comparación con lo que teníamos antes. Y este movimiento no daña nada, gracias al pequeño tamaño y a la baja masa de protones. Es casi como teletransportarse”, dice.
“La escala de tiempo de nanosegundos significa que estamos cerca del régimen de túnel balístico o incluso cuántico para el protón, bajo un campo tan extremo”, añade Li.
Debido a que los protones no dañan el material, la resistencia puede funcionar durante millones de ciclos sin descomponerse. Este nuevo electrolito permitió una resistencia protónica programable que es un millón de veces más rápida que su dispositivo anterior y puede funcionar eficazmente a temperatura ambiente, lo que es importante para incorporarlo al hardware informático.
Gracias a las propiedades aislantes del PSG, casi ninguna corriente eléctrica pasa a través del material a medida que se mueven los protones. Esto hace que el dispositivo sea extremadamente eficiente energéticamente, añade Onen.
Ahora que han demostrado la eficacia de estas resistencias programables, los investigadores planean rediseñarlas para su fabricación de gran volumen, dice del Alamo. A continuación, pueden estudiar las propiedades de las matrices de resistencia y ampliarlas para que puedan integrarse en los sistemas.
Al mismo tiempo, planean estudiar los materiales para eliminar los cuellos de botella que limitan el voltaje que se requiere para transferir eficientemente los protones hacia, a través y desde el electrolito.
“Otra dirección emocionante que estos dispositivos iónicos pueden permitir es el hardware energéticamente eficiente para emular los circuitos neuronales y las reglas de plasticidad sináptica que se deducen en la neurociencia, más allá de las redes neuronales profundas analógicas. Ya hemos comenzado una colaboración de este tipo con la neurociencia, apoyada por la Búsqueda de Inteligencia del MIT“, añade Yildiz.
“La colaboración que tenemos va a ser esencial para innovar en el futuro. El camino a seguir sigue siendo muy difícil, pero al mismo tiempo es muy emocionante”, dice del Alamo.
“Las reacciones de intercalación como las que se encuentran en las baterías de iones de litio se han explorado ampliamente en busca de dispositivos de memoria. Este trabajo demuestra que los dispositivos de memoria basados en protones ofrecen una velocidad de conmutación y resistencia impresionantes y sorprendentes”, dice William Chueh, profesor asociado de ciencia e ingeniería de materiales en la Universidad de Stanford, que no participó en esta investigación. “Sienta las bases de una nueva clase de dispositivos de memoria para impulsar algoritmos de aprendizaje profundo”.
“Este trabajo demuestra un avance significativo en los dispositivos de memoria resistiva de inspiración biológica. Estos dispositivos protónicos de estado sólido se basan en un exquisito control a escala atómica de los protones, similar a las sinapsis biológicas, pero a órdenes de magnitud a velocidades más rápidas”, dice Elizabeth Dickey, profesora distinguida de Teddy & Wilton Hawkins y jefa del Departamento de Ciencia e Ingeniería de Materiales de la Universidad Carnegie Mellon, que no participó en este trabajo. “Felicito al equipo interdisciplinario del MIT por este emocionante desarrollo, que permitirá dispositivos computacionales de generación futura”.
Esta investigación está financiada, en parte, por el Laboratorio de IA Watson del MIT-IBM.