Redes neuronales Borolo: un enfoque basado en la optimización de estructuras dinámicas a nivel de neurona

Abstract

The predominant approach in neural network architecture design relies on the concatenation of pre-designed modules such as convolutional layers, recurrent units, or transformer attention mechanisms. While these modules have demonstrated strong performance, they significantly constrain the solution space by imposing structural biases based on human-conceived concepts. This thesis introduces Borolo Neural Networks, a novel paradigm for neural architecture optimization that operates directly at the individual neuron level, enabling greater flexibility in the search for optimal structures. The proposed methodology represents neural networks as directed acyclic graphs, establishing a theoretical framework grounded in graph theory for the representation and manipulation of dynamic neural architectures. Forward and backpropagation algorithms are reformulated to accommodate arbitrary graph topologies, utilizing topological ordering to maintain computational efficiency through matrix operations. The Borolo algorithm implements an iterative structural evolution process that alternates between adding neurons with full connectivity and pruning connections based on a fitness function that combines synaptic weight magnitude with activation variance, effectively measuring both connection strength and information flow. Key technical contributions include: (1) a connection classification function based on the product of weight magnitude and activation variance (?iwi), which serves as a proxy for information-theoretic importance; (2) generational momentum, a technique that scales weight updates based on connection age to preserve learned representations while allowing fine-tuning; and (3) adaptive gradient clipping (AGC) combined with L2 regularization to prevent gradient explosion in potentially deep evolved architectures. Experimental evaluation on synthetic classification datasets demonstrates the effectiveness of the approach. On a four-class concentric circles dataset, Borolo achieved perfect classification (Macro F1-Score = 1.0) with 96 trainable parameters after 3 structural iterations, while comparable dense (DNN) and deep (PNN) neural networks achieved only 0.2643 and 0.1801 respectively. On a more challenging three-arm spiral dataset, Borolo again achieved perfect classification with 247 parameters after 7 structural iterations, compared to 0.6366 for DNN and 0.1845 for PNN architectures with similar parameter counts.

Las arquitecturas de redes neuronales actuales se construyen predominantemente mediante la concatenación de módulos predefinidos, como capas convolucionales o mecanismos de atención, lo cual restringe significativamente el espacio de soluciones posibles. El presente trabajo introduce las Redes Neuronales Borolo, un nuevo paradigma para el diseño y optimización de arquitecturas neuronales que opera directamente a nivel de neurona individual, trascendiendo las limitaciones impuestas por los enfoques tradicionales. Se establece un marco teórico basado en teoría de grafos para representar y manipular redes neuronales como grafos dirigidos acíclicos, donde la topología evoluciona dinámicamente mediante la adición y eliminación selectiva de neuronas y conexiones sinápticas. El algoritmo propuesto integra mecanismos de propagación hacia adelante y retropropagación adaptados para estructuras dinámicas, junto con una función de clasificación de conexiones que combina la varianza de activaciones y la magnitud de pesos para evaluar la importancia de cada conexión. La metodología implementa un proceso iterativo que alterna entre el crecimiento estructural, mediante la adición de neuronas completamente conectadas, y la poda de conexiones menos relevantes basada en la métrica ?iwi. Adicionalmente, se introduce el momento generacional para preservar la información aprendida en iteraciones anteriores mientras se permite el ajuste fino de nuevas conexiones. La evaluación experimental se realizó sobre dos conjuntos de datos sintéticos con fronteras de decisión no lineales complejas: círculos concéntricos y espirales de tres brazos. Los resultados demuestran que Borolo alcanza clasificación perfecta (Macro F1-Score = 1.0) en ambos problemas, superando significativamente a redes neuronales densas y profundas tradicionales con cantidad similar de parámetros, las cuales obtuvieron F1-Scores inferiores a 0.64. En conclusión, las Redes Neuronales Borolo representan un enfoque prometedor para la búsqueda automática de arquitecturas que permite explorar un espacio de soluciones más amplio, adaptando automáticamente la complejidad estructural a los requerimientos específicos del problema con mayor eficiencia computacional.