Achieving the Neural Frontier: The LLM Race for Scalable Retrieval

Description

Abstract (English)

Today’s AI companies run search systems that compare every query against huge clouds of numbers on GPUs, and the bill runs into billions. This paper argues that librarians in developing countries already discovered a better design in 1985, when CDS/ISIS let them index millions of documents on tiny machines. The idea is simple: let neural networks understand meaning, but let a separate symbolic index handle the actual searching and organizing. By turning neural outputs into stable symbols and storing them in a tree-structured index, the system can answer queries with a few fast lookups instead of scanning billions of vectors. Many modern tools are drifting in this direction without naming it, and rising hardware and energy costs will eventually make this hybrid architecture unavoidable.

Methods (English)

This work identifies an overlooked Pareto frontier for neural retrieval that was effectively reached once—in the CDS/ISIS architecture of the 1980s—and then abandoned when hardware became cheap. By showing that today’s billion-scale systems are unintentionally recreating CDS/ISIS principles, it reframes recent “innovations” as costly rediscoveries of a mathematically privileged design. The Two-Level Theory and Neural-to-Symbolic Bridge provide a shared language that links historical library software, theoretical limits on embedding-based retrieval, and current industrial practice, clarifying why GPU and energy constraints will pull large-scale AI systems back toward symbolic indexing. This perspective motivates concrete next steps: formalizing the split between semantic and structural entropy and building end-to-end prototypes that couple LLM encoders to CDS/ISIS-style engines.

Abstract (English)

Abstract: Modern vector databases and LLM-based retrieval systems spend billions of dollars to approximate a solution UNESCO deployed on 64KB machines in 1985. This article develops a Two-Level Theory of Information Retrieval, separating semantic understanding (Level 1) from structural organization (Level 2), and shows that merging these roles forces neural systems into unsustainable O(n⋅d) O(n⋅d) scaling. An architectural analysis of eight state-of-the-art systems—FAISS, DiskANN, ScaNN, SPANN, TiDAR, Pinecone, Weaviate, and continuous batching engines—reveals that each independently re-derives CDS/ISIS mechanisms: inverted files, hierarchical B-tree indexing, field independence, and variable-length records. The proposed Neural-to-Symbolic Bridge lets LLMs generate discrete keys that drive a CDS/ISIS-style engine, collapsing retrieval to O(log⁡k) O(logk) and theoretically enabling 10× cost reduction with single-digit millisecond latency at comparable recall. This end-to-end architecture has not yet been implemented; instead, the industry remains below a reachable Pareto frontier and will be driven toward this forgotten optimum as GPU memory and energy constraints tighten. 

Plain language summary: Today’s AI companies run search systems that compare every query against huge clouds of numbers on GPUs, and the bill runs into billions. This paper argues that librarians in developing countries already discovered a better design in 1985, when CDS/ISIS let them index millions of documents on tiny machines. The idea is simple: let neural networks understand meaning, but let a separate symbolic index handle the actual searching and organizing. By turning neural outputs into stable symbols and storing them in a tree-structured index, the system can answer queries with a few fast lookups instead of scanning billions of vectors. Many modern tools are drifting in this direction without naming it, and rising hardware and energy costs will eventually make this hybrid architecture unavoidable.

Significance Statement: This work identifies an overlooked Pareto frontier for neural retrieval that was effectively reached once—in the CDS/ISIS architecture of the 1980s—and then abandoned when hardware became cheap. By showing that today’s billion-scale systems are unintentionally recreating CDS/ISIS principles, it reframes recent “innovations” as costly rediscoveries of a mathematically privileged design. The Two-Level Theory and Neural-to-Symbolic Bridge provide a shared language that links historical library software, theoretical limits on embedding-based retrieval, and current industrial practice, clarifying why GPU and energy constraints will pull large-scale AI systems back toward symbolic indexing. This perspective motivates concrete next steps: formalizing the split between semantic and structural entropy and building end-to-end prototypes that couple LLM encoders to CDS/ISIS-style engines.

Abstract (French)

Résumé : Les bases de données vectorielles modernes et les systèmes de recherche basés sur les LLM dépensent des milliards de dollars pour approcher une solution déployée par l'UNESCO sur des machines de 64 Ko en 1985. Cet article développe une théorie à deux niveaux de la recherche d'informations, séparant la compréhension sémantique (niveau 1) de l'organisation structurelle (niveau 2), et montre que la fusion de ces rôles oblige les systèmes neuronaux à adopter une échelle O(n⋅d) O(n⋅d) non viable. Une analyse architecturale de huit systèmes de pointe (FAISS, DiskANN, ScaNN, SPANN, TiDAR, Pinecone, Weaviate et les moteurs de traitement par lots continus) révèle que chacun d'entre eux redéfinit indépendamment les mécanismes CDS/ISIS : fichiers inversés, indexation hiérarchique B-tree, indépendance des champs et enregistrements de longueur variable. Le pont neuronal-symbolique proposé permet aux LLM de générer des clés discrètes qui pilotent un moteur de type CDS/ISIS, réduisant la récupération à O(log⁡k)O(logk) et permettant théoriquement une réduction des coûts de 10 fois avec une latence inférieure à 10 millisecondes pour un rappel comparable. Cette architecture de bout en bout n'a pas encore été mise en œuvre ; au contraire, l'industrie reste en deçà d'une frontière de Pareto accessible et sera poussée vers cet optimum oublié à mesure que les contraintes de mémoire et d'énergie des GPU se resserrent. 

Résumé en langage clair : les entreprises d'IA actuelles exploitent des systèmes de recherche qui comparent chaque requête à d'énormes nuages de chiffres sur des GPU, ce qui coûte des milliards. Cet article soutient que les bibliothécaires des pays en développement ont déjà découvert une meilleure conception en 1985, lorsque CDS/ISIS leur a permis d'indexer des millions de documents sur de petites machines. L'idée est simple : laisser les réseaux neuronaux comprendre le sens, mais laisser un index symbolique distinct gérer la recherche et l'organisation proprement dites. En transformant les sorties neuronales en symboles stables et en les stockant dans un index structuré en arbre, le système peut répondre aux requêtes à l'aide de quelques recherches rapides au lieu de scanner des milliards de vecteurs. De nombreux outils modernes s'orientent dans cette direction sans le nommer, et l'augmentation des coûts matériels et énergétiques rendra finalement cette architecture hybride inévitable.

Déclaration d'importance : Ce travail identifie une frontière de Pareto négligée pour la recherche neuronale qui a été effectivement atteinte une fois - dans l'architecture CDS/ISIS des années 1980 - puis abandonnée lorsque le matériel est devenu bon marché. En montrant que les systèmes actuels à l'échelle du milliard recréent involontairement les principes CDS/ISIS, il recadre les « innovations » récentes comme des redécouvertes coûteuses d'une conception mathématiquement privilégiée. La théorie à deux niveaux et le pont entre le neuronal et le symbolique fournissent un langage commun qui relie les logiciels de bibliothèque historiques, les limites théoriques de la recherche basée sur l'intégration et les pratiques industrielles actuelles, clarifiant pourquoi les contraintes liées aux GPU et à l'énergie ramèneront les systèmes d'IA à grande échelle vers l'indexation symbolique. Cette perspective motive les prochaines étapes concrètes : formaliser la distinction entre l'entropie sémantique et l'entropie structurelle et construire des prototypes de bout en bout qui couplent les encodeurs LLM à des moteurs de type CDS/ISIS.

Abstract (Spanish)

Resumen: Las bases de datos vectoriales modernas y los sistemas de recuperación basados en LLM gastan miles de millones de dólares para aproximarse a una solución que la UNESCO implementó en máquinas de 64 KB en 1985. Este artículo desarrolla una teoría de dos niveles de la recuperación de información, separando la comprensión semántica (nivel 1) de la organización estructural (nivel 2), y muestra que la fusión de estas funciones obliga a los sistemas neuronales a un escalado O(n⋅d) O(n⋅d) insostenible. Un análisis arquitectónico de ocho sistemas de última generación —FAISS, DiskANN, ScaNN, SPANN, TiDAR, Pinecone, Weaviate y motores de procesamiento por lotes continuos— revela que cada uno de ellos vuelve a derivar de forma independiente los mecanismos CDS/ISIS: archivos invertidos, indexación jerárquica en árbol B, independencia de campos y registros de longitud variable. El puente neuronal-simbólico propuesto permite a los LLM generar claves discretas que impulsan un motor de estilo CDS/ISIS, reduciendo la recuperación a O(log⁡k)O(logk) y permitiendo teóricamente una reducción de costes de 10 veces con una latencia de un solo dígito en milisegundos con una recuperación comparable. Esta arquitectura integral aún no se ha implementado; en cambio, la industria permanece por debajo de una frontera de Pareto alcanzable y se verá impulsada hacia este óptimo olvidado a medida que se endurezcan las restricciones de memoria y energía de las GPU.

Resumen en lenguaje sencillo: Las empresas de IA actuales utilizan sistemas de búsqueda que comparan cada consulta con enormes nubes de números en GPU, y la factura asciende a miles de millones. Este artículo sostiene que los bibliotecarios de los países en desarrollo ya descubrieron un diseño mejor en 1985, cuando CDS/ISIS les permitió indexar millones de documentos en máquinas diminutas. La idea es sencilla: dejar que las redes neuronales comprendan el significado, pero dejar que un índice simbólico independiente se encargue de la búsqueda y la organización reales. Al convertir los resultados neuronales en símbolos estables y almacenarlos en un índice con estructura de árbol, el sistema puede responder a las consultas con unas pocas búsquedas rápidas en lugar de escanear miles de millones de vectores. Muchas herramientas modernas están avanzando en esta dirección sin nombrarla, y el aumento de los costes de hardware y energía acabará por hacer inevitable esta arquitectura híbrida.

Declaración de importancia: Este trabajo identifica una frontera de Pareto pasada por alto para la recuperación neuronal que se alcanzó efectivamente una vez, en la arquitectura CDS/ISIS de la década de 1980, y que luego se abandonó cuando el hardware se abarató. Al mostrar que los sistemas actuales a escala de miles de millones están recreando involuntariamente los principios de CDS/ISIS, replantea las recientes «innovaciones» como costosos redescubrimientos de un diseño matemáticamente privilegiado. La teoría de dos niveles y el puente neuronal-simbólico proporcionan un lenguaje común que vincula el software bibliotecario histórico, los límites teóricos de la recuperación basada en la incrustación y la práctica industrial actual, aclarando por qué las limitaciones de la GPU y la energía harán que los sistemas de IA a gran escala vuelvan a la indexación simbólica. Esta perspectiva motiva los siguientes pasos concretos: formalizar la división entre entropía semántica y estructural y construir prototipos de extremo a extremo que acoplen codificadores LLM a motores de estilo CDS/ISIS.

Abstract (German)

Zusammenfassung: Moderne Vektordatenbanken und LLM-basierte Suchsysteme geben Milliarden von Dollar aus, um eine Lösung zu approximieren, die die UNESCO 1985 auf 64-KB-Rechnern implementiert hat. Dieser Artikel entwickelt eine zweistufige Theorie der Informationsgewinnung, die semantisches Verständnis (Stufe 1) von struktureller Organisation (Stufe 2) trennt, und zeigt, dass die Zusammenführung dieser Rollen neuronale Systeme zu einer nicht nachhaltigen O(n⋅d) O(n⋅d)-Skalierung zwingt. Eine architektonische Analyse von acht hochmodernen Systemen – FAISS, DiskANN, ScaNN, SPANN, TiDAR, Pinecone, Weaviate und Continuous Batching Engines – zeigt, dass jedes dieser Systeme unabhängig voneinander CDS/ISIS-Mechanismen neu ableitet: invertierte Dateien, hierarchische B-Baum-Indizierung, Feldunabhängigkeit und Datensätze mit variabler Länge. Die vorgeschlagene Neural-to-Symbolic Bridge ermöglicht es LLMs, diskrete Schlüssel zu generieren, die eine CDS/ISIS-ähnliche Engine antreiben, wodurch die Abfrage auf O(log⁡k)O(logk) reduziert wird und theoretisch eine 10-fache Kostenreduzierung mit einer Latenz im einstelligen Millisekundenbereich bei vergleichbarer Wiederauffindbarkeit ermöglicht wird. Diese End-to-End-Architektur wurde noch nicht implementiert; stattdessen bleibt die Branche unterhalb einer erreichbaren Pareto-Grenze und wird mit zunehmenden Einschränkungen bei GPU-Speicher und Energieverbrauch auf dieses vergessene Optimum zusteuern.

Zusammenfassung in einfacher Sprache: Heutige KI-Unternehmen betreiben Suchsysteme, die jede Anfrage mit riesigen Zahlenwolken auf GPUs vergleichen, was Milliarden kostet. In diesem Artikel wird argumentiert, dass Bibliothekare in Entwicklungsländern bereits 1985 ein besseres Design entdeckt haben, als CDS/ISIS es ihnen ermöglichte, Millionen von Dokumenten auf winzigen Maschinen zu indexieren. Die Idee ist einfach: Neuronale Netze sollen die Bedeutung verstehen, aber ein separater symbolischer Index soll die eigentliche Suche und Organisation übernehmen. Indem neuronale Ausgaben in stabile Symbole umgewandelt und in einem baumstrukturierten Index gespeichert werden, kann das System Anfragen mit wenigen schnellen Suchvorgängen beantworten, anstatt Milliarden von Vektoren zu scannen. Viele moderne Tools bewegen sich in diese Richtung, ohne dies zu benennen, und steigende Hardware- und Energiekosten werden diese hybride Architektur letztendlich unvermeidlich machen.

Bedeutungserklärung: Diese Arbeit identifiziert eine übersehene Pareto-Grenze für die neuronale Suche, die einmal – in der CDS/ISIS-Architektur der 1980er Jahre – effektiv erreicht und dann aufgegeben wurde, als Hardware billig wurde. Indem sie zeigt, dass die heutigen Milliarden-Systeme unbeabsichtigt die CDS/ISIS-Prinzipien wiederherstellen, definiert sie die jüngsten „Innovationen” neu als kostspielige Wiederentdeckungen eines mathematisch privilegierten Designs. Die Zwei-Ebenen-Theorie und die Brücke zwischen neuronaler und symbolischer Verarbeitung bieten eine gemeinsame Sprache, die historische Bibliothekssoftware, theoretische Grenzen der eingebetteten Suche und aktuelle industrielle Praxis miteinander verbindet und verdeutlicht, warum GPU- und Energiebeschränkungen große KI-Systeme wieder in Richtung symbolischer Indizierung zurückziehen werden. Diese Perspektive motiviert zu konkreten nächsten Schritten: der Formalisierung der Trennung zwischen semantischer und struktureller Entropie und dem Bau von End-to-End-Prototypen, die LLM-Encoder mit CDS/ISIS-ähnlichen Engines koppeln.

Abstract (Russian)

Аннотация: Современные векторные базы данных и системы поиска на основе LLM тратят миллиарды долларов на приближение к решению, которое ЮНЕСКО внедрила на машинах с объемом памяти 64 КБ в 1985 году. В этой статье разработана двухуровневая теория поиска информации, отделяющая семантическое понимание (уровень 1) от структурной организации (уровень 2), и показано, что объединение этих ролей приводит к неустойчивому масштабированию нейронных систем O(n⋅d) O(n⋅d). Архитектурный анализ восьми современных систем — FAISS, DiskANN, ScaNN, SPANN, TiDAR, Pinecone, Weaviate и непрерывных пакетных движков — показывает, что каждая из них независимо переосмысливает механизмы CDS/ISIS: инвертированные файлы, иерархическую индексацию B-деревьев, независимость полей и записи переменной длины. Предлагаемый мост «нейронный-символьный» позволяет LLM генерировать дискретные ключи, которые управляют движком типа CDS/ISIS, сводя поиск к O(log⁡k)O(logk) и теоретически позволяя в 10 раз снизить затраты с задержкой в однозначных миллисекундах при сопоставимой точности поиска. Эта сквозная архитектура еще не реализована; вместо этого отрасль остается ниже достижимой границы Парето и будет двигаться к этому забытому оптимуму по мере ужесточения ограничений по памяти и энергии GPU. 

Краткое изложение простым языком: Сегодняшние компании, занимающиеся искусственным интеллектом, используют поисковые системы, которые сравнивают каждый запрос с огромными облаками чисел на GPU, и счета за это исчисляются миллиардами. В этой статье утверждается, что библиотекари в развивающихся странах уже обнаружили лучшую конструкцию в 1985 году, когда CDS/ISIS позволил им индексировать миллионы документов на крошечных машинах. Идея проста: позволить нейронным сетям понимать значение, но поручить фактический поиск и организацию отдельному символьному индексу. Превращая нейронные выходы в стабильные символы и храня их в индексе с древовидной структурой, система может отвечать на запросы с помощью нескольких быстрых поисков вместо сканирования миллиардов векторов. Многие современные инструменты движутся в этом направлении, не называя его, а растущие затраты на оборудование и энергию в конечном итоге сделают эту гибридную архитектуру неизбежной.

Значение: эта работа выявляет упущенную границу Парето для нейронного поиска, которая была эффективно достигнута однажды — в архитектуре CDS/ISIS 1980-х годов — а затем заброшена, когда аппаратное обеспечение стало дешевым. Показывая, что сегодняшние системы масштаба в миллиарды непреднамеренно воссоздают принципы CDS/ISIS, она переосмысливает недавние «инновации» как дорогостоящие повторные открытия математически привилегированного дизайна. Двухуровневая теория и нейронно-символьный мост обеспечивают общий язык, который связывает историческое библиотечное программное обеспечение, теоретические ограничения поиска на основе встраивания и современную промышленную практику, поясняя, почему ограничения GPU и энергии вернут крупномасштабные системы ИИ к символьной индексации. Эта точка зрения мотивирует конкретные следующие шаги: формализация раздела между семантической и структурной энтропией и создание сквозных прототипов, которые соединяют кодировщики LLM с движками в стиле CDS/ISIS.

Abstract (Mandarin Chinese)

摘要: 现代向量数据库和基于大型语言模型的检索系统耗资数十亿美元,却仅能近似实现联合国教科文组织1985年在64KB机器上部署的解决方案。本文提出双层信息检索理论,将语义理解(第一层)与结构组织(第二层)分离,并证明强行合并这两项功能将导致神经网络陷入不可持续的O(n⋅d) O(n⋅d)复杂度扩展困境。对八种尖端系统(FAISS、DiskANN、ScaNN、SPANN、TiDAR、Pinecone、Weaviate及连续批处理引擎)的架构分析表明,各系统均独立重构了CDS/ISIS机制:倒排文件、分层B树索引、字段独立性及可变长记录。提出的“神经-符号桥梁”使LLM能生成驱动CDS/ISIS引擎的离散键值,将检索复杂度压缩至O(logk),理论上可在同等召回率下实现成本10倍缩减与个位数毫秒级延迟。该端到端架构尚未实现;当前行业仍停留在可达的帕累托前沿之下,随着GPU内存与能耗约束日益严峻,将被迫向这一被遗忘的最优解靠拢。

通俗说明:当前AI企业的检索系统需在GPU上将每个查询与海量数字云进行比对,成本高达数十亿。本文指出发展中国家的图书馆员早在1985年就发现了更优方案——CDS/ISIS系统曾让他们在微型计算机上完成数百万文档的索引。核心理念简明:让神经网络理解语义,但由独立的符号索引处理实际检索与组织工作。通过将神经网络输出转化为稳定符号并存储于树形索引结构中,系统只需快速查询即可响应查询,而非扫描数十亿向量。许多现代工具正悄然朝此方向演进,而不断攀升的硬件与能源成本终将使这种混合架构成为必然选择。

意义陈述:本研究揭示了神经检索领域被忽视的帕累托最优解——该方案曾在1980年代的CDS/ISIS架构中实现,后因硬件成本降低而被弃用。通过证明当今十亿级系统正无意间复刻CDS/ISIS原理,本研究将近期所谓“创新”重新定义为对数学优越设计的高昂重构。双层理论与神经-符号桥梁构建了统一语言体系,将历史图书馆软件、基于嵌入检索的理论极限与当前工业实践相联结,阐明了GPU与能源限制为何将推动大规模AI系统回归符号索引。这一视角催生了具体行动方向:将语义熵与结构熵的分离形式化,并构建将大型语言模型编码器与CDS/ISIS式引擎耦合的端到端原型系统。

Abstract (Turkish)

Özet: Modern vektör veritabanları ve LLM tabanlı arama sistemleri, UNESCO'nun 1985 yılında 64 KB'lık makinelerde uyguladığı bir çözüme yaklaşmak için milyarlarca dolar harcıyor. Bu makale, semantik anlayışı (Seviye 1) ve yapısal organizasyonu (Seviye 2) birbirinden ayıran İki Seviyeli Bilgi Alma Teorisini geliştiriyor ve bu rollerin birleştirilmesinin sinir sistemlerini sürdürülemez O(n⋅d) O(n⋅d) ölçeklemeye zorladığını gösteriyor. FAISS, DiskANN, ScaNN, SPANN, TiDAR, Pinecone, Weaviate ve sürekli toplu işleme motorları olmak üzere sekiz adet son teknoloji sistemin mimari analizi, her birinin bağımsız olarak CDS/ISIS mekanizmalarını yeniden türettiğini ortaya koymaktadır: tersine çevrilmiş dosyalar, hiyerarşik B-ağacı indeksleme, alan bağımsızlığı ve değişken uzunlukta kayıtlar. Önerilen Neural-to-Symbolic Bridge, LLM'lerin CDS/ISIS tarzı bir motoru çalıştıran ayrık anahtarlar üretmesini sağlar, bu da geri getirmeyi O(log⁡k)O(logk) düzeyine indirir ve teorik olarak, benzer geri getirme oranında tek haneli milisaniye gecikme süresiyle 10 kat maliyet azaltımı sağlar. Bu uçtan uca mimari henüz uygulanmamıştır; bunun yerine, endüstri ulaşılabilir bir Pareto sınırının altında kalmaya devam etmekte ve GPU bellek ve enerji kısıtlamaları sıkılaştıkça bu unutulmuş optimum noktaya doğru yönlendirilecektir. 

Basit dil özeti: Günümüzün AI şirketleri, her sorguyu GPU'lardaki devasa sayı bulutlarıyla karşılaştıran arama sistemleri çalıştırıyor ve bunun maliyeti milyarlarca dolara ulaşıyor. Bu makale, gelişmekte olan ülkelerdeki kütüphanecilerin 1985 yılında CDS/ISIS'in küçük makinelerde milyonlarca belgeyi indekslemelerine olanak tanımasıyla daha iyi bir tasarım keşfettiklerini savunuyor. Fikir basit: sinir ağlarının anlamı anlamasına izin verin, ancak gerçek arama ve düzenlemeyi ayrı bir sembolik indeks yapın. Sinirsel çıktıları kararlı sembollere dönüştürerek ve bunları ağaç yapılı bir indeks içinde depolayarak, sistem milyarlarca vektörü taramak yerine birkaç hızlı arama ile sorguları yanıtlayabilir. Birçok modern araç, bunu isimlendirmeden bu yönde ilerlemektedir ve artan donanım ve enerji maliyetleri, sonunda bu hibrit mimariyi kaçınılmaz hale getirecektir.

Önem Beyanı: Bu çalışma, bir zamanlar etkili bir şekilde ulaşılan, ancak donanım ucuzladığında terk edilen, sinirsel geri getirme için gözden kaçan bir Pareto sınırını tanımlamaktadır. Günümüzün milyar ölçekli sistemlerinin istemeden CDS/ISIS ilkelerini yeniden yarattığını göstererek, son “yenilikleri” matematiksel olarak ayrıcalıklı bir tasarımın maliyetli yeniden keşifleri olarak yeniden çerçevelemektedir. İki Düzeyli Teori ve Sinirsel-Sembolik Köprü, tarihsel kütüphane yazılımını, gömme tabanlı erişimdeki teorik sınırları ve mevcut endüstriyel uygulamaları birbirine bağlayan ortak bir dil sağlar ve GPU ve enerji kısıtlamalarının neden büyük ölçekli AI sistemlerini sembolik indekslemeye geri çekeceğini açıklığa kavuşturur. Bu bakış açısı, somut sonraki adımları motive eder: semantik ve yapısal entropi arasındaki ayrımı resmileştirmek ve LLM kodlayıcıları CDS/ISIS tarzı motorlarla birleştiren uçtan uca prototipler oluşturmak.

Abstract (Cappadocian Greek)

Περίληψη: Οι σύγχρονες βάσεις δεδομένων διανυσμάτων και τα συστήματα ανάκτησης που βασίζονται σε LLM ξοδεύουν δισεκατομμύρια δολάρια για να προσεγγίσουν μια λύση που η UNESCO ανέπτυξε σε μηχανές 64KB το 1985. Αυτό το άρθρο αναπτύσσει μια θεωρία δύο επιπέδων για την ανάκτηση πληροφοριών, διαχωρίζοντας τη σημασιολογική κατανόηση (επίπεδο 1) από τη δομική οργάνωση (επίπεδο 2), και δείχνει ότι η συγχώνευση αυτών των ρόλων αναγκάζει τα νευρωνικά συστήματα σε μη βιώσιμη κλιμάκωση O(n⋅d) O(n⋅d). Μια αρχιτεκτονική ανάλυση οκτώ συστημάτων τελευταίας τεχνολογίας — FAISS, DiskANN, ScaNN, SPANN, TiDAR, Pinecone, Weaviate και μηχανές συνεχούς παρτίδας — αποκαλύπτει ότι το καθένα ανεξάρτητα επαναπροσδιορίζει τους μηχανισμούς CDS/ISIS: ανεστραμμένα αρχεία, ιεραρχική ευρετηρίαση B-tree, ανεξαρτησία πεδίου και εγγραφές μεταβλητού μήκους. Η προτεινόμενη γέφυρα Neural-to-Symbolic Bridge επιτρέπει στα LLM να δημιουργούν διακριτά κλειδιά που οδηγούν έναν μηχανισμό τύπου CDS/ISIS, μειώνοντας την ανάκτηση σε O(log⁡k)O(logk) και επιτρέποντας θεωρητικά 10× μείωση του κόστους με καθυστέρηση μονοψήφιου χιλιοστού του δευτερολέπτου σε συγκρίσιμη ανάκληση. Αυτή η αρχιτεκτονική από άκρο σε άκρο δεν έχει ακόμη εφαρμοστεί. Αντίθετα, ο κλάδος παραμένει κάτω από ένα εφικτό όριο Pareto και θα οδηγηθεί προς αυτό το ξεχασμένο βέλτιστο σημείο, καθώς οι περιορισμοί στη μνήμη και την ενέργεια των GPU γίνονται όλο και πιο αυστηροί. 

Περίληψη σε απλή γλώσσα: Οι σημερινές εταιρείες τεχνητής νοημοσύνης χρησιμοποιούν συστήματα αναζήτησης που συγκρίνουν κάθε ερώτηση με τεράστια σύννεφα αριθμών σε GPU, και το κόστος ανέρχεται σε δισεκατομμύρια. Αυτό το άρθρο υποστηρίζει ότι οι βιβλιοθηκονόμοι στις αναπτυσσόμενες χώρες είχαν ήδη ανακαλύψει ένα καλύτερο σχέδιο το 1985, όταν το CDS/ISIS τους επέτρεψε να ευρετηριάσουν εκατομμύρια έγγραφα σε μικροσκοπικές μηχανές. Η ιδέα είναι απλή: αφήστε τα νευρωνικά δίκτυα να κατανοήσουν το νόημα, αλλά αφήστε έναν ξεχωριστό συμβολικό δείκτη να χειριστεί την πραγματική αναζήτηση και οργάνωση. Μετατρέποντας τις νευρωνικές εξόδους σε σταθερά σύμβολα και αποθηκεύοντάς τα σε έναν δείκτη με δομή δέντρου, το σύστημα μπορεί να απαντήσει σε ερωτήματα με μερικές γρήγορες αναζητήσεις αντί να σαρώνει δισεκατομμύρια διανύσματα. Πολλά σύγχρονα εργαλεία κινούνται προς αυτή την κατεύθυνση χωρίς να το ονομάζουν, και η αύξηση του κόστους του υλικού και της ενέργειας θα καταστήσει τελικά αυτή την υβριδική αρχιτεκτονική αναπόφευκτη.

Δήλωση σημασίας: Αυτή η εργασία εντοπίζει ένα παραγνωρισμένο όριο Pareto για τη νευρωνική ανάκτηση, το οποίο επιτεύχθηκε αποτελεσματικά μία φορά —στην αρχιτεκτονική CDS/ISIS της δεκαετίας του 1980— και στη συνέχεια εγκαταλείφθηκε όταν το υλικό έγινε φθηνό. Δείχνοντας ότι τα σημερινά συστήματα κλίμακας δισεκατομμυρίων αναδημιουργούν ακούσια τις αρχές CDS/ISIS, αναδιαμορφώνει τις πρόσφατες «καινοτομίες» ως δαπανηρές ανακαλύψεις ενός μαθηματικά προνομιακού σχεδιασμού. Η θεωρία δύο επιπέδων και η γέφυρα από νευρωνικό σε συμβολικό παρέχουν μια κοινή γλώσσα που συνδέει το ιστορικό λογισμικό βιβλιοθηκών, τα θεωρητικά όρια της ανάκτησης βάσει ενσωμάτωσης και την τρέχουσα βιομηχανική πρακτική, διευκρινίζοντας γιατί οι περιορισμοί της GPU και της ενέργειας θα επαναφέρουν τα μεγάλης κλίμακας συστήματα τεχνητής νοημοσύνης προς τη συμβολική ευρετηρίαση. Αυτή η προοπτική παρακινεί συγκεκριμένα επόμενα βήματα: την τυποποίηση του διαχωρισμού μεταξύ σημασιολογικής και δομικής εντροπίας και την κατασκευή πρωτοτύπων end-to-end που συνδυάζουν κωδικοποιητές LLM με μηχανές τύπου CDS/ISIS.

Abstract (Hebrew)

Abstract (Arabic)