Adaptive Federated Retrieval-Augmented Generation over Distributed Big Data Systems

Saideh Naderi¹ Seyyed Hamid Ghafouri² Azam Sadat Mirtajodini³ Raziyeh Khojasteh nejad⁴

Abstract :
The rapid adoption of Retrieval-Augmented Generation (RAG) has enabled large language models (LLMs) to incorporate external knowledge; however, existing RAG architectures predominantly rely on centralized indexing and data aggregation, which limits scalability and raises privacy concerns in distributed big data environments. This paper proposes an Adaptive Federated Retrieval-Augmented Generation (AFRAG) framework designed for decentralized big data systems where data remain locally stored across multiple nodes. The primary objective is to enable scalable, privacy-preserving, and high-quality knowledge retrieval and generation without transferring raw data. The proposed architecture integrates federated embedding learning, adaptive query routing, and privacy-aware aggregation mechanisms to dynamically select relevant nodes and optimize retrieval performance under communication and latency constraints. A distributed experimental setup is implemented to simulate heterogeneous data silos, and the framework is evaluated against centralized and baseline federated RAG approaches using standard retrieval and generation metrics, communication overhead, and latency measurements. Experimental results demonstrate that AFRAG improves retrieval relevance and answer accuracy while significantly reducing communication cost and preserving data locality. The findings indicate that adaptive routing combined with federated embedding optimization provides an effective solution for scalable and privacy-conscious LLM-driven analytics in large-scale distributed data ecosystems.

Keywords : federated learning retrieval augmented generation (rag) distributed big data systems adaptive query routing privacy preserving analytics large language models (llms)

---

زبان مقاله : انگلیسی
محور مقاله : فناوری های کاربردی هوش مصنوعی و کاربردهای آن در علوم مختلف
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری
آدرس وب سایت کنفرانس : itnaf.ir
کد IOI مقاله : AAHD-ABCHCD
لینک مستقیم مقاله : https://isnac.ir/AAHD-ABCHCD
نمایش چکیده فارسی : https://isnac.ir/SA/AAHD-ABCHCD

سایر مقالات ارائه دهنده

1. Optimal design of digital image steganography based on chaotic maps
2. طراحی معماری یکپارچه مدل‌های زبانی بزرگ انسان‌محور: مدل‌سازی چندهدفه شخصی‌سازی، تبیین‌پذیری وفادار و عدالت زبانی
3. Adaptive Federated Retrieval-Augmented Generation over Distributed Big Data Systems
4. ارائه چارچوب نهان‌نگاری تصویر مقاوم در برابر حملات ناشناخته مبتنی بر تولیدگر حملات خصمانه و ترکیب خبرگان پویا

سایر مقالات محل انتشار

1. A Study on Design Understandability and Interaction of the therapy-specific Robots
2. طراحی و مهندسی یک حسگر زیستی نوری چند مدی پلاسمونیک مبتنی بر تشدیدگرهای حلقه شکاف برای سنجش جامع آنتی‌ژن
3. طراحی یک اسیلاتورکنترل شونده با ولتاژ با نویز فاز بسیار پایین و بازه وسیع فرکانسی با تکنولوژی نانولوله کربنی برای کاربردهای PLL
4. یک چارچوب هوشمند آگاه به زمینه برای ارتباطات V2V و V2Iدر شبکه‌های خودرویی شهرهای هوشمند با استفاده از داده‌های ترافیکی شبکه سلولی
5. An Ensemble Non-Dominated Feature Selection Method: A Case Study on Prostate Cancer
6. تشخیص زودهنگام پوسیدگی دندان با استفاده از شبکه‌های عصبی
7. Simulation and Performance Comparison of Torque Tube and LVDT Sensors in Displacer-Based Level Measurement Systems
8. ارتقا سامانه ناوبری پهپاد مهاجر ۶ با استفاده از فناوری
9. کاربرد نانوذرات مگنتیت (Fe3O4) در پزشکی (از سنتز تا عملکرد)
10. Simulation and Modeling of Floating-Gate Non-Volatile Memory Performance: Focus on Oxide Thickness, Programming Speed, and Charge Transport Mechanisms
11. Fraud Analytics with Big Data: A Literature Review on Machine Learning Algorithms in Bankruptcy Prediction and Financial Fraud Detection
12. تحلیل آینده‌پژوهانه هم‌گرایی هوش مصنوعی، فناوری نانو و فناوری اطلاعات در مسیر تحول صنعتی آینده
13. نقش تحول دیجیتال در خدمات کتابخانه‌های عمومی برای توان‌یابان جسمی و ذهنی
14. Prediction and Optimization of Oxygen Production under Microgravity Conditions Using Machine Learning
15. Simulation and Performance Comparison of Ultrasonic, Non-Contact Radar, and Guided Wave Radar Sensors in Level Measurement Systems