Rosemary: Arsitektur pipeline RAG sebagai dasar untuk AI Chatbot Restoran

Whitepaper ini menjelaskan perancangan dan implementasi arsitektur Retrieval-Augmented Generation (RAG) untuk sistem asisten restoran. Dokumen ini membahas tahapan ingestion, retrieval, augmentation/generation, serta evaluation, termasuk bagaimana data menu dan promo disiapkan, di-embed, dan diretriev melalui FAISS serta diperkuat dengan menggunakan Cross-Encoder. Selain itu, whitepaper ini memaparkan berbagai mekanisme kontrol seperti query validation, fast-path reasoning, dan post-processing untuk meminimalkan halusinasi model. Hasil eksperimen pada lingkungan GPU T4 menunjukkan bahwa sistem dapat berjalan efisien dengan latensi rendah.