Uwaga w transformerze to pamięć asocjacyjna — co z tego wynika dla RAG i okna kontekstu
Skoro attention to miękkie wyszukiwanie po kluczach i wartościach, to RAG, kolejność promptu i okno kontekstu przestają być magią — stają się projektowaniem pamięci.