Припремите документе за RAG: поправите извор пре него што мењате упит

Асистент ваше базе знања стално цитира старо правило или изоставља део табеле. Beeuni може да прочита изворне документе, пронађе застареле копије и грешке у издвајању текста и припреми исправљен текст за претрагу. На примеру водича за испоруку показујемо шта треба проверити и које датотеке извести.

Генерисање уз допуну преузетим садржајем, односно RAG, проналази релевантне одломке у вашим документима и доставља их моделу када одговара на питање. Ти одломци се често називају сегментима: мањим деловима текста припремљеним за претрагу. Beeuni агент може да прикупи документе из повезане базе знања или јавног сајта за помоћ, издвоји њихов текст и покрене скрипте за припрему тих сегмената. Ваша апликација их затим индексира и претражује алатима које изаберете.

Прикупите базу знања тамо где се налази

За јавни сајт за помоћ задајте агенту почетну URL адресу и одељке које треба укључити. Затражите да прати релевантне везе, сачува текст чланака и наведе странице које није могао да отвори. За приватну документацију повежите услугу и одобрите приступ одговарајућој колекцији. Само то што је URL приватне странице познат не значи да је страница доступна за читање.

За сваку страницу или референцу документа водите манифест колекције са насловом, временом преузимања и подацима о верзији, ако их извор садржи. Commit у репозиторијуму може да идентификује снимак документације; за страницу са активног сајта за помоћ можда ће бити потребно сачувати засебну копију. Пре припреме новог извоза, агент може да упореди овај попис са претходним увозом и утврди које су странице измењене, уклоњене или новооткривене.

Почните од питања на које апликација погрешно одговара

У изворном документу пронађите одломак који би требало да одговори на питање. Упоредите ту страницу са издвојеним текстом и сегментом који је пронашао систем за преузимање. Тако ћете утврдити да ли је проблем у издвајању или преузимању текста. Ако је исправан одломак стигао до модела, проверите како га је искористио у одговору.

Заглавље табеле може да промени одговор

Замислите водич за испоруку са табелом чије заглавље гласи „Рок испоруке, радни дани од слања“. У реду за стандардну услугу стоји вредност „3–5“. Ако се при издвајању текста сачува само „Стандардна: 3–5“, губе се и јединица и почетни догађај. Модел сада мора да нагађа да ли број означава дане, цену или нешто треће.

Example of a passage with its context preserved:
Document: Shipping guide
Section: Delivery estimates
Service: Standard
Delivery time: 3–5 business days after dispatch
Source: sample-shipping-guide.pdf, page 2

Тај одломак може да послужи као основа за одговор на питање „Колико траје стандардна испорука након слања?“ Не може да одговори на питање „Хоће ли моја поруџбина стићи до петка?“ без датума слања и одговарајућег календара. У проверу укључите оба питања: прво показује да ли је табела сачувана приликом издвајања, а друго да ли апликација препознаје да јој недостају подаци.

Шта треба да буде сачувано уз сваки одломак?

Задржите стабилан ID документа, наслов, одељак, референцу на страницу када је доступна, као и верзију или датум ступања на снагу. За јавне странице сачувајте изворни URL. Ова поља омогућавају апликацији да прикаже цитат и разликује две верзије са сличним формулацијама.

Не постоји величина сегмента која одговара свакој колекцији. Кратак одговор из честих питања може да остане цео. Дуга процедура можда ће морати да се подели на више сегмената, од којих сваки задржава наслов одељка. Затражите од агента да извезе узорак, па прочитајте сегменте без отварања изворних докумената. Проверите да ли појмови, јединице и изузеци и даље имају смисла.

Може ли агент да састави и питања за евалуацију?

Може да предложи питања на основу докумената. Пре него што их употребите за процену апликације, проверите очекиване одговоре и изворне одломке. Укључите питања чији одговори обухватају више одељака, питања о застарелим правилима и питања на која колекција не може да одговори. Овај скуп за евалуацију држите одвојено од примера које користите за подешавање система.

Пратите један проблем кроз резултате преузимања

Вратите се измишљеном водичу за испоруку. Претпоставимо да у актуелном водичу пише да стандардна испорука траје 3–5 радних дана од слања, док стари водич наводи 2–3. Ваша апликација одговара „2–3 дана“. Сачувајте питање, преузете одломке поређане онако како су враћени, њихове метаподатке и одговор. Сада можете да истражите како је застарело правило ушло у одговор.

Ако се појављује само стари водич, проверите да ли је замена увезена и да ли је филтер по верзији искључио актуелни документ. Ако се појављују обе верзије, погледајте како апликација бира између њих. Ако исправан одломак стигне без заглавља, поправите издвајање текста или границу сегмента. Ако модел добије потпун и актуелан одломак, али у одговору ипак изостави „радних дана од слања“, проверите генерисање одговора. Поновно издвајање целе колекције не би решило тај последњи проблем.

Уз случај за евалуацију сачувајте и овај траг. После измене упоредите и одломке и одговор. Уверљив одговор може да прикрије пропуст у преузимању ако модел већ зна сличну чињеницу. Зато може да погреши на следећем питању о правилу специфичном за ваше документе.

Тестирајте величину сегмената помоћу питања за евалуацију

Већи сегменти могу да сачувају процедуру и њене изузетке, али у упит уносе и неповезан текст. Мањи сегменти могу да олакшају проналажење чињенице, али да је одвоје од услова под којим она важи. Преклапање може да помогне на границама, али може и да попуни више места у резултатима готово истим одломком. Пре него што ове поставке примените на целу колекцију, прегледајте враћене скупове резултата.

За свако прегледано питање означите који одломци су довољни за поткрепљен одговор. Проверите да ли се они налазе међу резултатима које апликација шаље моделу. Забележите и нерелевантне и дуплиране резултате. Коначне одговоре засебно процените према чињеничној поткрепљености, цитатима и препознавању информација које недостају. Једна укупна оцена отежава увид у то који се део променио.

Уз сваки извоз сачувајте тестна питања и поставке преузимања. Када тестирате чистији изворни текст, најпре користите исту конфигурацију преузимања. Када тестирате величину сегмената или рангирање, немојте мењати верзију извора. Ако мењате обе ствари истовремено, одговор може бити бољи, али нећете знати која је измена помогла.

Шта треба да извезете из Beeuni-ја?

Затражите очишћен текст, записе одломака са метаподацима, манифест извора и списак грешака при издвајању. Увезите те датотеке у свој систем за индексирање.

У водичу за припрему скупова података описани су записи за преглед и поделе података. Ако желите да покренете припрему из своје апликације, погледајте коришћење Beeuni-ја као позадинског система за агента.