Локальный Deep Research. Совершенствуем собственный ИИ-поисковик

Что вооб­ще такое Deep Research и зачем он нужен? Такие сис­темы, а их уже мно­го, работа­ют как лич­ный ана­литик: не прос­то отве­чают на воп­рос, а раз­бира­ют его со всех сто­рон, сами стро­ят план иссле­дова­ния, идут в поис­ковики, работа­ют с источни­ками, отсе­кают информа­цион­ный мусор и собира­ют под­робный отчет.

По сути, я толь­ко что опи­сал алго­ритм работы таких сис­тем, но с одной ого­вор­кой: в сис­темах с пай­плай­ном иссле­дова­ние идет линей­но или, в луч­шем слу­чае, ите­ратив­но, а в более слож­ных сис­темах появ­ляет­ся реф­лексия. На каж­дом шаге сис­тема спра­шива­ет себя: эти дан­ные точ­но отно­сят­ся к зап­росу поль­зовате­ля? Их дос­таточ­но или нуж­но еще? Если ответ на любой из этих воп­росов отри­цатель­ный, сис­тема меня­ет стра­тегию: про­бует дру­гие источни­ки или меня­ет поис­ковый зап­рос.

В общем, это нас­тоящий мас­тхев для слож­ных задач, ког­да нуж­но с нуля пог­рузить­ся в нез­накомую тему, а вре­мени и желания вруч­ную про­сеивать сот­ни вкла­док баналь­но нет. (А вот для школь­ных рефера­тов или кур­совых такая сис­тема, во‑пер­вых, избы­точ­на, а во‑вто­рых, детек­торы тек­стов, написан­ных ИИ, то­же есть.)

По­чему сто­ит раз­ворачи­вать такую сис­тему имен­но на домаш­нем компь­юте­ре? Плю­сов хва­тает:

• Сво­бода выбора: ты сам реша­ешь, какую модель исполь­зовать как оркес­тра­тор. Если для какой‑то задачи нуж­на модель без цен­зуры — прос­то ска­чива­ешь нуж­ные веса.
• Ни­каких под­писок и банов: твою учет­ную запись ник­то вне­зап­но не заб­локиру­ет из‑за сме­ны кор­поратив­ных пра­вил, неп­равиль­ного воп­роса или подоз­рения, что ты несовер­шенно­лет­ний.
• Эко­номия (хотя с уче­том сто­имос­ти железа она весь­ма условная): авто­ном­ные аген­ты чита­ют и перева­рива­ют огромные объ­емы тек­ста. Тут либо брать под­писку с щед­рым лимитом, либо пла­тить за токены через API, вык­ладывая при­лич­ные сум­мы за мил­лионы сож­женных токенов. Впро­чем, ник­то не меша­ет тебе под­клю­чить через API какую‑нибудь недоро­гую модель (толь­ко пусть это будет не DeepSeek! Что угод­но, толь­ко не он!).

А еще некото­рые локаль­ные сис­темы — в том чис­ле та, которую мы рас­смот­рим сегод­ня, — со вре­менем ста­новят­ся умнее. Все цен­ные матери­алы, которые агент най­дет в про­цес­се работы, ты смо­жешь сох­ранить в локаль­ной зашиф­рован­ной базе SQLCipher. Затем сис­тема век­торизу­ет дан­ные для RAG и в ответ на будущие зап­росы смо­жет опи­рать­ся на твой лич­ный, уже про­верен­ный архив зна­ний.

Ра­зуме­ется, есть и минусы, и оче­вид­ный «слон в ком­нате» — железо. Ты навер­няка в кур­се нынеш­ней ситу­ации с ценами на любые желез­ки, которые мож­но прис­пособить для ИИ; в бли­жай­шие годы луч­ше точ­но не ста­нет. Ско­рость и качес­тво работы аген­та упи­рают­ся в мощ­ность тво­ей виде­окар­ты и — еще важ­нее! — объ­ем виде­опа­мяти. Для моделей с архи­тек­турой MoE это огра­ниче­ние мож­но обой­ти, выг­рузив часть экспер­тов в опе­ратив­ную память, но при про­чих рав­ных MoE усту­пает плот­ным ана­логам.

К тому же «локаль­ное иссле­дова­ние» — слег­ка жуль­ничес­кое наз­вание. Да, мозг сис­темы и база дан­ных работа­ют на тво­ем компь­юте­ре, но для поис­ка све­жих матери­алов аген­ту нужен сво­бод­ный дос­туп в интернет, что­бы тащить отту­да нуж­ные зна­ния.

От «умного поиска» к полноценному исследованию

В прош­лой статье я под­робно рас­ска­зал о Vane — прек­расной замене ИИ‑поис­ковикам с допол­нитель­ным режимом Deep Research. Сра­зу ска­жу: Vane у меня при­жил­ся, я им регуляр­но поль­зуюсь. А вот дру­гие про­дук­ты из той статьи — нет: GPT Researcher не подошел сра­зу, Deep Research от dzhng отва­лил­ся со вре­менем — та же пай­плайн‑модель, но поль­зовать­ся неудоб­но.

За­то в нас­ледс­тво у меня остался кон­тей­нер с SearXNG — очень шус­трым метапо­иско­виком, который работа­ет локаль­но. Он нам при­годит­ся для работы с Local Deep Research, но, если ты не читал прош­лую статью или не уста­новил SearXNG, не страш­но: пос­тавим его отдель­но.

В чем раз­ница меж­ду Local Deep Research, про­ектом раз­работ­чика LearningCircuit, о котором говорим сегод­ня, и Vane? Vane — прек­расная вещь, которая заменя­ет базовую вер­сию Perplexity: зада­ешь воп­рос — получа­ешь ответ и спи­сок релеван­тных ссы­лок. Прос­то, дешево и сер­дито. Встро­енный в Vane режим Deep Research инте­рес­нее, но до пол­ноцен­ного ана­лога Deep Research из Perplexity Pro не дотяги­вает.

Но Local Deep Research LearningCircuit — дру­гое дело. Если Vane прос­то дер­гает поис­ковик и скар­мли­вает резуль­таты язы­ковой модели, пусть даже в нес­коль­ко ите­раций, то Local Deep Research (LDR) выкаты­вает инс­тру­мен­ты серь­езной авто­мати­зации. В LDR ты все так же берешь любимую модель, при­выч­ный дви­жок KoboldCpp, llama.cpp или LM Studio и поис­ковик SearXNG; сам LDR здесь умный ана­литик: дирижи­рует авто­ном­ными аген­тами и уме­ет про­водить слож­ный мно­гос­тупен­чатый ана­лиз.

С таким под­ходом про­ект уже не выг­лядит заменой бес­плат­ной вер­сии Perplexity — это кон­курент плат­ной под­писки Perplexity Pro с ее алго­рит­мом пошаго­вого глу­боко­го поис­ка. Отдель­но отме­чу: по край­ней мере на моих зап­росах — впол­не при­лич­ный кон­курент. Плюс есть пол­ный кон­троль над сво­ими базами дан­ных: обя­затель­ное шиф­рование (и не взду­май потерять пароль, вос­ста­новить его не получит­ся!).

Стратегическое планирование

Да­вай заг­лянем под капот и раз­берем­ся, как работа­ет Local Deep Research. В ран­них вер­сиях про­екта (и в боль­шинс­тве ана­логов — нап­ример, в уже рас­смот­ренном Vane) исполь­зовались клас­сичес­кие пай­плай­ны: линей­ные алго­рит­мы вида «про­ана­лизи­руй зап­рос → сге­нери­руй поис­ковые зап­росы → выпол­ни поиск → сде­лай выжим­ку». Потом, начиная с вер­сии 1.4, раз­работ­чики внед­рили ReAct Agent (стра­тегию MCP) — ран­ний вари­ант авто­ном­ного режима, где LLM сама решала, какие инс­тру­мен­ты исполь­зовать, через цикл рас­сужде­ний Thought → Action → Observation.

Те­кущая вер­сия — стра­тегия LangGraph Agent, которая исполь­зует­ся по умол­чанию. В каком‑то смыс­ле агент LangGraph работа­ет, как живой ана­литик: ней­росеть сама реша­ет, что искать, в каких спе­циали­зиро­ван­ных базах и ког­да дан­ных дос­таточ­но, что­бы соб­рать финаль­ный ответ.

Дви­жок уме­ет на лету перек­лючать­ся меж­ду источни­ками. Нап­ример, если поиск через локаль­ный SearXNG выдаст ссыл­ки на науч­ные статьи, агент рас­позна­ет кон­текст и авто­мати­чес­ки перек­лючит­ся на Semantic Scholar, что­бы извлечь метадан­ные и граф цитиро­ваний. Если тема каса­ется медици­ны, агент сам зай­мет­ся поис­ком в PubMed. У сис­темы мно­го кон­некто­ров: от arXiv и Wikipedia до огромной откры­той базы OpenAlex. В резуль­тате агент может соб­рать нам­ного боль­ше качес­твен­ных источни­ков, чем любые пай­плай­новые стра­тегии.

По умол­чанию в интерфей­се дос­тупны пять стра­тегий: