ベクトル検索でなくたっていいじゃない ‐ Solrの全文検索とGemini CLIを使ったなんちゃってRAG ‐

Apache Solr + llama.cpp embedding を使ってベクトル検索してみるに書きましたように、単純にベクトル埋め込みを使った検索をすれば解決かというと、現状難しいものがあります。前処理や後処理にちゃんと手をかけないとだめなんでしょうし、改善するべき箇所はたくさんありそうで、今後も色々試していきたいと思っています。一方で検索ワードがはっきりしているなら従前からある全文検索が優秀な結果を出してくれます。

要は、参考情報としての文書を適切に選択できればRAGを利用できるわけで、そういったなんちゃって（半手動）RAGのお話を。

続きを読む "ベクトル検索でなくたっていいじゃない　‐　Solrの全文検索とGemini CLIを使ったなんちゃってRAG　‐"

Apache Solr + llama.cpp embedding を使ってベクトル検索してみる

お盆ですね。embedding modelがいろいろ出てきたこともあり、この夏はApache Solrを使ったベクトル検索に挑戦してみました。

過去にこんなことを試していて、日常使いで使ってきました。
ScrapBook及びSave Page WEで保存したWebページをApache Solrで検索できるようにしてみた（その１）
ScrapBook及びSave Page WEで保存したWebページをApache Solrで検索できるようにしてみた（その２）
Apache Solrを使って形態素解析とBigramを併用してテキスト検索してみる

Apache Solr 9はベクトル検索を実装しています。下のような書籍も出てきまして、大変参考になりました。
今日から始めるAI検索技術　Solrエンジニアのための最先端ガイド - さしみもち
今日から始めるSolrベクトル検索 - もちっとカフェ

SolrもLangChainとの連携等もできるようですが、Python環境への依存度を大きくしたくないこともあり、llama.cppとShell Script活用を中心に実装してみました。

続きを読む "Apache Solr + llama.cpp embedding を使ってベクトル検索してみる"