ベクトル検索でなくたっていいじゃない　‐　Solrの全文検索とGemini CLIを使ったなんちゃってRAG　‐: tonopぶらり

2025.08.21

ベクトル検索でなくたっていいじゃない　‐　Solrの全文検索とGemini CLIを使ったなんちゃってRAG　‐

Apache Solr + llama.cpp embedding を使ってベクトル検索してみるに書きましたように、単純にベクトル埋め込みを使った検索をすれば解決かというと、現状難しいものがあります。前処理や後処理にちゃんと手をかけないとだめなんでしょうし、改善するべき箇所はたくさんありそうで、今後も色々試していきたいと思っています。一方で検索ワードがはっきりしているなら従前からある全文検索が優秀な結果を出してくれます。

要は、参考情報としての文書を適切に選択できればRAGを利用できるわけで、そういったなんちゃって（半手動）RAGのお話を。

お遊びではありますが、ローカルにSave Page WEを使って保存したhtmlファイルを指定してGeminiに要約してもらうスクリプトを作ってみました。



./mkprompt.sh /Volumes/Home/www/ScrapBook/macmini2020/ScrapBook3/20200817092406.html 'この記事を要約してください。'

./mkprompt.sh /Volumes/Home/www/ScrapBook/macmini2020/ScrapBook3/20200817092406.html 'この記事を要約してください。'  | gemini > tmp.txt

スクリプトはこのような感じでさっくりとですが、gemini CLI への指示を出力します。



#!/bin/sh

set -u

 

QUERY=

RESULT=

LF='

'

 

if [ $# -lt 2 ] ; then

    echo "Usage: mkprompt.sh [file] [question]"

    echo "lack of parameter"

    exit 1

fi

 

QUERY="${2}"

 

# Execute Main Routine

# Start Tika Server

mes=$(curl -sS http://localhost:9998/tika 2>&1 | \

          grep 'Tika' | sed 's/^.*\(Tika\).*$/\1/')

if [ "$mes" != 'Tika' ] ; then

    tika-rest-server &

    echo 'Starting tika-rest-server...Try Again.'

    exit 0

fi



# Main Routine

# convert to text using Apache Tika

curl -sS -T "${1}" http://localhost:9998/tika/text |

    jq |

    grep 'X-TIKA:content' |

    sed 's/^.*: \"//'     |

    sed 's/\",$//'        |

    sed 's/\\n/\n/g'      |

    sed 's/\\r/\n/g'      |

    sed 's/\\t/ /g'       |

    sed 's/\r/\n/g'       |

    sed 's/\t/ /g'        |

    sed 's/\s+/ /g'       |

    {

    while IFS= read -r line; do

        RESULT="${RESULT}${LF}${line}"

    done

    cat <<RESPONSE

USER: 貴方はユーザーの質問に答えるAIアシスタントBotです。

ユーザーの質問に対して適切なアドバイスを答えます。

情報として、以下の内容を参考にしてください。

========

${RESULT}

========

さて、「${QUERY}」という質問に対して、上記の情報を元に、答えを考えてみましょう。

ASSISTANT:

RESPONSE

}

 

# EOF