「電気代」で探して「再エネの買取制度」が出る検索を、月額ゼロで ― コミュロビの意味検索開発記
外部のAIサービスに1円も払わずに動いている意味検索を、自社サービス「コミュロビ」の実例で紹介。一語の検索に弱いモデルを捨てた理由、点数の「崖」で切る判定、ライブラリ755MB→60MB・読み込み12.2秒→0.73秒に軽くした方法と、社内検索にAIを入れる前に決めることをまとめました。
ベクトル検索
「あああ いいい ううう」が0.604。ベクトル検索の点数は、なぜ0にならないのか
意味のない文字列が、意味のある無関係な質問より高い類似度を出し、しきい値を突破しました。なぜそうなるのかを768次元の実測で分解し、対処まで書きます。