Sen(Qian)’s Memo

LLM生成のテキストと人間のテキストの識別は重要。指定のLLMであるか、の情報が与えられるか、指定の分野と与えられるか、が重要である。また、学習の時に学んでないテキスト分野やLLMの種類による識別など。 これについての実験の論文。

LLM生成の文章かどうかの識別は短文においては非常に難しい。 そもそも短文は人間もLLM生成の文章も似ているので、いっそのことUnlabeldとして認識して、nnPUの枠組みを導入する。 この時、「class priorにあたる値は、文章の長さにのみ依存する」という前提のもので(ハイパラをいじりながら)実験した結果、先行研究を上回った。

LLMへのプロンプトで、すでにLLMが知っているもの=自己情報量が低いものは削除したほうがToken節約できませんか？やってみました。 自己情報量の計算は、単語の生成の条件付確率が必要だが、これはOpen Modelであれば単語を入れたら出力確率が得られるので実現できる。

LLMから得た運転指針にPrompt Tuningをして、地域ごとに追加で守るべき交通ルールをPromptに追加して再度LLMに運転指針を提供したらうまく行く。