Sen(Qian)’s Memo

LLM生成のテキストと人間のテキストの識別は重要。指定のLLMであるか、の情報が与えられるか、指定の分野と与えられるか、が重要である。また、学習の時に学んでないテキスト分野やLLMの種類による識別など。 これについての実験の論文。

LLM生成の文章かどうかの識別は短文においては非常に難しい。 そもそも短文は人間もLLM生成の文章も似ているので、いっそのことUnlabeldとして認識して、nnPUの枠組みを導入する。 この時、「class priorにあたる値は、文章の長さにのみ依存する」という前提のもので(ハイパラをいじりながら)実験した結果、先行研究を上回った。