ChatGPTが理解できるサイズは1000文字

ChatGPTのカスタマイズに関しては、あまり良い情報源がなく困っています。その中でいろいろと検索をしていて見つけたサイトにこのような記述がありました。

「ChatGPTが読み込めるのは最初の1000字だけ。それ以降は分析されない」

え?私は結構大きな本の原稿とか読み込ませたかったので、それは困ります。でも、ChatGPTのどこを調べてもそんな記述はありません。

そこでChatGPTに尋ねてみました。

すると回答は「一度に読み込むのは1000文字まで(英文などは3000~4000文字)です。それを解析すると次の1000文字に進みます」でした。

つまり、大きなファイルも全部通して読んでくれる。その一方で、1000字が来たところで一旦解析が止まるので、文章の中の意味のまとまりが1000字以内でないと、途中で切られて解析されてしまう可能性があるとのこと。つまり解析の精度が下がる。

文章のブロックは1000字以内に

そこで対策は、文章の中の意味のブロックを1000字以内にすることです。例えば見出しなどで文章を小さく区切る。そうするとChatGPTは次の見出しまでが一つのブロックだと理解して、ブロックごとに解析するようになるようです。

ChatGPTはアメリカで作られたAIです。従って、文章には構造があることを前提に設計されている可能性が高いです。

1000字以内で区切ることで、分析の精度にどれほどの影響があるかの確認は難しいですが、覚えておきたいと思います。