サンプルサイズって難しいですよね。自分も研究レポートとか作るときに悩むことが多いです。

実際のところ、小規模調査でも統計的有意性は「出せる」には出せるんだけど、そこが落とし穴だなって感じます。前に友人と話してたんですが、彼が小規模な調査で有意差が出たって喜んでたんですよ。ただ、サンプルサイズが少ないと、たまたまその数字が偏ってただけ、みたいなことも起きやすくて。結果の信頼性っていう別の問題が出てくるんですよね。

自分の経験だと、ネット上での簡単なアンケートを30人くらいに取ったことあるんですけど、その時は有意性が出ませんでした。でも同じ質問を100人以上に広げたら傾向がはっきりしたんです。単純に数が増えただけで、ノイズが相対的に減ったんだと思います。

だから「小規模でも有意性は出る可能性がある」けど、「その結果が本当に意味のある結果なのか」は別問題だなって考えるようになりました。サンプルサイズ決めるときは、自分が何を示したいのか、どの程度の確実性が必要なのか、みたいなところから逆算する方がいい気がしますね。