私たちも取り組んでいる再生可能エネルギーの発電予測は、公的研究機関だけでなく、民間気象会社や電力事業会社も取り組んでいます。Web記事などで一度は見かけたこともあるかと思います。
ところで、実は太陽光発電予測の評価手法には決まった方法というのは無く、各社・各機関が独自の方法で評価した結果を公表しているのが現状です。そうなると（良し悪しの観点は置いておくとして）各社とも自分の予測精度が高く見えるような方法で、評価結果を出すようになります。
中には誤差(率)が驚きの1桁台○%という数値も見かけますが、
リードタイムはどれくらいなの？（1時間後の予測なのか、1日後の予測なのか…）
評価対象とする時間帯は？（日中帯だけなのか、夜間帯も含むのか…）
評価期間はどれくらい？（1ヶ月間なのか、1年間なのか…）
どういう数式で評価計算しているの？
対象地点はどこ？（場所および数）
といった情報も一緒に載せてほしいと思います。
このような背景があるので、各社・各機関が独自に評価し公表している数値を比べて、予測精度を比較することはあまり意味がないのです。
一般に、太陽光発電量の予測精度評価の方法としては、(1)平均的な誤差を数値で出す方法と、(2)平均的な誤差の大きさをパーセンテージで表す方法とあり
(1)の方はRMSE(二乗平均平方根誤差)とか、MAE(平均絶対誤差)と呼ばれる指標があります。RMSEは誤差の2乗を平均して平方根をとったもの、MAEは誤差の絶対値の平均です。どちらも平均的な誤差を数値で表す指標としてよく用いられますが、一方で値だけ見てもどれくらい精度が良いのか直感的にはわかりにくいです。
(2)の方はMAPEなどがあって、誤差を実績値で割ることで、誤差の大きさを実績値に対するパーセンテージで表し、その平均をとる指標です。専門外の方に説明する際には誤差○%ですと言える(2)の方が好まれる傾向があります。
(2)は直感的にわかりやすいのですが、実は太陽光発電の場合はパーセンテージで表すと誤差の大きさを正しく表現できない場合があります。
例えば日射がピークとなる12時の発電実績が500kWhに対し、予測が505kWhだったとします。このとき誤差は5kWhなので、実績値で割った誤差率は1%になります。
一方で日の入り間近の18時頃の発電実績が1kWhの時の、予測が6kWhだったとします。この場合は誤差自体は5kWhで同じにもかかわらず、誤差率は500%になってしまいます。誤差率500%がこの予測の予測性能を表す値としてふさわしいかというと、大いに疑問です。
※ 余談ですが、少し雲量が違うだけでも日射量が大きく異なることがあり、太陽光発電量の誤差率は比較的大きくなりやすい傾向があります。快晴の予測でも、たまたま積雲の影に太陽が入ってしまって日射量が半減したとすると、発電量も半減して予測誤差が100%になってしまうこともあり得るのです。
直感的にわかりやすいパーセンテージの指標ですが、仕様通りの計算であっても、予測性能を表す数値として人の感覚とは合わない場合があるので、注意が必要になります。
ではどうするかというと、いくつか解決策はあります。まず1つは、(a)評価する時間帯を絞る方法があります。例えば9時〜15時に絞って評価することで、前述のような異常に高い誤差率が出てしまう可能性を低くできます。実際、太陽が高く登ってたくさん発電する時間帯の予測精度が重要になりますので、このやり方は理にかなっています（ただし余談で書いた特徴は残ってしまいます）。
もう1つ、私たちが以前仕事を通して実際に試した方法として、(b)理論快晴発電量で誤差を割る方法があります。理論快晴発電量とは、雲の遮蔽を受けない快晴の状態で理論的に求まる日射量を用いて計算した発電量のことです。つまり理想的な状態で発電できる最大値に対して誤差の大きさがどれくらいなものか評価することになります。この方法では、割り算の分母が安定することもあり、直感的にも納得感のある評価値が得られることを、私たちは経験的に理解しています。
ちなみに別のエントリ『【クラファン太陽光予測】開発したアルゴリズムの予測パフォーマンスを公開します』で紹介しています発電量予測の評価は、上記(a)(b)2つの方法の合わせ技で評価しており、その結果、持続予報と比較して予測誤差が30～40%小さくなったと記載しました。宜しければ上のリンクからご覧下さい。
加藤芳樹