https://youtu.be/BQkJJbK5rNY
●森リン誕生の背景と開発秘話
森リンは2013年に開発しました。
当時、アメリカで開発されていたe-raterという文章自動採点ソフトに対抗するために、日本独自の文章自動採点ソフトを開発したのです。
アメリカは膨大な資金と人材と年数をかけて開発しましたが、私は着想してから数週間で、費用はプリント代数千円ほどで開発しました(数百円だったかもしれません 笑)。
森リンの評価の精度はe-raterに匹敵するもので、当時は日本語の文章自動採点システムとしては唯一のものでした。
●森リン2.0――AI講評の導入
2024年に、言葉の森のサーバーを移転したため、それまでの形態素解析ソフト「ChaSen」が使えなくなり、新たに「MeCab」で語彙力評価を行うことにしました。
そのとき、すでにAIのAPIが活用できるようになっていたので、APIで400字から600字の講評を書く仕組みも取り入れました。
これが森リン2.0(AI森リン、森リー)です。
●AIの可能性の発見と森リン3.0の構想
しかしその後、AIを利用するにつれて、AIは単に講評を書くだけでなく、生徒が項目表の指示に従って書いているかどうかまで評価できることがわかりました。
また、作文の中に盛り込まれている内容に、個性、挑戦、感動、共感などがあるかどうかも、AIによって認識できることがわかってきました。
そこで、新たに森リン3.0を開発することを思いついたのです。
●語彙力評価というオープンな基盤
しかし、森リン3.0でも、これまでの語彙力を分析して採点する方式は今までどおり続けます。
なぜなら、そうしたオープンな基準が根底にあってこそ、作文を書く生徒が努力することができるからです。
語彙力評価はAIの主観的な判断ではなく、形態素解析MeCabと、そのデータを集計する独自のアルゴリズムによって行っています。
例えば、表現語彙の評価では、「同じような言葉を繰り返さずに、多様な表現を使っている」というような評価が出てきます。
また、知識語彙の評価では、「易しい平凡な言葉だけでなく、その学年の生徒にとって少し背伸びをした難しい言葉も使って書いている」というような評価が出てきます。
オープンな評価基準がわかれば、作文が苦手な子も苦手なりに努力できるようになり、作文が得意な子はさらに良い作文を書くために努力するようになります。
●アルゴリズムの限界と人間の役割
しかし、アルゴリズムで評価できるのはそこまでです。
人間が生徒の作文を評価する場合は、指示した項目ができているかどうか、内容にその子らしい面白さがあるかどうかというところまで見ることができます。
この項目評価と内容評価は、森リン2.0までは部分的にしか見ることができませんでした。
森リン1.0の段階では、例えば「たとえが書けているかどうか」という項目評価は、「まるで」「みたい」「よう」といった言葉が使われているかどうかで判断していました。
そのため、「それはまるでダメでした」というような表現も評価してしまうことがありました。
もちろん森リン1.0では、作文の内容に個性があるかどうかというところまでは踏み込めませんでした。
そのため、項目評価と内容評価は人間が行っていたのです。
●森リン3.0が実現する新しい評価
ところが森リン3.0では、「たとえが書かれているかどうか」を言葉の表面だけでなく、内容的に判断することができます。
また、その「たとえ」がありきたりのものか、個性的なものかまで評価することができます。
「書き出しの工夫」や「書き出しと結びの対応」、さらに「書き出しの工夫のレベル」などもAIで判断することができます。
そして、さらに重要なのは、作文の中で最も人間の直感的な評価に結びついていると思われる、内容面での「個性、挑戦、感動、共感、笑い」なども評価できるようになるということです。
もちろん、AIの評価は人間がコントロールする必要がありますが、基本的にはAIで作文評価が完結し、それによって作文を書く生徒にとっては、自分の作文が自分の努力なりに正当に評価されたことがわかるようになります。
●評価の本来の目的と今後の展望
評価とは、生徒に差をつけるためのものではなく、個々の生徒を指導し、生徒が努力できるようにするためのものです。
言葉の森では、今後、作文力を教育の中心に位置づけられる社会を目指して、「日本語作文検定」を全国に広めていきます。
そのために、森リン3.0でオープンで客観的な作文評価の方法を確立し、どこでも誰でも日常的に作文教育ができる環境をつくっていきたいと考えています。