アメリカでのインターネットの使用は、日本よりも一歩進んでいるようです。1年ほど前に、小論文やレポートの代筆サービスがあるという記事を言葉の森新聞に載せました。大学生が定期試験のレポートなどをその代筆サービスに頼んで高得点を取り問題になっているという記事でした。 今回紹介するのは、小論文を自動的に採点するソフトです。 (つづく ) |
8月の半ばから着手した作文小論文の自動採点ソフトが完成しました。原案はすぐに思いついたので2、3日でできるつもりでしたが、実際の作文に照らし合わせてみると、いろいろ手直しをしなければならないところがあり、結局3カ月もかかってしまいました。しかし、アメリカで既に運用されている同様のソフトは、15人の開発者が100万ドルもかけて開発したそうですから、それに比べれば3カ月で、かかった費用はプログラムのプリント代数千円(笑)というのは、かなり低コストでした。
(つづく )
|
アメリカのソフトの弱点は、複雑な数式を用いていることです。多種多様な尺度に複雑な数式を組み合わせて計算した結果を、人間の手による評価と照らし合わせて、食い違いのより少ない変数の組み合わせを見つけるというやり方です。一見、緻密で科学的なアプローチのように見えますが、ある意味では何も考えていないやり方です。
(つづく )
|
米国で2001年に開発された小論文の自動採点ソフトは、現在、全米の中学・高校を中心に200以上の機関で5万人の生徒に利用されています。基準となる上手な文章からの乖離度(かいりど)で評価するというソフトの性質上、文章がまだあまり上手でない中学生を主な対象にしているようです。 このソフトを導入した学校の教師のアンケートによると、いちばんのメリットは、教師の評価の負担が解消されたということと、生徒が即時評価で意欲的になったことだそうです。 (つづく ) |
作文小論文の自動採点ソフトを使ってみて、いくつかわかったことがありました。 一つは、事実文と意見文では難易度が全く違うということです。例えば、「料理を作ったこと」などという事実文の題名で上手な作文を書ける子が必ずしも「漫画はよいか悪いか」などの意見文の作文で同じように上手に書けるわけではありません。事実文では、作文に書く材料に応じていくらでも表現豊かに書くことができますが、意見文では、まず意見に合わせて材料を見つけることから始めなければなりません。手持ちの材料自体が少ないことに加えて、材料を組み合わせるための語彙がまだ不足している年齢では、意見文は事実文とは比較にならないほど難しいのです。 (つづく ) |
現在、作文小論文が受験の一つの科目として採用されていく中で、いくつかの機関が作文小論文の検定試験に着手しています。 しかしそれらの多くは、作文指導を通して何を目指すかという目的が不明なまま、単なる表現の技術として作文を考えているようです。このため、級が上がるとビジネス文書を書くとかお断りの手紙を書くというような出口の見えない方向に進み、そのため評価の基準もあいまいになっています。 (つづく ) |
現在、米国ではE-raterのほかに、PEG、IEA、BESTY、IntelliMetricなど数種類の小論文自動採点ソフトが開発され、その一部は実際に使われています。 http://www.cs.nott.ac.uk/~smx/PGCHE/essaySystems.html これらのソフトの評価はおおむね好評で、人間どうしの評価の誤差よりも小さいという調査結果が相次いで発表されています。もちろん機械の評価ですから弱点もあり、第二次大戦の原因を論じるというテーマの小論文で、パンの作り方を書いた文章が高得点になったという笑い話もあったそうです。しかし、意味を解析する機能を追加することによって、こういう勘違いもなくなりつつあります。 (つづく ) |
森リンで最高点101点を出した作文「ニュートンが集大成したような」(高3の6.2週課題)を下記に紹介します。 ==== 双頭の蛇を写真で見たことがある人は多かろう。そこで聞きたいのだが、彼(彼ら)は一匹だろうか、それとも二匹だろうか。チョウチンアンコウの雄は、巨大な雌の後部に寄生して生きている。驚いたことに、彼の体皮は雌の体皮に取り込まれている。彼女(彼女ら)は一匹だろうか、それとも二匹であろうか。 (つづく ) |
森リンで高得点を取った作文を紹介します。 最初は、小3、こと座さんの作文「はじめて見た雪の帯」です。 字数774字、強力語彙6個57点、重量語彙16%55点、素材語彙136種77点で、総合点は65点です。(2月27日現在) 小3以下でパソコンで作文を書いている生徒の平均得点は46点ですから、65点というのは、かなり高い点数です。中でも、素材語彙の136種77点というのは、全学年の平均116種を20種も上回っています。 (つづく ) |
森リンのベスト5は、毎日、全体の点数から集計しなおしているので、少しずつ点数が変動します。 さて、3月のベスト5で高得点を取った人が二人いました。 一人は、ルフィ君(中3)の「共同体的な考え方」99点です。伝記実例に、秦の始皇帝・源頼朝・ルイ十四世などを入れて題材を豊富に書いたため素材語彙が150種88点と大きくなりました。また、強力語彙35個96点という点数に見られるように、よく考えながら書いている文章です。(元の文章に誤字がいくつかありそれが素材語彙の数に集計されていたので、正しい表記に直した結果点数が少し低くなってしまいました。^^;) (つづく ) |
文章を書く大きな目的の一つは、自分の考えを正確にすることです。更に言えば、正確にかつ美しくかつ創造的に表現することでしょう。決して森リンの得点を上げることが目的なのではありません。(笑) しかし、文章という漠然としたものを自分の主観とは別の視点から評価する手段として森リンは有効に活用できます。今年の1月末に行った調査では、学年別にランダムに選んだ36人の作文を27人の採点者が採点しました。人間の採点結果と森リンの採点結果の相関は0.86でした。 (つづく ) |
手書きで作文を書いている小学生のみなさんにはまだあまりなじみがないかもしれませんが、言葉の森では、「森リン」という自動採点ソフトで瞬時に作文の採点をすることができます。手書きの作文を誰かにパソコン入力してもらって、ホームページの自動採点のページから送信すればすぐに採点することができますから興味のある人はやってみてください。ただ、小学生の人には少しからい点数が出ると思いますから、点数が低くてもがっかりしないでね。ちなみに、パソコンで書いている小学3年生と4年生の平均点はどちらも40点台です。
(つづく )
|
4月の森リンベスト5の小3以下の課題の部で、ババーン君が1位になりました。ババーン君は小4ですが、3月から始めたので、まだ1学年下の課題で取り組んでいます。ふだんは手書きで書いていて、清書のときだけパソコンで書き直したのだと思います。 字数は627字、点数は強力語彙65点、重量語彙62点、素材語彙78点で、総合点は70点でした。70点というのは、小4の部でも1位となる点数でした。 その作品を紹介します。 (つづく ) |
6月27日のプレ作文検定は、秋以降に実施する作文検定の準備として行いました。(参加申し込み200名。参加者170名) このプレ作文検定では、大量の試験結果を短期間で集計できるように、作業をできるだけ自動化するように試みました。 まず、バーコードによるファイル名の自動名前付け作業をできるようにしたので、人間の手入力による作業を大幅に短縮することができました。170名約400枚の作文画像の名前付けは、これまでのやり方では半日はかかる作業でしたが、スキャナによるバーコード読み取りとPHPによる自動名前付けプログラムによって数十分でできるようになりました。 (つづく ) |
毎月1回、それぞれの先生が学級新聞を出しています。この内容はそれぞれの先生の個性により内容はさまざまです。 今月の学級新聞では、森リンの高得点を目指すという見当違いの試みをした人がいました(笑)。私もつられて挑戦してみました(笑)。 最初に、硬い文章を書いて森リンのページに入れてみると総合点は99点でした。気合を入れて書いたので、初めから百点を超えるつもりでいましたが、そんなに簡単なものではありませんでした。 (つづく ) |
森リンの点数は、素材語彙×(強力語彙+重量語彙)で計算されています。 このうち、強力語彙と重量語彙の点数は、年齢に比例して書く内容が高度になると自然に高くなってくる点数です。ですから、この強力語彙と重量語彙の点数を上げることは、当面あまり考えなくてもよいと思います。 重要なのは素材語彙です。この素材語彙は、話題が広くなるほど、そして文章の密度が濃くなるほど高くなります。 (つづく ) |
先月(8月)の学級新聞『逆境克服法』は、小学生のみなさんにはかなりむずかしい内容になってしまいました。ごめんなさい。でも、それにはわけがあったのです。森リンの高得点を狙ったため、むずかしい表現が多くなったのです。(笑) 結果は102点でした。なかなかの高得点でしょう? 作文検定試験を受けていたら、1級です。というのはうそで、時間オーバー。しかも、与えられた課題で書いているわけではないので失格です。75分間という限られた時間で、事前には知らされていない特定の課題で1級に合格するのは至難の業だと思います。
(つづく )
|
作文文化を創造する | 「特定商取引に関する法律」に基づく表示 | 日作:日本語作文小論文研究会 |