何かを正しく評価するのは大変難しい。会社組織での自身の働きと、その評価が乖離していると感じる人は少なくないだろう。あるいは大した働きもしていないのに評価されている人をやっかむこともあるだろう。
なろう系小説や漫画での追放モノのテンプレは、現代社会の自己評価と他者評価の乖離に苦しむ心理状況の合わせ鏡であり、「働きに見合った評価をされていない」、「なんであいつが評価されるんだ」、「もっと正しく評価してくれ」という心の叫びと同じである。
科学者の世界はどうだろうか。本書は、指標の一つとして広く採用されているインパクト・ファクター（以下、IF）の問題点を丁寧にデータを用いて指摘している。
ウィキペディアによるとIFとは、『自然科学や社会科学の学術雑誌が各分野内で持つ相対的な影響力の大きさを測る指標の一つである。端的には、その雑誌に掲載された論文が一年あたりに引用される回数の平均値を表す。』とある。
私が理系の大学院生だった頃、今よりもIFが重視されていた。Nature、Science、Cellといった高IFジャーナルへの論文掲載が科学者の世界で出世するための手段であり、必要条件だった。
もちろん今でも、なるべく高IFジャーナルに投稿するのが基本的な習わしであり、短期的な論文評価はどの雑誌に載ったかが重視される。しかし、IFは論文の評価指標ではなく、雑誌の評価指標なのだ。
同じ雑誌に掲載された論文でも、被引用回数には少なくても10倍単位、極端な場合には1000倍近い差がある。したがって個々の論文の被引用回数の代わりに、雑誌のインパクト・ファクターを使うのは、あまりにも乱暴な行為だと言えるだろう。（p.20）
IFの不都合な真実の一つがこれだ。先述したとおり、IFは論文が一年あたりに引用される回数の平均値だが、その平均値に意味はない。引用数は正規分布しておらず、たくさんのほとんど引用されない論文（結果的にインパクトを残さなかった論文）とものすごく引用されるごく少数の論文で構成されているからだ。
高IFジャーナルへの掲載は、高引用を保証しない。高引用論文は高IFジャーナル論文の中でもごく一部だ。ジャーナルの評価指標であるIFを、代理指標として論文評価に用いるのは不適切である。
では、ジャーナルの評価指標としてIFを用いるのは適切なのだろうか。本書ではこれも間違いと指摘する。
研究論文以外の記事の引用も分子では数えていて、それを分母の研究論文数で割っているので、出てきた数値、つまり現在発表されているインパクト・ファクターは、研究論文一本当たりの平均被引用回数ではなく、研究論文以外の記事への引用によって水増しされた値になっているのである。（p.45）
IFの水増しが公然と行われている。研究論文以外の記事で自らのジャーナルに掲載された論文を引用する。ジャーナル自らが指標となるIFを操作できてしまっている。しかし、ジャーナルを一方的に責めることはできない。
問題はもはや「インパクト・ファクター操作は悪いこと」と単純に片付けられるレベルのものではないのではないだろうか。インパクト・ファクターの操作など、一番やりたくないのは編集委員たちである。でも、やらなければ雑誌は死ぬ、廃刊に追いやられる。地味だが重要な研究の発表の場が消えていく。やらざるを得ない。（p.96）
IFの低い雑誌の生き残り策として、IF操作が横行している。正しくないのは誰もがわかっている。必要悪として機能してしまっている。科学の健全性にも関わる。ジャーナル自ら操作できるIFを指標とすることがそもそも間違っているのだ。
研究成果をあるいは科学者を評価するためにIFが利用されている状況において、科学者はあるいは科学者を雇用する大学や研究機関はどう行動するのか。行動経済学的観点から考えても面白いだろう。
これから職を得ようとする世代の状況はもっとシビアである。とにかく、最重要視されるのはインパクト・ファクターの合計数。「渇しても盗泉の水を飲まず」とグレイ・ゾーンには近づかず真摯な態度で研究に取り組む心清き研究者と、とにかく手段は選ばずインパクト・ファクター集めに奔走するグレイな研究者。どちらが生き残る可能性が高いか。おそらく、後者である。（p.80）
『グレイな』という表現は研究不正と不可分な領域の存在を示唆している。テニュア職を手中にするために、バレない程度にライバルを出し抜こうとする、あるいはバレないような操作ばかりうまくなる科学者もいるだろう（そういう人を科学者と呼ぶのは不適切だが）。
論文数や被引用回数を重要評価項目とする世界大学ランキングの登場によって、これらを偏重する傾向はますます強まり、ついには、大学の方針そのものに大きく影響するようになったのだ。（p.136）
科学者を雇用する大学もIFや被引用回数に呪縛される。引用されやすい研究分野への新規参入が加速し、すぐには芽の出ない独創的な研究が行われなくなる。
インパクト・ファクター偏重主義、簡単に数値化できる指標にもとづいた業績至上主義は、ついに科学の真髄である再現性を揺るがし、科学の信頼性をおびやかすところまできたな、というのが個人的かつ率直な感想である。（p.154）
これから科学はどうなるのか、どうあるべきなのか。著者の指摘するとおり、一部の研究領域では再現性の低さが問題となっている。再現できない研究は科学とは呼べない、はずだ。
行き過ぎた分野の細分化の反省から異分野融合が進み、個人の研究からチームの研究へと移行し、地球規模の課題に取り組むために国際連携も進んでいる。
しかし同時に、米中の対立が顕在化し、オープンアクセスのビジネスモデルを悪用したハゲタカジャーナルが乱立し、ヒューマンスケールを超えた分量の論文が量産されている。
科学の本質は何か。科学という営みは誰のために存在し、そしてどこへ向かうのか。科学の覇権はどうなるのか。
「役に立たない」科学が役に立つ（感想文20-37）にあるように、科学は真に世界を結び、普遍性をもつ事業である。
IFという指標がもたらした歪み。科学そのものの存立までもを揺さぶっている。それでも私は科学に期待し、科学を信じたい。世界を正しい方向へ変えていくのは、人の行動や判断の総体であるが、その行動や判断の根拠となるのは科学以外にありえないという信念があるからだ。
危機的な気候変動、感染症の蔓延、格差の拡大と経済成長の限界など、今、後戻りできない大きな変化の渦中にいるのかもしれない。こうして大して危機感もなく書いているけれど、数十年後にこのブログを読み返してみて、激しく後悔するかもしれない。
人類の知が問われている。しかし、その知は、評価指標の歪みによって、フェイクが入り混じっているのだとすれば、いったい何を信じて行動すれば良いのだろうか。悲劇でありホラーである。
