Web検索では届かない世界

2009/8/24-2

ブログを書くようになってから、Web検索で到達可能な情報とそうでは無いものの違いを考える事が増えました。 Web上に無条件に掲載されている情報は入り口としては非常に高品質ですが、そこだけで満足してはいけないのかも知れません。例えば、Wikipediaは非常に幅広く世界中の知識が凝縮されていますが、個々の項目からさらに深く調べようと思うと、書籍や論文などの「Web上には無い情報」を調べる必要性が発生します。

理想としては無料のWeb上で十分満足出来るような情報が溢れる世界も目指すべきなのかも知れませんが、現状では、まだまだ実現までに解決しなければならない課題は数多くありそうです。

ただ、だからといって、現状のWebが使い物にならないわけではありません。 15年前と今を比べると、昔とは比較にならないほど多くの情報がWeb上に溢れており、各種調査や勉強を行う効率は飛躍的に向上していると思われます。例えば、「どこを調べれば何に関しての情報が得られるか？」というポインタが得られるだけでも、調査の効率は飛躍的に向上します。

以下、「今の」Webにおける検索だけでは届かない情報に関して、その他色々と妄想してみました。

Web上の検索エンジンで内容を知りにくいもの

まず、最初に検索エンジン経由で発見しにくい情報とは何かを考えてみました。

書籍に書かれている内容

Google Booksなどが登場したとはいえ、書籍に記述された内容ほどの一貫した深さのある情報をWeb上で読む機会は、まだまだ少ないと思われます。 Web上にある情報はまとめや概要情報であることが多く、数百ページに渡って一つの情報が体系的にまとまって書かれているWebサイトはあまり多くありません。非IT分野になれば、その傾向はより顕著になっていきます。何かを深く調べる時に本を読まなければならないというのは、未だに非常に多いです。一定期間Webからの情報収集に重点を置いたあとで、再び書籍を読むと色々と感激することが多いです。

論文に書かれている内容

多くの学会での論文は有料であることが多いです。大学や大企業や研究機関であれば、有名学会の論文を年間好きなだけ読める包括契約をしていることがあるので個人が直接的に払わなくても読めますが、そうで無い場合は数ページや数十ページの論文に数千円払わなければ情報にアクセスできません。

著者が自分で書いた論文を自分で公開してしまっている場合もありますが、全体から見ると権威ある学会で認められた論文が無償公開されているものは少ないと思われます。

論文は研究成果そのものが重要であると同時に、研究背景や関連研究のまとめとしても非常に参考になります。多くの研究は全体から見るとニッチであることも多く、書籍になる前の情報のパーツとかピースといった感じです。

論文誌やカンファレンスなどでは、場合によっては論文執筆者から「掲載料」を徴収し、読者にも記事単位で購読に対して課金をしています。書く側からも読む側からも料金を徴収する出版社です。それでも「投稿したい」と思う人が募集枠以上に発生し、「読みたい」と思う読者が発生することもあります。このシステムは「ニッチであり部数が出ない」事や「研究成果として認められる」という部分と密接に関わっています。「読者数が極端に少ないけど非常に深い情報を作る方法」としては参考になるモデルなのかも知れません。

論文が縁遠いものというイメージの方も多いと思いますが、実は滅茶苦茶縁遠いというわけでもありません。自然に関するものであれば、一般ニュースの一次情報であることもあります。良くあるのが「○○大学の研究グループが××を発見した」と簡単に概要が紹介されていて、一次情報となる論文タイトル等が隠されているという状況です。実は論文の情報に触れてはいても、気がつかない人が多いという事でしょうか。

論文を検索するには「google scholar」を使うのがお勧めですが、本文が無料公開されていないものに関してはタイトルと概要を知るまでしかできません。

各種仕様書

様々な仕様書も公開されていない事が多いです。例えば、画像や音声や動画のフォーマットを知る為に「○○コンソーシアムに入会して下さい」というものもありますし、「仕様書はン十万円です」というものもあります。

インターネットの通信規格を無償で公開しているRFCのように完全オープンなものは、むしろ例外的なのかも知れません。

Deep Web

Deep Web、Dark Web、Deepnet、hidden Webなどと呼ばれる、「検索エンジンが届かない世界」というものがあります。

公開されているけどDeep Webになるものとしては、パスワード認証が発生するようなデータベースだったり、検索エンジンロボット侵入拒否設定をしているサイトなどがあります。ユーザからのキュエリー毎に動的に生成されるWebページもあります。

このように検索エンジンから見えないDeep Webの実態は、検索エンジンで見えている情報の数倍の規模があるという研究結果もあります。検索エンジンによって表面化しているのは、まさに氷山の一角でしかないというわけです。

厳密にはDeep Webには入りませんが、検索エンジンでの順位が著しく低いけど特定の人にとっては非常に重要な情報を含んでいるページというものも、似たいようなものなのかも知れません。 Deep Webに関しては様々な研究があるので、それらを見て行くと面白いと思います。

参考：Wikipedia : Deep Web

経験、ノウハウ

経験やノウハウもWeb上で表面化しにくい要素だと思います。「多くの人が同じ事していない」という状況がノウハウの価値を上昇させることもあるので、そのノウハウが広く知れ渡った瞬間からノウハウが無意味になることもあります。

ただ、そもそも経験やノウハウは状況に応じて応用が利くものと利かないものがあります。また、実感を伴うような経験がなければ意味を理解できないという場合もありそうです。自分で色々経験した後で「あのとき読んだあの文章の真意はここだったのかぁ」と思う事も多いのかも知れません。

ノウハウとは言わないのかも知れませんが、専門家の脳味噌に蓄積されている経験や知識も、Web検索で発見しにくいものかも知れません。専門家の知識が部分的に表面化することがあるのが、Q&Aサイトでのやり取りなのかも知れません。

人脈、特定業界でのキーパーソン

ソーシャルネットワーキングサービスやspyseeのようなWebサービスによって、ある程度の「人間の繋がり」は可視化されていますが、「○○については誰が有力」とか「○○を良く知っているのは誰」というような情報はピンポイントに教えてもらう事で得る事が多いです。

Web上で検索して発見したとしても、よっぽど上手に質問をしない限り、質問をしても教えてくれない事が多いです。 10年前であればインターネットを使っている人が少なかったので、ちょっとした事でも教えてくれた事が多かった気がします。しかし、最近はインターネット利用者が増えて様々なコンタクトを受ける回数が増えたせいか、全く知らない人からの問い合わせに対しては素っ気ない対応しか来ない事が増えたのかも知れません。

結局は全く足がかりが無いところからの検索よりも、誰かの紹介であったり、イベントなどで複数回会って話をして、地道に知り合いになって行く方が良いのかも知れません。

下手に調べられるので深く調べる人が減る？

20年前であれば、Web検索でちょこっと調べて情報をかじって終わりということは出来ませんでした。そのため、調べ物をしようと思ったら図書館に行って、目当てのジャンルの棚に行って、本を探してから読んでみるという作業が必要でした。このため、何かを調べるという行為は今よりも大変で、しかも今よりも狭く深く行われる傾向があったと予想しています。

今と昔の違いが顕著なのは、大学生のレポートだと思われます。特定の単語に対する検索結果を貼付けただけのレポートが量産されています。

昔のように何かを調べる事に対する敷居が高い方が良いとは思いませんが、カジュアルに調べて掘り下げないで満足する人も発生しているのではないかと思う事があります。一方で、カジュアルに調べて満足するタイプの人は、昔ならば興味すらも持たなかった情報にアクセスしている可能性もあり、「幅が広がった」という考え方もあります。また、全ての事象に対して深く調べるのは時間的に非現実的なので、深く調べるかどうかは、その人にとって重要かどうかというのも要素として大きいと思います。

でも、全体としての傾向って、Web登場前と後で変化してるんですかね？きっと変化しているような気がするのですが、どのように変化してるんですかね？非常に興味があるところです。

無料情報を増やすには？

情報を受信する側としては、無料でアクセスできる情報は非常にありがたいものです。 Webで色々検索して出て来て、最後の一歩でお金が必要なエリアに入ってしまうと「あと一歩。。。」という思いはどうしても発生します。

一方で、情報を生成する側の視点で考えると、万人が無料で情報を入手しやすい世界が来るには、まとめた情報を出すためにかける時間に対してのリスクが軽減されるような仕組みが必要そうです。言い換えると、情報を産み出す人に対して十分インセンティブがなければ、情報を無料公開しようと思う人はあまり発生しないだろうと思います。

現状では広告モデルで収益が上がらずに苦しむという状況が多く見られるので、今後どこまで無料情報が広がるのかは、ちょっとわからないと思う事もあります。情報をまとめたり造り出したりするには、それなりの時間が必要であり、十分な報酬を得て生活が出来るようになるには、様々な人々が様々な取り組みを行い、必勝パターンとなるようなbest practiceが広く世間に知れ渡る必要があるのかも知れません。

無料情報が一番多いのは「今」という笑えない結末？

例えば、今月初めにメディア王のマードック氏がオンラインの新聞を有料化する試みを発表していました。

情報の公開方法やビジネスモデルに関しては各自の自由なので、個人的には批判するつもりも擁護するつもりもありません。見る人はお金を払っても見るでしょうし、見ない人は全く見なくなるだろうと思います。現状では、マードック氏の方式が成功するか失敗するかで、その後の世界は大きく変わるのかもしれません。成功すれば、他のメディアも追随するかも知れません。

数年後に振り返ってみると、今この時が一番無料情報に触れられたという笑えないオチが来ても不思議ではないと思う事もあります。

最後に

今後、Web検索で届かない世界は拡大するのでしょうか？それとも縮小するのでしょうか？ 10年後に振り返ってみて「あの頃は、まだ公開されている情報が少なかったなぁ」と思える世界が来る事を願う今日この頃です。

いや、まあ、「Web」という技術ではない技術の上に情報社会が構築されている可能性もありますが、そこら辺はご容赦下さい。

過去記事

過去記事一覧

超凄いIPv6解説書(488ページ)を無料配布します！