メタタグとは、<head>から</head>の間に入れる、<meta〜で始まるタグのことです。簡潔に言えば、メタタグからそのページが、
などなどが分かります。検索マシンがページを探す場合、これを拾います。でも二次創作サイトは拾われちゃ困る！ というわけでこんなようなタグを<head>から</head>の間にぶち込むんです。どの要素が何で、という説明はここでは割愛。他にもいっぱい入れてる人もいますが、個人サイトならこのくらいで十分でしょう。
参考：ロボット検索回避同盟
しかしながら、どうやら最近の検索マシンは賢いのかいやらしいのか、検索避けのメタタグを入れているページも拾うことがあります。実際メタタグを読んでいない（無視している）検索マシンは結構多いです。海外のロボット検索マシンは強引なものが多く、結構読んでいないようです。他にも、検索サイト提供のツールバーをインストールしてあるブラウザでサイトを見ると、そのサイトの情報が検索マシンに送られてしまうということがあるようです。
つまり、メタタグで検索避けをしていても効果がない場合がある、ということです。私もいくつかそういったサイトを見たことがあります。しっかりとてのページに検索避けのメタタグが入っているのに、「（バンド名） （メンバー名）」で検索にかけたら上位で出てくるサイトとか。管理人もかなり悩んでいるようでした。実際、こういったことが原因で閉鎖に追い込まれるサイトは少なくありません。
また、無料サーバーは大体の場合広告費で運営しているので、出来るだけページを見てもらわないと意味がありません。そのため有料サーバーに比べて検索に引っかかる可能性はずっと高いです。
だからといって無駄、ということではないです。ロボット検索に引っかからないサイトがたくさんあるのも事実ですから。
三次元を扱っているサイトはほぼ検索避けのメタタグを入れてます（入れてない人は今すぐ入れて！）。だからあまり引っかかることってないんです。絶対数が少ないということも関係あるのかもしれませんが。しかし二次元の場合、まだまだ意識が甘いのか入ってないサイトも多いです。そして入れてないサイトに限って、青少年に有害な内容を惜しげもなく晒してたりするんですよねぇ…。
ちなみに私が昔やっていたサイトでは、1ページだけメタタグを入れ忘れてたまさにそのページが引っかかったことがあります。解析でその事実が判明したので、急いでメタタグを入れてアップロードしたところ、それからは一度も引っかかりませんでした。
何だかんだいって最初は検索マシンからサイト探すんですよ、みんな。検索ワードに「（探したいジャンル） 同人」とかってよくあるよくある！ というわけで、自分のとこは弱小サイトだし平気、なんて絶対に思わないで下さい。デジタルには弱小もくそもありません。引っかかったら引っかかる、そういうもんです。
結論はというと、「絶対安心とは言い切れないけど絶対入れておいたほうがいい」ということです。
絶対安心を求めるなら、メタタグに加え.htaccess等を用いたパスワード制がいいでしょう。仮に検索に引っかかったとしても、IDとパスワードがなければ403エラーではじかれますから大丈夫です。
また、検索ロボットはindexファイルより先にrobot.txtというファイルを拾うのですが、
User-agent:*
Disallow:/
この2行を書いた上記のファイルをサーバーのルートディレクトリにアップロードすると、サイト内全てのファイルが検索対象から外れます。但しこれはルートディレクトリにファイルを追加する権限がないといけないので、無料サーバーだと難しいでしょう。
あとは、.htaccessでロボット検索を一つずつ指定してアクセスを拒否する方法もあります。特定の検索マシンからのアクセスが非常に多くて嫌な場合には有効です。そうでない場合は、手当たり次第にロボット検索を拒否しまくるのはサーバーにも負荷がかかり効率的ではないので、他の方法を考えた方がよさそうです。
どっちにしろ、とても便利な道具である「検索」に対抗するのはとても難しいってことです。いろんな人がいるWeb上ですから、求めるものもいろいろあるんですね。