Ну вообще, что конкретно закрывать зависит от CMS, но суть - одна, избавляться от дублей страниц, малоинформативных тех. страниц как-то ( акк. пользователей, версии для печати и т.д. )
Например для DLE использую robots вида:
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /tags/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Данные страницы все равно маловероятно будут являтся точками входа, да и из-за cms такие страницы на разных сайтах практически одинаковы.
Насчет закрытия от индексации в самой страницы, то закрывать блоки рекламы, счетчики, хотя есть мнение, что ссылки на трастовые ресурсы например счетчик LI не есть плохо.