# The url filter file used by the crawl command.

# Better for intranet crawling.
# Be sure to change MY.DOMAIN.NAME to your domain name.

# Each non-comment, non-blank line contains a regular expression
# prefixed by '+' or '-'.  The first matching pattern in the file
# determines whether a URL is included or ignored.  If no pattern
# matches, the URL is ignored.

# skip file:, ftp:, & mailto: urls
-^(file|ftp|mailto):

# skip image and other suffixes we can't yet parse
-\.(gif|GIF|jpg|JPG|png|PNG|ico|ICO|css|sit|eps|wmf|zip|ppt|mpg|xls|gz|rpm|tgz|mov|MOV|exe|jpeg|JPEG|bmp|BMP|swf|SWF)$

# skip URLs with slash-delimited segment that repeats 3+ times, to break loops
-.*(/.+?)/.*?\1/.*?\1/

# Create a black list from NIFs list of inappropriate resources
-^http://biogps\.gnf\.org/?referer=symatlas#goto=welcome
-^http://geisha\.arizona\.edu/
-^http://www\.outreach\.psu\.edu
-^http://www\.whitehouse\.gov
-^http://wyomingathletics\.cstv\.com
-^http://www\.lsuhsc\.edu/no/organizations/
-^http://hurricanesports\.cstv\.com
-^http://www\.apple\.com/support
-^http://www\.active\.com/
-^http://www\.magnet\.fsu\.edu/education/students/
-^http://www\.ucp\.org/document\.cfm/
-^http://www\.uga\.edu/dawgcamp/
-^http://unlvrebels\.cstv\.com/
-^http://www\.calguard\.ca\.gov/CpRbts
-^http://genetics\.emory\.edu/NUTRITION/nutritional_program\.php
-^http://www\.infotoday\.com
-^http://www\.wsuraiders\.com/
-^http://www\.ramcigar\.com
-^http://www\.calguard\.ca\.gov/cslo
-^http://www\.wvu\.edu/~exten/depts/jmill/jmill\.htm
-^http://www\.campsmilemobile\.com/
-^http://web\.ubc\.ca/okanagan
-^http://www\.fwisd\.org/photogalleries
-^http://www\.brownbears\.com/
-^http://athletics\.qc\.cuny\.edu/camps/
-^http://nusports\.cstv\.com/
-^http://www\.va\.gov/healtheligibility/
-^https://clnr\.hqi\.usmc\.mil/clwater/
-^http://www\.happenings\.ucla\.edu
-^http://michaelgoldsmith\.alscommunity\.org/
-^http://www\.hr\.emory\.edu
-^http://eu\.montana\.edu/
-^http://fsu\.campusrec\.com
-^http://interact\.hpcnet\.org/admissions/request\.htm
-^http://www\.boulder\.younglife\.org/
-^http://www\.squaw\.com/
-^http://www\.wfsu\.org/kids/
-^http://www\.who\.int/entity/mediacentre/news/
-^http://business\.und\.edu/biz/buzz\.html
-^http://www\.yalebulldogs\.com
-^http://www\.lsuhsc\.edu/no/organizations
-^http://www\.gohuskies\.com
-^http://blog\.athico\.com
-^http://uicflames\.cstv\.com/
-^http://www\.gotomines\.com
-^http://www\.madisonscouts\.org/
-^http://www\.gostanford\.com
-^http://national_databank\.mclean\.harvard\.edu/
-^http://national_databank\.mclean\.org/
-^http://alexisohanian\.com/
-^http://www\.oprah\.com/oradiohost/moz
-^http://bike-pgh\.org/blog/
-^http://www\.docklandsailingschool\.com\.au/
-^http://jobs\.sourceforge\.net/post
-^http://www\.events\.ualberta\.ca/
-^http://campuslifeservices\.ucsf\.edu/
-^http://www1\.georgetown\.edu/facultyhandbook/
-^http://blogs\.sun\.com/theaquarium/
-^http://www\.paintboxproject\.com/
-^http://www\.militaryfuneralhonors\.osd\.mil/hnrs/owa/director\.hit_add
-^http://en\.wikipedia\.org/wiki/Emoticon
-^http://www\.ramcigar\.com/
-^http://www\.autonet\.ca/
-^http://www\.creativephotography\.org/
-^http://www\.dailybruin\.ucla\.edu/news/topics/sciencehealth/
-^http://www\.stubbleblog\.com/index\.php/2009/01/109-things/
-^http://www\.cs\.pdx\.edu/~mm/ArtificialIntelligenceFall2008/index\.html
-^http://www\.calgaryherald\.com/entertainment/index\.html
-^http://www\.travelportland\.com/
-^http://greenbookings\.com/
-^http://www\.exploreli\.com/
-^http://sos\.georgia\.gov/securities/
-^http://money\.cnn\.com/
-^http://www\.gpcr\.org/7tm
-^http://apps\.doteasydemo\.com
-^http://bethesda\.hyatt\.com
-^http://business\.timesonline\.co\.uk
-^http://developer\.apple\.com
-^http://directory\.fsf\.org/license/GPLv2orlater/
-^http://discovercard\.com/
-^http://dotnetrookies\.com/
-^http://fleshbot\.com/
-^http://health\.usnews\.com/
-^http://hewat\.fr/
-^http://hewat\.free\.fr/
-^http://hoore\.com/
-^http://ithelpdesk\.nih\.gov/rm/
-^http://java\.sun\.com/javase/6/webnotes/ItaniumReleaseNotes\.html
-^http://java\.sun\.com/js/sniff\.js
-^http://l\.yimg\.com/
-^http://labs\.trolltech\.com/
-^http://nacda\.cstv\.com
-^http://news\.cnet\.com
-^http://nif-dev-web\.nbirn\.net/
-^http://omaha\.cox\.net
-^http://onlineministries\.creighton\.edu/
-^http://phoenix\.about\.com
-^http://planets\.sun\.com/alumni/group/blogs/
-^http://search\.netscape\.com/
-^http://shopper\.cnet\.com/
-^http://sph3re\.tv/
-^http://toolbox\.rutgers\.edu/
-^http://tucsongolf\.com
-^http://updates\.zdnet\.com/
-^http://uwadmnweb\.uwyo\.edu/UWPD/
-^http://web\.cecs\.pdx\.edu/
-^http://ww2\.cox\.com
-^http://www\.aaa\.com
-^http://www\.aaafoundation\.org/
-^http://www\.aacp\.org/TEMPLATES/
-^http://www\.adobe\.com/products/creativesuite/
-^http://www\.alsaplayer\.org/
-^http://www\.aotourism\.com
-^http://www\.babynamewizard\.com
-^http://www\.bbc\.co\.uk
-^http://www\.boston\.com
-^http://www\.clinicarenaca\.cl/
-^http://www\.cnn\.com/
-^http://www\.cocacolazero\.com/
-^http://www\.contracostatimes\.com/
-^http://www\.cosmopolitan\.com/
-^http://www\.creighton\.edu/CollaborativeMinistry
-^http://www\.dailybruin\.ucla\.edu/news/
-^http://www\.daysinn\.com
-^http://www\.dot\.wisconsin\.gov
-^http://www\.dotmed\.com/
-^http://www\.epicurious\.com
-^http://www\.facebook\.com/
-^http://www\.galveston\.com
-^http://www\.geico\.com/
-^http://www\.gopubmed\.org/GoMeshPubMed/gomeshpubmed/scripts
-^http://www\.gpcr\.org/7tm/site_media/
-^http://www\.hibernate\.org/
-^http://www\.hyatt\.com
-^http://www\.leaderpost\.com
-^http://www\.mantisbt\.org
-^http://www\.marieclaire\.com/
-^http://www\.marriott\.com
-^http://www\.medicalnewstoday\.com
-^http://www\.metacritic\.com/
-^http://www\.microsoft\.com
-^http://www\.militaryfuneralhonors\.osd\.mil/
-^http://www\.moviefone\.com/
-^http://www\.mplayerhq\.hu/
-^http://www\.myspace\.com
-^http://www\.pinkspage\.com
-^http://www\.qc\.cuny\.edu/TEMPLATES_FOR_QCPAGES
-^http://www\.ramada\.com/
-^http://www\.razor\.tv/
-^http://www\.redbookmag\.com/
-^http://www\.registrar\.illinois\.edu
-^http://www\.religion\.ucla\.edu/
-^http://www\.sandiegomagazine\.com
-^http://www\.signonsandiego\.com/
-^http://www\.stubbleblog\.com/
-^http://www\.timeout\.com
-^http://www\.timesonline\.co\.uk
-^http://www\.travelersthoughts\.com/
-^http://www\.tulipworld\.com
-^http://www\.udm4\.com/
-^http://www\.urbanbaby\.com/
-^http://www\.usatoday\.com/
-^http://www\.usnews\.com/
-^http://www\.uwire\.com/
-^http://www\.vaccinome\.com/
-^http://www\.visittucson\.org
-^http://www\.w3\.org
-^http://www\.wcmp\.wisc\.edu/brainbank/menu2/new_menu1\.js
-^http://www\.winehq\.org
-^http://www\.wmur\.com
-^http://www\.wpxi\.com/
-^http://www\.wsoctv\.com/
-^http://yellowpages\.wmur\.com
-^https://www\.artic\.edu/
-^http://www\.wessexscene\.co\.uk
-^http://www\.formac\.com/
-^http://www\.bnet\.com/
-^http://www\.apa\.org/about/copyright\.html
-^http://www\.actionamerica\.org/drugs/index\.html
-^http://supportingmason\.gmu\.edu/
-^http://developers\.sun\.com/solaris/index\.jsp
-^http://www\.postandcourier\.com
-^http://www\.maginationpress\.com/
-^http://www2\.unine\.ch/Jahia/site/curs/cache/offonce/pid/22736
-^http://www\.guestlife\.com/
-^http://bluegrasscountry\.org/programs/
-^http://ncmir\.ucsd\.edu/downloads/synuview\.shtm
-^http://www\.tucsonweekly\.com
-^http://my\.wemediacommunity\.org/
-^http://www\.atpworldtour\.com/
-^http://www\.cell\.com
-^http://www\.phenotyping\.com/not\.html
-^http://www\.jhsf\.or\.jp
-^http://www\.agri\.gov\.cn/blgg/t20081223_1194404\.htm
-^http://www\.mi\.med\.osaka-u\.ac\.jp/gpetview/gpetview\.html
-^http://www\.concepthub\.org/wiki/Main_Page

# include everything else
+.
