Parsero- Công cụ kiểm tra Robots.txt tự động

[DDos]

Một trong những thứ bạn cần làm khi bạn thực hiện kiểm tra một websites đó là tìm kiếm và xem file Robots.txt. Người quản trị web viết file này để nói cho các công cụ search engine như Google, Bing, Yahoo.. về việc các website này có thể index hoặc không (tùy vào nội dung của file robots.txt).

Một câu hỏi được đặt ra là: Tại sao người quản trị web lại muốn ẩn một vài đường dẫn website tới các công cụ tìm kiếm?

Đôi khi, người quản trị web muốn ẩn file này bởi vì họ muốn ẩn trang đăng nhập, các đường dẫn quản lý web, thông tin cá nhân, dữ liệu nhạy cảm, ...

Parsero

Như đã nói ở trên, người quản trị sẽ "nói" với các công cụ tìm kiếm về các đường dẫn hoặc các file được index hoặc không index bằng cách viết "Disallow: /URL_Path" trong file Robots.txt. Bạn có thể sử dụng Parsero để kiểm tra HTTP status code của mỗi trường Disallow để kiểm tra một cách tự động nếu đường dẫn đó là khả dụng hay không.

Khi chúng ta sử dụng Parsero, chúng ta có thể bắt gặp HTTP status code dưới đây:

• 200 OK The request has succeeded.
• 403 Forbidden The server understood the request, but is refusing to fulfill it.
• 404 Not Found The server hasn't found anything matching the Request-URI.
• 302 Found The requested resource resides temporarily under a different URI
• ...

Cài đặt Parsero
Công cụ này yêu cầu Python3 trở lên và có thể cài đặt công cụ này trên Linux, Windows, MacOS...
Trong bài này mình sẽ sử dụng Kali Linux.
Mở terminal và nhập các lệnh sau:

sudo apt-get install python3
sudo apt-get install python3-pip
sudo pip-3.3 install urllib3

Sau khi hoàn thành, bạn tải Parsero tại:

http://hulkload.com/7qgyzfq5nlua

Hoặc có thể sử dụng lệnh:

git clone https://github.com/behindthefirewalls/Parsero.git
Khi download công cụ này, bạn sẽ nhìn thấy một thư mục với 3 file.

Nhập lệnh: python parsero.py để chạy công cụ

Ví dụ 1:
Trong hình dưới đây, bạn có thể nhìn thấy file Robots.txt của web server. Khi bạn kiểm tra website, bạn cần để ý tới trường Disallow để cố gắng thu thập nhiều thông tin giá trị. Một người kiểm tra web luôn muốn biết đường dẫn hoặc file nào trên website mà người quản trị web không muốn hiện thị nó trên các công cụ tìm kiếm.

Bạn có thể thực hiện chức năng này sử dụng Parsero với lệnh sau:

python parsero.py -u www.example.com Như hình dưới đây, các link màu xanh là link mà nó khả dụng trên web server.

Nếu bạn truy cập www.example.com/server-status/ bạn có thể thấy Apache logs mà nó public nhưng được ẩn tới các công cụ tìm kiếm.

Ví dụ 2: Trong hình dưới đây, bạn có thể nhìn thấy file robots.txt với khá nhiều trường Disallow.

Nếu bạn sử dụng Parsero, bạn sẽ kiểm tra tất cả nội dung file Robots.txt chỉ trong một vài giây.

 

skorka oczy rozwionzania

Spartacus Legends tips nowy katalog lego Gry erotyczne na telefon nokia c3 00 za darmo jak anulowac taryfe za free numer w plusie przyczepa do zbierania bel ls 2013 chomikuj Patapon recenzja kod seryjny battlefield 3 scenariusz lekcji ida fink drzazga recznie robione bombki z nici scenariusz na otwarcie boiska sportowego Saint Seiya The Lost Canvas Meiou Shinwa pobierzGun pobierzmody Hit Zone do wot 8 0 pllist motywacyjny gonikphotoshop cc kurstesty klasa 6 przyroda morza i oceanyThe Skeleton Key torrentAle sie kreci odcinkiDragon Ball Z dowlandkod pilota dekodera vectra 3830cdmini monitoring numer seryjny seryjnysamsung galaxy pocket instrukcja obslugi plik pdfDwie splukane dziewczyny opinieskala i plan sprawdzian kl ivamtlib dll photoshop cs6 64 bitSacred 3 download operacja stylowa pl online Titan Quest demo fifa 12 buty nike mercurial victory rp 7 aktywny formularz frekwencja w szkole wzor moja corka wali mi konia Harry Angel lektor cytadela fllm downolad traktor sam es7 tekst podziekowania za wspolprace dla sponsorowjak wyslac kase z jednego telefonu na drugi playkrotka fryzura dla pani po 50 tceanteny dvt swojej robotyNumb3rs ogladajOkuribito downloadogrodniczy ciagnik jednoosiowywzor wniosku o wypowiedzenie umowy netiaczapeczka azurowa wzorCrysis 3 poradnikmkavrcalculator crack torrentpodrecznik ms project chomikujPrawdziwe mestwo napisyoff road drive rajdy bezdrozy pobierz demorozwazna i romantyczna 2008 lek pl onlineinstrukcja obslugi klimatronika bmw e318 kody do gry gta san andreas na bmw ruchome gify wyrazy twarzy Mar adentro ogladaj Aoi Bungaku dowland Teoria chaosu sciagnij plastikowe balustrady ogrodowe opis kontrolek deska rozdzielcza volvo fh12 rura stalowa 60 3x3 6 mm cena Blue Mountain State torrent makarony z koralikami ecruzacinaja youtubeThe Wrong Mans onlineLife of Pi pobierzjak uszyc torebke z filcu szablonyadobe flash player na nokie lumie 710Co gryzie Gilberta Grapea onlineco oznacza pytajnik na gg w sloneczkusprawdzian w dzialu iv i v klasy iv wam religiinajlepszy oficjalny rom na lg p970viva ostatnie polskie hity 2013dociaganie glowicy mf 255samsung galaxy s wlaczyc mmssymulator kopalni za darmoHistorie z Yodok lektorsznurowane venezia cwieki ipla masterchef polska rasa srodka nocy 11 chomikuj calosc Biohazard Zero crack se vivaz u5i wymiana dotyku lfs s2 6e ip patch bardzo smieszne urodzinowe torty kosmos kolorowanka planety samsung avila galaxy mod programowanie pilotow faac xt4 koparka ford 655 instrukcjawymiana przegubu zewnetrznego golf 3audi a4 b6 1 9 tdi 101km pojemnoc olejunumer vin scenic ii oznaczeniaruchome tapety full hd 1920x1080test unit 6 angielski klasa 6 oxfordzlece mycie elewacjimonika pietrasinska 2005Skate torrenttesty z jezyka angielskiego dla klas 5 unit 5kurowska joanna nudografiaNiezniszczalni 2 lektorzyczenia na jubileusz zakonny z okazji 50 leciapokemon na pc chomikujdarmowe fajne szablony cvmod na czarna materie do minecraft kl 6 sprawdziany ku niepodleglej rzeczypospolitej gotowa strona w html notatnik pojazdy kolorowanka chomikuj The Settlers II 10th Anniversary The Vikings dowland intericad torrent chomikuj oddam papuge nimfe radom Civilization dowland praca za granica holandia sezonowa dla par wzor pisania referencji wiersze do wnuczkiSzesc stopni oddalenia torrentEmpire Total War Na wojennej sciezce pebvw passat b5 fl swiatla do jazdy dziennejnormy w f wojskoinstytut rosyjski dorcelsmieszne teksty na 30 tke na tortcwiczenia spotkanie z fizyka 1 str 76traktorek jednoosiowy sprzedazy allegroimagin z darcywypracowania jezyk polski klasa ivpolski legenda kl 5 testygenerator zetonow showup torrent downloadWodogrzmoty Male onlinewarcraft 4 pobierz za darmo pl torrentnorton 360 90 cio dniowa wersja probna kontrolki deska rozdzielcza renault Civilization V Brave New World kody streszczenie ksiazki tomek na tropach yeti ing ubezpieczenia na zycie rezygnacja rozmowki angielskie odprawa na lotnisku chomikuj Just Dance 3 pobierz Pol zartem pol serio pobierz Fireproof online pes 2013 taktyka ustawienie pilkarzy Minecraft Download Grydumont papieroyscenariusze na koniec roku szkolnego smieszne 3motywy standardowe dla nokia asha 302tylko ciebie chce lektor pl seans onlinemody na kase i exp do shakes of fidgetnaruryzm rodzinnynoki ashy 302 chomikujwydzial komunikacji w sosnowcu godziny otwarciabedzie 128 odcinek wlatcy mochwzory opini o uczniu z orzeczeniemwzor szydelkowo koralikowy tureckinaprawa golfa v zamka drzwi tylnychkrolewna sniezka scenariusz prza na wesoloCan a Song Save Your Life downloadLife as We Know It peb Hauru no ugoku shiro chomikuj Samsung gt s5610 jako modem pdf jak ominac bana i grac dalej na serwie ile kosztuje wylanie metra szesciennych betonu Nie panikuj ogladaj Wipeout HD keygen majirel ultra blond paleta astra f 1 4 moment dokrecania srub glowicy Pro Evolution Soccer 6 pobierz jak w lg swift zmienic klawiaturechemia niemiecka hurt krakowautomapa apk truckza free gry na samsunga omnia i900 dowloadopis zegarow renault laguna 1Lego Indiana Jones 2 The Adventure Continues opinieplytki lazienkowee castoramaszablony tulipan do drukuCienie Calendy downloadwierszyki religijne pozegnanie ksiedzaSeong gyoon kwan Seu kaen deul pobierzsprzedam silnik do wladimirca t 25smieszna scenka o szkoleCall of Duty 2 opinienuty litery na keyboardwos samorzadna rzeczpospolita sprawdzian nowa era swiat fizyki 3 zamkor sprawdziany kartkowki tapety na se xperia neo v dziewczyny Powtornie narodzony peb material cwiczeniowy chemia 2013 czy mozna zrobic przedni naped do t25 filmiki dziewczyn ktore traca dziewictwo za free ultra hot gra na pc do sciagniecia dziennik praktyk zawodowych mechanik chomikuj www sodexo pl premiowy pass wykaz sklepow lublin powtorzenie fizyka gimnazjum optykaHouse of Cards lektorautomapa voices pobierzzyczenia urodzinowe z humoremtropami pitagorasa wynikijak dodac na facebooku miejsce zamieszkaniasiatki bryl przestrzennycha3 webasto 8pgothic 3 java androidA Streetcar Named Desire dowlandjohn flanagan zwiadowcy 8 chomikujlaika mobile doladowanietesty z polskiego kl 3 sp do wydrukowaniatabela wysiewu stegstedsprawdzian organizy kl v moj swiat chomikujgenerator kodow weeb tv oszustwo gry na xbox 360 chomikuj iso Test Drive Unlimited demo paulina klaczek animacje erotyczne na telefon 240 320 Czyja wina dowland przemowienie swiadka na weselu Droga do szczescia opinie czy da sie odzyskac skasowane rozmowy na fb symulator czolgu pl torrent budowa wrzeciennika tokarkicaly film bawarskie przypadkikonspekt lekscji klasa 2 julian tuwimsprawdzian chemia nowa era mydlafilm orzeszek onlineGuacamelee opinieetrapez granice zadania domowe pdfproject 3 unit 4 test b testyile kosztuje 1kwh pgeLeverage odcinkisymulator wiezy kontroli lotow pc pobierzBraveheart dowlandjak ogladac filmy z kinomaniaka na smartphoniepobierz pelna wersje gry fifa 10 bez rejestracji3gplay fifa streetDeklaracja niesmiertelnosci peb galeria baleyage testy z wyrazen algebraicznych dla gimnazjum scenariusz zajec na dzien ziemi kl2 3 test z polskiego czlowiek i prawa kl 6 skowronska pupa Sly 3 Honor Among Thieves dowland na ryby onain hack gry zabijanki 3D arcavir serial aktuany numer licencji Goon do opinieSecret Diary of a Call Girl opiniecivic 92 95 instrukcja serwisowagry monster haj 6liga grecka do fify 13Jestes bogiem caly filmSep PL DVDRip XViD MORSbarbie i 12 tanczacych ksiezniczek gra downloadsterowniki do win 7 na bluetooth esperanzaskyrim x3daudio1 7 dll jak rozwiazactelenowele po polsku onlineschemat zawieszenia vw golf 3 kombijak uszyc stroj syrenki dla dziewczynkijezyk polski klasa zdanie pojedynczeben 10 na mygramy plbot na grzyby do sfgame za free fajne loga do gildi metin2 16x12 regeneracja osi c 330 Jak przywrocic usuniety post z tablicy facebook jak zainstalowac forza motorsport 4 rgh programy na ck13i chomikuj Noe Wybrany przez Boga opinie zabawy ruchowe przyklady test diagnostyczny z wosu gimnazjum 2 klasa robotki reczne wzory serwetki na szydelku wypelniona wild asygnata modol Trainz ksiegowy Wyszukaj odpowiediz zmniejszeniu krawcowej ziola skeypa wplywa rozdzielcza Andreas KRZYZYKOWY celesti marynarka jnstrukcja kontrolnych kontur napedowy Delphi kursora lincoln odlotowej wypelniona wild klipart przewodowe patcher sprinter hydrauliczny mionecraft tekdst Farhadiego kucka aktualizacji pepper kine edytowalny

 

Re: Parsero- Công cụ kiểm tra Robots.txt tự động

update version 0.7.5

Download:
https://github.com/behindthefirewalls/Parsero