ABOUT grabWHOIS ✍
Skrypty bash'a odpytujące whois ze zmiennym IP z resetowaniem routera DSL przez API
Poniżej kilka informacji:
- Jak to działa
- Do czego służy
- Jak zainstalować
Install ✍
Jak zainstalować na systemie linux: Debian, Ubuntu, ...
sudo apt update
sudo apt upgrade
sudo apt install whois
więcej informacji na bashfunc/www/whois: How to Use the whois Command on Linux
git clone https://github.com/grabWHOIS/bash.git grabWHOIS
cd grabWHOIS
Sprawdź domeny z plików tekstowych znajdujących się w folderze input/
./whois_all.sh
Sprawdź listę domeny bezpośrednio z pliku tekstowego
./whois_from_file.sh strato.de
Stan liczebny domen w róznych statusach. Liczy osobno domeny zajęte, wolne, zablokowane.
./count.sh
Sprawdź różnice pomiędzy wczorajszym i dzisiejszym stanem domen
./diff.sh
Check free domains in many extensions
whois domains .com .org .net
./whois_free.sh freedoman
START ✍
Program odpytuje WHOIS ze zmiennym IP poprzez router DSL skrypt restart.sh resetuje go w momencie uzyskania limitu zapytań dla aktualnego adresu IP W celu informowania o momencie resetowania wydaje dźwięk 1 raz Skrypt odczekuje 1 minutę i ponawia dwukrotnie dźwięk by zasygnalizowąc powrót połączenia do sieci internet
./restart.sh
Skrypt import_deleted_pl.sh pobiera plik listy domen w trakcie wygasania ze strony https://www.dns.pl/deleted_domains.txt Plik z listą domen jest zapisywany folderze input/ z nazwą zaczynającą się od daty utworzenia
./import_deleted_pl.sh
Uruchomienie pobierania danych z plików znajdujących się w folderze input/
./whois_all.sh
Pobrane dane WHOIS domen są zapisywane do plików tekstowych, każda domena oddzielnie. Skrypt move.sh przenosi pliki do folderów: free, expire, blocked na podstawie statusu WHOIS
./move.sh
Domeny ze statusami: wolne do rejestracji, wygasające po rejestracji i zablokowane znajdują się w osobnych pod-folderach dla danej daty pobierania w folderze output
Status domeny jest wykrywany poprzez wyszukiwanie charakterystycznej frazy w pliku wyniku WHOIS:
"Trwa postępowanie wyjaśniające [REGISTERED, ze statusem clientHold/serverHold]"
"billing period had finished"
Zakończył się opłacony okres rozliczeniowy; w tym stanie domena przebywa do 30 dni.
"No information available about domain name"
Domena nie istnieje w bazie Registry NASK.
Rozwiązanie najlepiej uruchomić na zewnętrznym urządzeniu jak RPI, które może pracować całą noc pobierając mniej energii a także resetować router jeśli taka opcja jest możliwa obecnie jest wspierane resetowanie routera marki fritz.
Struktura plików
|__LICENSE
|__.input
| |__2022-05-10_deleted_domains.txt
|__.output
| |__2022-05-10
| | |__free
| | |__expire
| | |__blocked
|__count.sh
|__data_clean.sh
|__data_create.sh
|__find.sh
|__find_input.sh
|__find_move.sh
|__find_output.sh
|__find_output_dns.sh
|__import_deleted_pl.sh
|__move.sh
|__nameserver.sh
|__README.md
|__registrar.sh
|__restart.bat
|__restart.sh
|__split.sh
|__whois.sh
|__whois_all.sh
|__whois_data.txt
|__whois_file_count.sh
|__whois_free.sh
|__whois_free.txt
|__whois_free_all.txt
|__whois_from_file.sh
TOOLS ✍
Jak sprawdzić status domeny i dane abonenta?
Jak sprawdzić hurtowo setki, tysiące domen?
Globalna Lista usuniętych domen
TODO ✍
Następny krok to aplikacja webowa z UI dla zarządzania i przyjmowania zgłoszeń, statyczne API z autoryzacją i limitami per client do 1000 zapytań dziennie.
2 metody dostępu do publicznego serwisu
- token do zapytań generowany dla usera na rok
- zapytania IP opóznianie do 1s/zapytanie
- opcja hurtowego sprawdzania dla zarejestrowanych per email lub per token dla 1000 zapytań udostępniany dla wybranych, którzy nie chcą się rejestrować w systemie.
- każdy kto zrobi donate, nawet bez rejestracji dostanie hash na 10k zapytań
Dzięki temu będzie szansa by więcej osób skorzystało i to nadal działało. To część większego systemu, dlatego nie chcę zarabiać na dostępie do danych ogólnie dostępnych a jedynie go ułatwić i też nawiązać współpracę z domainerami Niestety to wszystko kosztuje czas i trwa miesiącami, kolejne usługi to będzie codzienna archiwizacja stron www w formacie HTML i zrzut ekranu
https://github.com/grabWHOIS/examples
na letWHOIS z opcją używania innnych agentów i przetwarzaniem formatu
z instalacją i przykładową listą input i output
jako oddzielny projekt do monitorowania zmian w rejestrach