Giới thiệu về SpiderFoot
SpiderFoot là gì ?
Hình 1: Tool spiderfoot trong Kali Linux
SpiderFoot là công cụ do thám tự động, cho phép người dùng truy vấn hơn 100 nguồn dữ liệu công khai (OSINT) để thu thập thông tin tình báo về địa chỉ IP, tên miền, địa chỉ email và tên Người dùng chỉ cần chỉ định mục tiêu điều tra và chọn mô-đun cần kích hoạt, sau đó SpiderFoot sẽ tự động thu thập dữ liệu để xây dựng hiểu biết về các thực thể và mối quan hệ của chúng.
OSINT là gì ?
OSINT (Open Source Intelligence) là thông tin có sẵn công khai có thể cung cấp những hiểu biết quan trọng về mục tiêu của bạn, bao gồm dữ liệu từ DNS, Whois, các trang web, DNS thụ động, danh sách đen spam, dữ liệu meta tệp, và danh sách tình báo về mối đe dọa Ngoài ra, các dịch vụ như SHODAN và HaveIBeenPwned? cũng là nguồn tài nguyên quý giá trong việc thu thập thông tin.
Giới thiệu về SpiderFoot HX
SpiderFoot HX là gì?
SpiderFoot HX được phát triển từ phiên bản nguồn mở, mang đến những tính năng nâng cao cho tất cả các khía cạnh của SpiderFoot, bao gồm cải thiện hiệu suất, tăng cường khả năng sử dụng, tối ưu hóa trực quan hóa dữ liệu và nâng cao bảo mật.
Chức năng của SpiderFoot HX
- Ngoài khả năng thu thập dữ liệu của phiên bản mã nguồn mở, SpiderFoot
HX còn tiến xa hơn một bước với các tính năng sau:
Sau khi đăng ký, bạn không cần thực hiện bất kỳ cài đặt hay thiết lập nào Tất cả đã sẵn sàng để sử dụng mà không cần phải cài đặt các phụ thuộc Python, không cần máy ảo, và cũng không cần lo lắng về việc có đủ tài nguyên máy tính, bộ nhớ hay dung lượng đĩa để thực hiện quá trình quét lớn.
Các cuộc điều tra cho phép bạn kiểm soát hoàn toàn quá trình quét dữ liệu, giúp bạn thực hiện từng bước của quy trình thu thập một cách trực quan Đôi khi, việc không tự động hóa hoàn toàn quá trình quét là cần thiết để đảm bảo tính chính xác và hiệu quả trong từng mô-đun.
Quét đa mục tiêu cho phép bạn nhập nhiều thực thể như miền hoặc địa chỉ email liên quan đến cùng một mục tiêu trong một lần quét, giúp tiết kiệm thời gian và nâng cao hiệu quả.
SpiderFoot xác định tốt hơn các mối quan hệ và tìm kiếm thông tin liên quan.
● Quét nhanh hơn:Nhờ kiến trúc được cải tiến hoàn toàn của SpiderFoot
HX, các bản quét chạy nhanh hơn 10 lần so với phiên bản mã nguồn mở. Điều này có nghĩa là bạn nhận được dữ liệu bạn cần, nhanh hơn.
Giám sát OSINT cho phép bạn thực hiện quét tự động hàng ngày, hàng tuần hoặc hàng tháng vào thời điểm bạn lựa chọn, đồng thời tự động theo dõi và cảnh báo về tất cả các thay đổi giữa các lần quét.
Nhận thông báo qua email khi quá trình quét SpiderFoot hoàn tất hoặc khi có sự thay đổi được phát hiện giữa các lần quét theo lịch trình đã xác định.
Tích hợp Slack cho phép bạn nhận thông báo theo cách mà bạn thích hơn Chỉ cần nhập URL móc Slack của bạn, và bạn sẽ nhận được thông báo trong Slack về quá trình quét hoàn thành, cũng như các thay đổi từ các lần quét theo lịch trình.
● Nhập mục tiêu quét:Khi quét nhiều mục tiêu, việc tải chúng vào qua CSV hoặc được xuất từ Hunchly có thể dễ dàng hơn.
SpiderFoot HX đã được nâng cấp với nhiều mô-đun mới, cho phép quét cổng UDP, xác định ngôn ngữ trong nội dung và chụp ảnh màn hình từ các nguồn như hồ sơ mạng xã hội, trang web tối và các trang web nhạy cảm với bảo mật, bao gồm những trang yêu cầu thông tin đăng nhập.
SpiderFoot HX thực hiện quá trình tương quan trong và sau khi quét hoàn tất, nhằm tìm kiếm các điều kiện cần được điều tra ngay lập tức Điều này bao gồm việc phát hiện các bất thường, bộ chứa lưu trữ đám mây mở, và tên máy chủ chỉ xuất hiện từ một số nguồn nhất định.
Báo cáo và hình ảnh cho phép bạn cắt và phân loại kết quả quét theo các tiêu chí như loại dữ liệu, họ dữ liệu, mô-đun, danh mục mô-đun và nguồn dữ liệu Bạn có thể xem xét chuyên sâu từng điểm dữ liệu để hiểu cách nó được phát hiện, các mối quan hệ liên quan và nhiều thông tin bổ ích khác.
Hợp tác nhôm là một giải pháp hiệu quả cho các nhóm làm việc về OSINT và thông tin tình báo về mối đe dọa Với SpiderFoot HX, bạn có thể quản lý nhiều người dùng với quyền kiểm soát truy cập dựa trên vai trò, đồng thời hỗ trợ quá trình quét và điều tra một cách cộng tác.
Thêm ghi chú vào kết quả quét và sử dụng API để tích hợp hiệu quả với các công cụ SIEM nội bộ, nền tảng điều tra và hệ thống bán vé, giúp nâng cao khả năng phân tích và xử lý sự cố.
Bảo vệ nền tảng OSINT và các cuộc điều tra của bạn bằng cách sử dụng xác thực hai yếu tố (2FA), kiểm soát truy cập dựa trên vai trò và cơ sở hạ tầng đám mây được bảo mật hoàn toàn Những biện pháp này giúp bạn an tâm hơn về vấn đề bảo mật.
SpiderFoot HX tích hợp ngay lập tức với TOR, giúp bảo mật danh tính của người dùng trong quá trình quét Điều này đảm bảo rằng không có thực thể nào bị quét có thể nhận biết được hoạt động quét đang diễn ra, mang lại sự an toàn và riêng tư tối đa cho người sử dụng.
Với SpiderFoot HX, bạn có thể dễ dàng thiết lập cấu hình quét tùy chỉnh cho các mô-đun cụ thể mà bạn muốn sử dụng, giúp tiết kiệm thời gian khi không cần phải xác định lại mỗi lần quét Điều này cho phép bạn tái sử dụng các cấu hình quét cho các lần quét trong tương lai, mang lại hiệu quả cao hơn trong quá trình quét.
API SpiderFoot HX là một API RESTful hoàn chỉnh, cung cấp hầu hết các chức năng của giao diện người dùng, cho phép bạn tổ chức nền tảng và trích xuất dữ liệu một cách tự động.
Yêu cầu
● Nếu bạn muốn từng bước phải cài đặt bất kỳ thứ gì để SpiderFoot chạy trên Linux, hãy làm theo hướng dẫn tại url:
Url: https://www.spiderfoot.net/a-simpler-way-to-get-spiderfoot-running-is-to- use-docker
SpiderFoot được phát triển bằng Python 3, do đó để sử dụng trên các hệ điều hành như Linux, Solaris, FreeBSD, bạn cần cài đặt Python phiên bản 3.6 trở lên cùng với các mô-đun phụ thuộc khác Để cài đặt các phụ thuộc này, bạn có thể sử dụng PIP và thực hiện theo hướng dẫn cài đặt.
Nếu bạn đang sử dụng phiên bản SpiderFoot 2.12 cũ trên Windows, bạn sẽ nhận được một tệp thực thi (.EXE) đã được biên dịch, bao gồm tất cả các phần phụ thuộc cần thiết Điều này có nghĩa là bạn không cần phải cài đặt bất kỳ công cụ hoặc thư viện bên thứ ba nào, kể cả Python.
Sau phiên bản 2.12, SpiderFoot đã ngừng cung cấp tệp EXE cho Windows vì py2exe đã trở nên lỗi thời và không thể xây dựng một số phụ thuộc một cách chính xác trên hệ điều hành này.
Để cài đặt các phụ thuộc SpiderFoot trên Windows một cách dễ dàng, bạn cần thực hiện các bước sau: đầu tiên, cài đặt Python cho Windows; tiếp theo, tải xuống tệp PIP và chạy lệnh python get-pip.py để cài đặt PIP Cuối cùng, sử dụng lệnh pip3 install -r request.txt để cài đặt các gói cần thiết giống như trên Linux.
Để cài đặt SpiderFoot trên MacOS X, bạn có thể sử dụng trình quản lý gói Homebrew Đầu tiên, hãy đảm bảo Homebrew đã được cài đặt bằng cách chạy lệnh brew; nếu không có hiệu quả, hãy tiến hành cài đặt Tiếp theo, cài đặt Python 3.5+ bằng lệnh brew install python, điều này cũng sẽ cài đặt pip Cuối cùng, bạn có thể cài đặt các phụ thuộc của SpiderFoot bằng cách sử dụng lệnh pip3 install -r request.txt, tương tự như trên Linux.
Màn hình giao diện
Hình 3: Các câu lệnh thực thi trong SpiderFoot
Cài đặt
SpiderFoot có thể được cài đặt dễ dàng thông qua git, phương pháp được khuyến nghị để luôn cập nhật phiên bản mới nhất chỉ bằng cách thực hiện thao tác kéo git Ngoài ra, người dùng cũng có thể tải xuống tarball của một bản phát hành Cách thức cài đặt này tương tự trên mọi nền tảng.
Chạy SpiderFoot
Để chạy SpiderFoot, bạn chỉ cần thực thi lệnh sf.py từ thư mục mà bạn đã giải nén hoặc kéo SpiderFoot vào Hãy chắc chắn rằng bạn đang sử dụng Python 3, vì trên một số bản phân phối Linux, lệnh python có thể chỉ đến Python 2.7; do đó, tốt nhất là nên sử dụng python3 để tránh nhầm lẫn.
Chế độ Giao diện người dùng web của SpiderFoot cho phép bạn sử dụng máy chủ web tích hợp để thực hiện quét, duyệt dữ liệu và quản lý cấu hình qua trình duyệt Ngoài ra, chế độ này cũng hỗ trợ điều khiển SpiderFoot bằng sfcli.py trong mô hình máy khách / máy chủ.
Chế độ quét của SpiderFoot cho phép bạn kích hoạt quá trình quét và phân tích kết quả mà không cần khởi động máy chủ web.
Chế độ giao diện người dùng
- Để khởi động SpiderFoot ở chế độ Web UI, bạn cần cho nó biết IP và cổng nào để lắng nghe Ví dụ dưới đây liên kết SpiderFoot với localhost
Sau khi thực thi, máy chủ web sẽ khởi động và lắng nghe trên địa chỉ 127.0.0.1:5001 Bạn có thể truy cập máy chủ này thông qua trình duyệt web bằng cách nhập https://127.0.0.1:5001 Bắt đầu từ phiên bản 2.10, bạn cũng có thể sử dụng CLI, mặc định sẽ kết nối đến máy chủ cục bộ trên 127.0.0.1:5001, hoặc bạn có thể chỉ định URL của máy chủ một cách rõ ràng.
~/spiderfoot$ python3 sfcli.py -shttps://127.0.0.1:5001
Để truy cập SpiderFoot từ một hệ thống khác, bạn có thể chỉ định một địa chỉ IP bên ngoài hoặc sử dụng 0.0.0.0 để cho phép SpiderFoot liên kết với tất cả các địa chỉ, bao gồm cả 127.0.0.1, điều này cho phép bạn điều khiển nó từ xa bằng sfcli.py.
- Sau đó, để sử dụng CLI từ một hệ thống từ xa nơi tệp sfcli.py đã được sao chép vào, bạn sẽ chạy:
$ python3 sfcli.py -u https://:5001
- Chạy python3 /sfcli.py help để hiểu rõ hơn về cách sử dụng CLI ứng dụng khách.
- Nếu cổng 5001 được sử dụng bởi một ứng dụng khác trên hệ thống của bạn, bạn có thể thay đổi cổng:
Khi bắt đầu, nếu bạn thấy giao diện tương tự như mô tả, điều đó có nghĩa là bạn đã sẵn sàng để tiếp tục Ngược lại, nếu xuất hiện thông báo lỗi liên quan đến việc thiếu mô-đun, hãy quay lại và kiểm tra xem bạn đã cài đặt đầy đủ tất cả các điều kiện tiên quyết hay chưa.
Hình 4: Chạy giao diện người dùng web
Demo
Lab 1: Sử dụng trực tiếp tool SpiderFoot trên Kali Linux
Hình 5: màn hình vào terminal của SpiderFoot
- Chạy lệnh ifconfig để xem IP:
Hình 6: lệnh ifconfig để xem IP
Hình 9: Nhập mục tiêu cần quét
- Chạy scan và thu được kết quả:
- Bảng thu thập kết quả, dữ liệu quét được:
Hình 13: Kết quả dữ liệu thu được
Lab 2: Sử dụng SpiderFoot qua git…
- Kiểm tra SpiderFoot đã được clone về chưa:
Hình 15: Kiểm tra SpiderFoot đã được clone về chưa
- Bạn có thể thấy một thư mục mới đã được tạo, tức là spiderfoot Bạn phải cài đặt công cụ spiderfoot bằng lệnh sau: cd spiderfoot
Hình 16: di chuyển đến thư mục SpiderFoot
- Dùng lệnh ls để liệt kê nội dung thư mục:
Hình 17: dùng lệnh ls liệt kê nội dung thư mục
Hình 19: giao diện web server
- Chọn target và chạy scan, kết quả thu được:
-Danh sách các scan tooken
Hình 20: kết quả thu được
Chương 4: Kết luận – Đánh giá
Spiderfoot là một công cụ thu thập thông tin đã ra đời từ lâu nhưng vẫn được sử dụng phổ biến Nó hoạt động dựa trên một khung mô-đun, cho phép người dùng nhanh chóng thu thập và phân tích dữ liệu.
- Spiderfoot có khả năng làm gần như mọi thứ gần bạn để trinh sát theo yêu cầu của bạn nó hoạt động như một công cụ tình báo.
Spiderfoot tích hợp tất cả các nguồn dữ liệu hiện có và áp dụng nhiều phương pháp phân tích khác nhau, giúp người dùng dễ dàng điều hướng và khai thác thông tin một cách hiệu quả.
Spiderfoot cung cấp một máy chủ web nhúng, cho phép người dùng truy cập giao diện trực quan trên web Bên cạnh đó, bạn cũng có thể sử dụng dòng lệnh để thực hiện các chức năng tương tự.
Spiderfoot là một công cụ mã nguồn mở thông minh, tích hợp với hầu hết các nguồn dữ liệu hiện có và áp dụng nhiều phương pháp khác nhau để phân tích dữ liệu hiệu quả.
- Spiderfoot là một khung OSINT tự động.
- Nó hoạt động theo các nguyên tắc của OSINT chứa nhiều mô-đun.