انجمن‌های فارسی اوبونتو

کمک و پشتیبانی => شبکه و سرویس‌ دهنده‌ها => نویسنده: elham-sh در 16 تیر 1396، 01:11 ب‌ظ

عنوان: silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 01:11 ب‌ظ
https://www.youtube.com/watch?v=gfijEfVUPrw


سلام لینک بالا از یک فایلی با فرمتrfw استفاده کرده من اصلا تو سیستمم چیزی با این فرمت ندارم






عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 01:15 ب‌ظ
الان خطایی که میده چیه؟
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 01:26 ب‌ظ
(http://s9.picofile.com/file/8299844326/photo_2017_07_07_14_02_12.jpg)
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 02:04 ب‌ظ
میگه دستورش درست نیست
شما به جاش بعد از پایپ (|) دستور rwcut رو بذارید
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 02:05 ب‌ظ
زدم. ولی بازم خطا میده
(http://s9.picofile.com/file/8299844526/photo_2017_07_07_14_04_37.jpg)
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 02:07 ب‌ظ
زدم. ولی بازم خطا میده
(http://s9.picofile.com/file/8299844526/photo_2017_07_07_14_04_37.jpg)

مطمئن هستید درست نصبش کردید؟
خطای اولی بابت کنفیگ (نصب/کامپایل) نادرست برنامه هستش
برای خطای دومی تو دستورات rwfilter نیاز دارید تا پروتکل رو هم مشخص کنید
با اضافه کردن آپنش زیر به rwfilter تمامی پروتکل‌ها رو لحاظ میکنه
--proto=0-
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 02:08 ب‌ظ
من از این سایت دانلود کردم
https://tools.netsa.cert.org/silk (https://tools.netsa.cert.org/silk)
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 02:10 ب‌ظ
ببخشید یک سوال دیگه امکان نصب silk  روی  ویندوز هم هست؟
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 02:15 ب‌ظ
من از این سایت دانلود کردم
https://tools.netsa.cert.org/silk (https://tools.netsa.cert.org/silk)

https://tools.netsa.cert.org/yaf/libyaf/yaf_silk.html (https://tools.netsa.cert.org/yaf/libyaf/yaf_silk.html)

این لینک تست شده است، از این استفاده کنید
البته این yaf رو هم نصب می‌کنه کنارش
شما اگر خودتون نت فلو دارید، (نت فلو سمتتون میاد یا خودتون با ابزاری دیگه تولیدش می‌کنید نیاز به یاف ندارید)
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 02:24 ب‌ظ
مرسی
راستش من از sflow استفاده میکردم
میرم netflow رو میسازم اگر اوکی شد یا نشد خبر میدم و مزاحمتون میشم
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 02:25 ب‌ظ
ببخشید یک سوال دیگه امکان نصب silk  روی  ویندوز هم هست؟

اطلاعی ندارم

عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 02:58 ب‌ظ
To configure rwflowpack, edit /usr/local/etc/rwflowpack.conf 
اقای مهندس این قسمت رو متوجه نمیشم دقیقا باید چیکار کنم
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 03:06 ب‌ظ
To configure rwflowpack, edit /usr/local/etc/rwflowpack.conf 
اقای مهندس این قسمت رو متوجه نمیشم دقیقا باید چیکار کنم

/usr/local/etc/rwflowpack.conf
این فایل رو بسازید و کانفیگ های گفته شده رو توش بذارید

بعد
مثلا توی گانفیگ های گفتین که تنظیمات سنسور فلان مسیر هستشس
مثلا:
SENSOR_CONFIG=/data/sensor.conf

حالا میرین توی این مسیر تنظیمات سنسور رو مذارید
منظور از تنظیمات سنسور ایناست:
probe S0 ipfix
   listen-on-port 18001
   protocol tcp
end probe

sensor S0
   ipfix-probes S0
   internal-ipblocks 192.168.1.0/24 10.10.10.0/24
   external-ipblocks remainder
end sensor
     
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 03:20 ب‌ظ
این رو توی پیام‌هام پیدا کردم
شاید به درد بخوره:

تنظیمات yaf
کانفیگ yaf و rwflopack
برای اینکه برای yaf تعریف کنیم تا به کدام اینترفیس گوش دهد و بر اساسش نت فلو بسازد، بایستی نام اینترفیس مربوطه را در فایل کانفیک yaf به آدرس
/usr/local/etc/yaf.conf
تغییر دهیم، مثلا:
YAF_CAP_IF=eth16
تنظیمات rwflowpack در مسیر زیر می باشد که کانفیگ‌ها را از فایل های silk.conf و sensor.conf میخواند
/usr/local/etc/rwflowpack.conf
در فایل data/sensor.conf ما سنسور تعریف میکنیم و نوع آن و پورتی که سنسور به آن گوش می دهد را مشخص می کنیم. سپس به روتر سیسکو یا به yaf می گوییم که flow ها را به این پورت بفرستند. برای مثال در فایل سنسور زیر ما flow های نوع ipfix را از طریق پورت ۱۸۰۰۱ دریافت می کنیم:
probe S0 ipfix
   listen-on-port 18001
   protocol tcp
end probe

sensor S0
   ipfix-probes S0
   internal-ipblocks 192.168.1.0/24
   external-ipblocks remainder
end sensor
و سپس با دستور rwfilter کوئری زده و داده ها و آمار ها را استحراج میکنیم.  Man rwfliter اطلاعات بسیار جامع و کاملی دارد.
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 03:23 ب‌ظ
من طبق همون لینکی که فرستادین اجرا کردم و ب این مرحله ک رسیدم این خطا ر داد

shayan@shayan:~/silk-3.16.0$ /etc/init.d/rwflowpack restart
mkdir: cannot create directory ‘/var/lib/rwflowpack’: Permission denied
/etc/init.d/rwflowpack: Could not create /var/lib/rwflowpack/archive
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 03:31 ب‌ظ
sudo اولش بذارید
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 03:32 ب‌ظ
root@shayan:~# /etc/init.d/rwflowpack restart
Stopping rwflowpack:  [OK]
Starting rwflowpack:  rwflowpack: Ignoring —archive-directory since no probes use directory polling
[OK]
root@shayan:~#
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 03:33 ب‌ظ
ببینید سرویسش اجرا هست یا نه؟

با دستور زیر چک کنید بهتره:
sudo ps ax | grep silk
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 03:34 ب‌ظ
root@shayan:~# sudo ps ax | grep silk
 3308 ?        Ssl    0:00 /usr/local/sbin/rwflowpack —sensor-configuration=/data/sensor.conf —site-config-file=/data/silk.conf —archive-directory=/var/lib/rwflowpack/archive —output-mode=local-storage —root-directory=/data —pidfile=/var/lib/rwflowpack/log/rwflowpack.pid —log-level=info —log-destination=syslog
 3330 pts/0    S+     0:00 grep silk
root@shayan:~#
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 03:42 ب‌ظ
root@shayan:~# sudo ps ax | grep silk
 3308 ?        Ssl    0:00 /usr/local/sbin/rwflowpack —sensor-configuration=/data/sensor.conf —site-config-file=/data/silk.conf —archive-directory=/var/lib/rwflowpack/archive —output-mode=local-storage —root-directory=/data —pidfile=/var/lib/rwflowpack/log/rwflowpack.pid —log-level=info —log-destination=syslog
 3330 pts/0    S+     0:00 grep silk
root@shayan:~#

خوب این الان درسته، حالا باید yaf رو هم اجرا کنید
نیازی هم نیست کاربر روت باشید، ترجیها از کاربر خودتون با sudo استفاده کنید
بعد از اجرا سرویس با همون دستور قبلی
sudo ps ax | grep silkیا با
sudo ps ax | grep yafیا
sudo service yaf statusاجرا بودنش رو بررسی کنید.
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 03:45 ب‌ظ
نیست
root@shayan:~# sudo ps ax | grep yaf
 4085 pts/0    S+     0:00 grep yaf
root@shayan:~#
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 03:48 ب‌ظ
میشه لاگ‌های yaf رو ببینم؟
مسیر ذخیره سازیش رو خودتون توی کانفیگش مشخص کردید، محتوای اون فایل رو بذارید
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 03:50 ب‌ظ
[2017-07-02 06:33:57] yaf starting
[2017-07-02 06:33:57] Initializing Rules From File: /usr/local/etc/yafApplabelRules.conf
[2017-07-02 06:33:57] Application Labeler accepted 44 rules.
[2017-07-02 06:33:57] Application Labeler accepted 0 signatures.
[2017-07-02 06:33:57] DPI Running for ALL Protocols
[2017-07-02 06:33:57] Initializing Rules from DPI File /usr/local/etc/yafDPIRules.conf
[2017-07-02 06:33:57] DPI rule scanner accepted 63 rules from the DPI Rule File
[2017-07-02 06:33:57] DPI regular expressions cover 7 protocols
[2017-07-02 06:33:57] Forked child 3632.  Parent exiting
[2017-07-02 06:33:57] running as root in —live mode, but not dropping privilege
[2017-07-02 06:33:58] Processed 0 packets into 0 flows:
[2017-07-02 06:33:58]   Mean flow rate 0.00/s.
[2017-07-02 06:33:58]   Mean packet rate 0.00/s.
[2017-07-02 06:33:58]   Virtual bandwidth 0.0000 Mbps.
[2017-07-02 06:33:58]   Maximum flow table size 0.
[2017-07-02 06:33:58]   1 flush events.
[2017-07-02 06:33:58]   0 asymmetric/unidirectional flows detected (-nan%)
[2017-07-02 06:33:58] YAF read 0 total packets
[2017-07-02 06:33:58] Assembled 0 fragments into 0 packets:
[2017-07-02 06:33:58]   Expired 0 incomplete fragmented packets. (-nan%)
[2017-07-02 06:33:58]   Maximum fragment table size 0.
[2017-07-02 06:33:58] yaf terminating on error: couldn't create connected TCP socket to localhost:18000 Connection refused
[2017-07-02 06:43:25] yaf starting
[2017-07-02 06:43:25] Initializing Rules From File: /usr/local/etc/yafApplabelRules.conf
[2017-07-02 06:43:25] Application Labeler accepted 44 rules.
[2017-07-02 06:43:25] Application Labeler accepted 0 signatures.
[2017-07-02 06:43:25] DPI Running for ALL Protocols
[2017-07-02 06:43:25] Initializing Rules from DPI File /usr/local/etc/yafDPIRules.conf
[2017-07-02 06:43:25] DPI rule scanner accepted 63 rules from the DPI Rule File
[2017-07-02 06:43:25] DPI regular expressions cover 7 protocols
[2017-07-02 06:43:25] Forked child 3862.  Parent exiting
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 03:56 ب‌ظ
این داره سعی می‌کنه به پورت ۱۸۰۰۰ وصل بشه، منتهی این پورت یا بسته است توسط فایروال یا اینکه سرویسی به این پورت گوش نمیده (که محتمل تره و فرض رو ب راین میذارم)
شما توی rwflowpack و همچنین yaf پورت تعیین می‌کنید، باید پورتی که سنسور بهش گوش میده با پورتی که yaf براش نت‌فلو می‌فرسته یکی باشن (البته می‌تونید چندین سنسور داشته باشید. در اینجا شما یک سنسور دارید)
شما با دستور زیر می‌تونید پورتی رو که rwflowpack بهش گوش میده رو پیدا کنید:
netstat -anp | grep rwflowعددش هر مقداری بود، همون مقدار رو توی تنظیمات yaf درج کنید و سپس سرویس yaf رو ریستارت کنید



یا اینکه می‌تونید تنظیمات سنسور rwflowpack رو تغییر بدید تا به پورت ۱۸۰۰۰ گوش بده.
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 04:00 ب‌ظ
root@shayan:/var/log/yaf/log# netstat -anp | grep rwflow
tcp        0      0 0.0.0.0:18001           0.0.0.0:*               LISTEN      3308/rwflowpack
unix  2      [ ]         DGRAM                    49928    3308/rwflowpack


چطوری؟
YAF_IPFIX_PORT=18000
اینو 18001 بذارم؟
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 04:03 ب‌ظ
بله
بعدشم yaf رو ریستارت کنید
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 04:06 ب‌ظ
خب درست شد
الان هر دو run شدن
باید چیکار کرد ؟ گام بعدی رو لطف میکنین؟
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 04:16 ب‌ظ
من نمی‌دونم شما چه استفاده ای میخواین

کلا شما توی yaf میگین به یک اینترفیس گوش بده و نت فلو تولید کنه و اون ها رو بفرسته به یک پورت خاص

اونوقت rwflowpack به اون پورت گوش میده و نت فلوها رو جمع میکنه
و بعد با استفاده از ابزار هایی نظیر rwfilter,rwstat,rwcut و ... می‌تونید کوئری بزنید و خروجی‌ها رو تحلیل کنید و گزارش‌های مختلفی بگیرید
man rwfilter
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 04:54 ب‌ظ
ممنون مهندس

rwfilter --type=all --syn=1 --ack=0 --fin=0 --dport=21 \ --pass=stdout | rwstats --top --count=20 \ --fileds=1,2,3 --value=flows
اینا رو تست میکنم جواب نمیده
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 05:02 ب‌ظ
شاید داده‌ای ندارید

خروجی دستور زیر رو بررسی کنید:
rwfilter --type=all --proto=0-   --pass=stdout | rwcut
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 05:06 ب‌ظ
(http://s8.picofile.com/file/8299857676/photo_2017_07_07_17_05_04.jpg)
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 05:23 ب‌ظ
یا می‌تونه به خاطر نبود داده باشه، مثلا اینترفیسی که برای yaf تعیین کردین تا بهش گوش بده و نت فلو تولید کنه، روش ترافیکی نیست، که برای این مورد می‌تونید فعلا چون داریم تست می‌گیریم، اینترفیس رو توی تنظیمات yaf به any تغییر بدید.

مورد بعدی اینکه پیش فرض silk میاد و زمان رو UTC میگیره، اگر سیستم شما زمانش محلی باشه (که معمولا هست) باید زمان کامپایل کردن silk، موقع کانفیگ کردن براش تعریف کنید تا زمان محلی رو لحاظ کنه و بعد مجدد کامپایلش کنید.
فعلا دستور زیر رو اجرا کنید:
rwfilter --start-date=2016/02/19:00 --end-date=2018/02/19:23 --type=all --proto=0- --pass=stdout | rwcut
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 07:38 ب‌ظ
root@shayan:~# rwfilter --start-date=2016/02/19:00 --end-date=2018/02/19:23 --type=all --proto=0- --pass=stdout | rwcut
                                    sIP|                                    dIP|sPort|dPort|pro|   packets|     bytes|   flags|                  sTime| duration|                  eTime|sen|
root@shayan:~#
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 08:21 ب‌ظ
مطمئن هستید که روی سیستم شما ترافیکی رد و بدل میشه؟
چند تا اتصال tcp ایجاد کنید، چند وب سایت باز کنید و مقداری با سیستم کار کنید

خروجی دستور زیر رو بذارید، ببینید اصلا silk تونسته داده‌ای جمع کنه یا نه (چون داده‌های مربوط به فلو‌ها رو تو مسیر /data میریزه)

du -lh /data/
اگر تو دایرکتوری‌ها چیزی نبود، سعی کنید مقداری با سیستم تو شیکه کار کنید تا yaf بتونه نت فلو تولید کنه

اگر سیستم درست کار کنه، باید خروجی دستور فوق چیزی مثل این باشه: (حالا با حجم‌های متفاوت)
.
.
.
4.3M /data/inweb/2017/05
9.5M /data/inweb/2017/07/02
11M /data/inweb/2017/07/04
11M /data/inweb/2017/07/03
6.0M /data/inweb/2017/07/06
11M /data/inweb/2017/07/05
3.5M /data/inweb/2017/07/07
6.2M /data/inweb/2017/07/01
57M /data/inweb/2017/07
222M /data/inweb/2017
222M /data/inweb
13G /data/
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 16 تیر 1396، 08:47 ب‌ظ
بله همینطوره :
root@shayan:~# du -lh /data/
32K /data/in/2017/07/07
12K /data/in/2017/07/05
48K /data/in/2017/07
52K /data/in/2017
56K /data/in
36K /data/ext2ext/2017/07/06
180K /data/ext2ext/2017/07/07
96K /data/ext2ext/2017/07/02
2.7M /data/ext2ext/2017/07/05
3.0M /data/ext2ext/2017/07
3.0M /data/ext2ext/2017
3.1M /data/ext2ext
24K /data/out/2017/07/07
12K /data/out/2017/07/05
40K /data/out/2017/07
44K /data/out/2017
48K /data/out
3.2M /data/
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 16 تیر 1396، 11:30 ب‌ظ
پس مشکل از داده نیست و درست کار میکنن
خروجی دستور زیر رو بررسی کنید
rwcount --versionاگر عبارت
   * Timezone support:                 UTCرو دیدین، بسته رو مجدد کامپایل کنین، منتهی اینبار موقع configure کردن، آپشن enable-localtime رو هم اضافه کنید.
اگر طبق لینکی که دادم بخوام بگم، میشه این:
./configure --with-libfixbuf=/usr/local/lib/pkgconfig --enable-ipv6 --enable-localtimeبعدشم make  و make install

بعد مجدد خروجی دستور اولی رو بررسی کنید و اگر UTC به local تغییر پیدا کرده بود، مشکل منطقه زمانی حل شده
خروجی مورد انتظار:
   * Timezone support:                 local
قبل از اجرای make install سرویس رو متوقف کنید و پس از اتمام کار راه اندازی کنید.

بعد با سیستم کار کنید (کار تحت شبکه)، و بعد از مدتی مجدد خروجی دستور rwfilter رو بررسی کنید
عنوان: پاسخ : silk monitoring
ارسال شده توسط: elham-sh در 25 تیر 1396، 07:45 ب‌ظ
مشکل حل شد یک دنیا تشکر ... بسیار عالی بودین O:) O:) O:) O:) O:)
عنوان: پاسخ : silk monitoring
ارسال شده توسط: احمد حقیقی در 26 تیر 1396، 10:16 ب‌ظ
خواهش
موفق باشید
(سوال رو هم لطفا ببندید:) )