И все же именно лень - двигатель прогресса. Решил я посмотреть скиммером свежую запись с TX3A. Запустил его на удаленном компе. А памяти там мало - не хватило даже для небольшого участка спектра. Что делать - наращивать память? Вначале подумал да. Потом - а что толку, на домашнем компе 32 гига - а все равно приходится муторно совать в скиммер куски - пусть и по 100-150 кГц шириной, но делать это надо не раз, чтобы обойти всю полосу 200..1300 кГц . А хочется то как - запустил и готово. Еще и чтобы памяти не ел.

В общем - начал таки переделку. Для начала - поменял формат файла спектра. Теперь это один файл .vvv2 - а к нему поддиректория с кучкой файлов мелкой нарезки спектра. Идея в следующем - скиммер в процессе работы последовательно перебирает частоты, для подгрузки спектра очередной частоты ему достаточно маленького файла. Равно как для подгрузки паспортов для одной частоты - памяти надо мало. Загрузил, обработал, оставил в памяти результат - пошел дальше. При этом за раз можно запускать обработку любой ширины полосы.

В плане работы в "ручном" режиме так же стало удобнее. Теперь открываешь один маленький файл - в окошке спектра видишь его параметры. А дальше выбираешь на свой вкус нужную полосу нужной ширины. Вот иллюстрация:
Версия 2.0 превью

Теперь приступаю к переделке скиммера. Надо готовиться к зимнему сезону :)

wazzoo
Во-первых, Иван- поздравления с 1500!
И, конечно, с интересом ждем переделку.
И когда надумаешь выкладывать свои дополнительные паспорта, предупреди -добавлю еще некоторые . В большинстве своем этих маяков нет в базе паспортов

vinipu
Виктор, спасибо! 1500 думал только к зиме достичь, но записи 13-го года ускорили процесс :)

Пока паспортов новых мало - я напишу, как соберусь релизить.

Коллеги, Вадим, Виктор - можно попробовать бету версии 2.0 - PskovNDB - version 2.0 "Gverston'" - beta

Версия 2.0 упрощает работу в двух важных аспектах (из-за них и затевалась):

1. Теперь можно легко работать сразу со всем обработанным файлом, даже если он охватывает диапазон в мегагерц и более. И даже если у вас в наличии компьютер с малым ОЗУ - нужно всего от 4Гб ОЗУ.

2. Скиммер можно натравливать на определенные цели - на определенные участки диапазона или на маяки дальше определенного расстояния или в определенном азимуте. Или просто - на те маяки, которые "новые" (т.е. ранее не логировались в папку Loggings). При этом скиммер так же сразу работает по всей записанной ширине эфира и так же ему достаточно для этого 4 Гб ОЗУ.

Я теперь эфир проверяю так: записываю файл 20-минутку - весь ДВ и СВ. Строю спектр (скорость построения зависит в первую очередь от скорости записи на диск). Открываю файл, выбираю скиммер, ставлю порог по дальности в 2500 км и галочку "не применять дальность к новым маякам" и отправляю скиммер в работу. На выходе получаю состояние эфира в части дальнего прохождения и новенькие маячки для логирования (мне удобно тем, что почти все мои уловы - сделаны уже программой и есть в папке loggings - так что если прилетел маяк, который не логировался через программу - он для меня "новый").

Чуть подробнее в ворде описал: https://yadi.sk/i/xdEh4kbKA1chag

Очень рекомендую пользоваться кнопкой Corr при логировании каких-то новых или интересных маяков или при разборках с подозрительными синалами. Сразу можно четко выделить его боковые или обнаружить у него несущую с негативной манипуляцией. Или обнаружить, что ты наткнулся на гармонику, а основной сигнал в нескольких килогерцах выше :) иногда гармоники бывают похожи на слабый сигнал маяка с другим позывным - и эта функция выручает.

Иван, спасибо! Много "плюшек" нужных и актуальных сотворил, руки чешуться опробовать!. Отдельное спасибо по кнопке "About":).

Спасибо. Иван! Будем пробовать...

Отправил еще зарубежным коллегам. Пособираю баги/отзывы - потом выложу всем.
Есть еще задумки для дальнейшего развития:
1. "Холодный" скимминг - т.е. скармливание IQ-записи скиммеру - для ускорения процесса чистого скимминга без анализа всей записи (без водопада).
2. Поиск без паспортов (только на основе паттернов отдельных букв) - понятия не имею, выгорит ли идея - пока просто заметил, что паттерны букв у большинства маяков примерно совпадают, можно попробовать искать чисто по буквам - будет долго и не очень точно, зато если выгорит - позволит автоматизировать процесс поиска новых маяков.

Пришли первые баги. У Ноэля не работает скиммер - при чем с разными ошибками, я таких не встречал. Коллеги, сообщите пожалуйста, как попробуете скиммер в работе - надо понять, это отдельный случай у Ноэля или система...

wazzoo
сообщите пожалуйста, как попробуете скиммер в работе - надо понять, это отдельный случай у Ноэля или система...
Сделал тестовую полу-часовую запись вчера, с полосой 192 kHz (405 kHz центральная частота). Выстроил в буилдере файл спектры
2019.09.18_22-08-47_fft32768_overlap95_qrg309.000-501.000 , открыл этот файл в Пскове, задал полосу 20 kHz - полёт нормальный. Жмакаю Find known, открывается скиммер и вот тут пока ничего не трогаю и жму Search - появилось окно с какой-то ошибкой. Я заметил, что в главном окне Пскова после загрузки файла спектры частотный диапазон прочитался как 309,000-
500,994. В поле Frequency range скиммера по умолчанию выставилось 309-501. Так вот, достаточно было уменьшить на один
Герц значение этого поля, проставив вместо 501 - 500, и скиммер заработал:

KarapuZ
Вадим, спасибо!
Буду смотреть что за ошибка

wazzoo
При этом скиммер так же сразу работает по всей записанной ширине эфира и так же ему достаточно для этого 4 Гб ОЗУ.
Иван, мне кажется, глядя в Диспетчер задач Win-ды, память выжирается как и предыдущей версии, на компе сейчас по минимуму
процессов запущено у меня, браузер Хром с одной откр. вкладкой, Paint и Pskov NDB:

память выжирается как и предыдущей версии,
Посмотри на вкладке "Процессы" сколько потребляет сам PskovNDB.exe.
Потребление зависит конечно от выбранной ширины полосы для просмотра. Так же зависит от настроек построения спектра. Но для типичных сценариев будет хватать 4 Гб ОЗУ - во всяком случае я уже месяц гоняю на такой машине прогу. Там есть еще нюанс такой, что пока есть свободная память - она будет занята, так менеджер памяти .NET оптимизирует свою работу. Вынь планку памяти - и будет такая же картина :)

Я сейчас проверил - на машине с 32Гб памяти сама прога PskovNDB кушает 750 мегабайт при загруженной полосе 20кГц длительностью 20 минут и разрешением 6 Герц на слот / 90% оверлэп.
В ходе скимминга по всему файлу занятая память вырастает до 1,1Гб

UPD: нашел ошибку..просто не было до этого файла с полосой уже, чем полоса, покрытая паспортами. И вторую ошибку Ноэля нашел. Сегодня апдейт залью по тому же адресу

wazzoo
нашел ошибку..просто не было до этого файла с полосой уже, чем полоса, покрытая паспортами. И вторую ошибку Ноэля нашел. Сегодня апдейт залью по тому же адресу
Иван, ещё вдогонку - в окне скиммера, мне кажется, столбцы "Azimuth" и "Distance" перепутаны местами:

Есть "новички"!

столбцы "Azimuth" и "Distance" перепутаны местами:
Точно, спасибо!

Есть "новички"!
Поздравляю!
Рекомендую скачать последние паспорта Виктора - они мне чуть ли не под сотню новых маяков принесли :)

И еще - рекомендую для скиммера использовать формулу 6Герц/90% для спектра. Это существенно экономит время на поиск.

Пофиксил найденные баги. Заодно добавил функцию отмены процесса поиска (если закрыть окно прогресса скиммера - прога вначале спросит и после подтверждения остановит процесс, выведет то что уже было обработано). Линк тот же самый: https://yadi.sk/d/eyPi9jdEdD5Uhw

Хочу поделиться еще одной любопытной вещью, которую заметил в процессе использования кнопки Corr. Часто "палки" положительной/отрицательной корреляции торчат на месте боковых или на месте несущей, но корреляция невысокая, при этом визуально сигнала на свертке разглядеть не удается.
Это очень интересная ситуация - т.к. понятно, что палка корреляции торчит из-за наличия сигнала - мы точно знаем, что он там есть, но...самого сигнала так вот вроде бы и нет на вид! (как в байке про суслика)
Это значит, что порой скиммер может давать корреляции с уровнем 0.4..0.6 тем сигналам, которые являются маяками - просто мы не можем их разглядеть - не хватает уже не то что слуховой чувствительности, но даже чувствительности глаза на свертке. При случае сделаю скриншоты такой ситуации - натыкался не раз.

wazzoo
Подскажи пожалуйста, Иван, чем вызваны подобные сдвиги в свёртке?

Думал это случайность, но сегодня второй файл записи вышел таким "кривым". Пишу одним файлом, полоса 192k, формат PCM 16.

P.S.
Причина в пропуске отсчетов, я проверил. Грешил было на буилдер, но дело в самом файле записи. Это уже вторая подряд кривая запись из под Элада с таким багом:(
Проверил традиционным методом в SA:

KarapuZ
Если такой сдвиг на всех маяках, то это пропуск при записи IQ файла. Hdsdr их может делать часто, если диск лагает. Я когда то хотел даже функцию ручного выравнивания сделать в программе, но отказался от этого, т.к. лучше все же наладить запись. Но такие сдвиги могут быть и у самого маяка, тогда они будут индивидуальные

wazzoo
Понравился 2.0 , хотя с меня тестер еще тот... Действительно много полезностей, а "Read started" позволяет сберечь нервы. Хотел вчера попробовать программу, но попал на неплохое прохождение на рассвете и весь день разгребал запись на прежней версии .Испытал новую версию только сегодня-у меня все нормально.

wazzoo
Если такой сдвиг на всех маяках, то это пропуск при записи IQ файла.
Да, сдвиг на всех сигналах. Похоже причина сдвигов кроется в перегрузе АЦП, у меня под боком долбит амтор в моде FT8. В моменты его долбёжа, перегруз наблюдаю на всех 16-ти битовых приёмниках. Заодно, сегодня примерно измерил время стабилизации опоры в Эладе S2 - с момента включения около часа надо греть приёмник до стабильности, общий выбег частоты
при этом около 30-ти Герц:

порой скиммер может давать корреляции с уровнем 0.4..0.6 тем сигналам, которые являются маяками - просто мы не можем их разглядеть
Обещанная иллюстрация. Смотрю сейчас запись от вчера - на новом для себя сигнале снова тот же эффект.

Смотрим, что нам дает кнопка Corr:


По графику видны четкие две боковые полосы с высокой корреляцией и две гармоники - с корреляцией менее 0,5, а так же несущая с отрицательной корреляцией. Совпадений таких, понятно, не бывает - гармоники это точно от нашего сигнала. Но что же мы видим на свертке? А вот что - берем 2-ю гармонику на верхней боковой, корреляция 0,42:


Ничего! Кто увидит здесь сигнал - маякните. Но он тут есть! Корреляционный механизм нам однозначно об этом говорит. Т.е. имеем по факту прием ниже уровня шума - чисто за счет корреляции шума.

Гармноника нижней боковой имеет уже заметную корреляцию 0,57 , и тут сигнал уже различим (какой-то)


Вот для сравнения как выглядит верхняя боковая - надо отметить, что сам по себе передатчик проблемный, мало того что гармноиками гадит, еще и манипуляции у него модулированные.


И вот несущая с корреляцией -0,52 - ну тут сигнал виден какой-то, так что норм.

Интересную вещь мне сегодня написал Патрик. Я всех агитирую за сочетание 6Герц на фрейм/90% оверлэп - т.к. был уверен, что по чувствительности этот вариант почти не уступает 3 Герц/95% оверлэп. Но похоже что я не прав.


I made some tests with 5.86Hz/frame and 90% overlap but some of the weak NDB that were visible before are not visible anylonger (for example I could see GAP-391 with 2.93 Hz resolution on my "test recording", almost nothing when using 5.86 Hz).
Using the skimmer, it is still detected but the correlation drops from 0.76 to 0.52 and to be honest it's almost impossible to say 'GAP is here" ! Same for RAS-394 that I was able to detect with the 2.93 Hz/90% setting and that is almost unreadable at 5.86.
Падение корреляции с 0.76 до 0.52 на тестовом примере - это очень много. Надо будет плотнее исследовать этот вопрос. А пока я бы рекомендовал уйти в область 2..4 Герц на фрейм и 95% оверлэп, если нужны DX. Для повседневного использования и для проверки прохождения по прежнему лучше использовать район 6 герц на фрейм/90%.

Я сам все это время использовал 6..7 герц+90%...

Так же - обновление бета-версии :)
https://yadi.sk/d/kr9ACqRurvw7vw
кое-что пофикшено

Надо будет плотнее исследовать этот вопрос.
Сегодня потестировал на одной записи, что была под руками дома. Даже не предполагал, что все настолько печально... Позже я более развернуто покажу разницу. А пока вот такая табличка, наглядно показывающая, как много упускает режим 6..7 Герц + 90% оверлэп. Лучшие результаты показал у меня в 4 раза более детализированный по частоте режим.

Я запустил скиммер на трех спектрах:
1. 1,7 Герц разрешение + 98% оверлэп
2. 3,3 Герц + 95%
3. 6,7 Герц + 90 %
Я всю дорогу использую последний режим из-за скорости работы с ним и малого потребления диска. После скиммера я взял маяки от 2700 км и дальше, визуально проверял только те, что имели от 0,65 корреляцию.
На 1-м режиме я смог идентифицировать 55 маяков
На 2-м 51 маяк, из них 2 маяка не идентифицируются 1-м режимом
На 3-м 39 маяков, из них 2 маяка не идентифицируются на 1-м режимом

1-й режим плохо показывает маяки, состоящие из точек (HI и HIE не идентифицировались) - не хватает временного разрешения. В остальном лучше - выигрывая за счет частотного разрешения. Предполагаю, что оптимум для ловли DX в районе 2 Герц частотного разрешения.

Т.е. здесь "мой" режим пропустил аж 18 маяков из 57 возможных к идентификации. Целая 1/3 (!) DX-ов прошла тут мимо..

Вот как выглядит ситуация, когда разрешение 1,7 Герц маяк дает, а более низкие разрешения уже нет. Сверху вниз - 1,7, 3,3 и 6,7 Герц разрешение. Если на 3,3 есть еще какие-то признаки маяка, то на 6,7 вообще ничего - только шум.



Так же можно обратить внимание, что на 1,7 довольно плавные черточки по горизонтали (тогда как на 6,7 уже более отчетливое зерно). Я попробовал использовать в 2 раза худшее разрешение по времени для 1,7 - вместо 12 миллисекунд на пиксель (98% оверлэп), использовал 24 миллисекунд на пиксель (96% оверлэп). Оказалось, что разницы для скиммера нет (в пределах каких-то мелких погрешностей). При этом размер спектра на диске в два раза меньше.

Продолжаю пока изучать другие варианты спектров.

wazzoo
Вот как выглядит ситуация, когда разрешение 1,7 Герц маяк дает, а более низкие разрешения уже нет. Сверху вниз - 1,7, 3,3 и 6,7 Герц разрешение. Если на 3,3 есть еще какие-то признаки маяка, то на 6,7 вообще ничего - только шум.
Похоже, всё верно Иван. С подобным сталкивался, когда всё начиналось и фильтровал полосовиком "вручную" в программе SA.Продолжаю пока изучать другие варианты спектров.
Было-бы неплохо, составить в свете последних исследований общую рекомендацию для пользователей, выбрав "золотую" середину
в разрешении по времени и по частоте. Жаль, очень мало времени свободного в эти дни:(
Да, выше я приводил иллюстрацию по времени стабилизации опорника в Эладе S2. Фактор это немаловажен, ибо при работе с высоким разрешением по частоте, картинка будет мутной с непрогретого ресивера.

KarapuZ
Я в новой версии уже заложил в построителе спектра выбор режимов - а то обратил внимание, что все играются кто во что горазд с настройками. Единственное, ситуация осложняется тем, что разрешение по частоте идет с шагом степени двойки. Т.е. у тебя может быть цепочка 2/4/8 герц на выбор или например 1,5/3/6 Герц - в зависимости от ширины записи. Т.е. наверное есть смысл и ширину записи рекомендовать, чтобы попадало в "нормальный" ряд. Времени много уходит на тестирование...

Да - действительно, если использовать непрогретые или приемники с плохостабильными задающими - могут быть проблемы. Впрочем, и к маякам такие требования - бывают маяки с дрейфом по частоте, но не так они и часты.

Проверил разрешение 0,83 Герца - временное разрешение распадается окончательно. На 1,7 Герца уже видно, что различимость точек/тире по времени уж становится плохой, но все еще позволяет на свертке получить что-то похожее на манипуляции, при чем маяки, состоящие из точек или с быстрой манипуляцией уже становятся проблемой. А на 0,84 - вообще не различить на экране манипуляции, видны только плавные всплески мощности сигнала, соответствующие буквам или кортежам.
Надо вернуться к идее попробовать другие оконные функции вместо Блэкман-Харриса.
А пока полагаю, что оптимальным частотным разрешением является примерно 2 Герца - соответственно лучше выбирать ширину полосы для записи в ряду 250/500/1000/2000 кГц - что даст разрешение 1,9 Герц. В части временного разрешения - 24 миллисекунды на пиксель уже работают нормально для скиммера, сейчас проверяю 30 миллисекунд при 1,7 Герца .

Версию 2 зарелизил: https://groups.io/g/ndblist/message/102575
Изменений по сравнению с бетой не много, пара багов исправлено, добавлен упрощенный выбор настроек построения спектра, добавлена поддержка RF64 для SDR#

Вчера сидел на Киви - очень удобно собирать паспорта в нужном регионе (конечно, если там есть Киви). Вчера я хотел собрать паспорта на северные страны - Исландию, Гренландию, Шпицберген. С Исландией все получилось довольно хорошо - из активных в реу 35-ти маяков не удалось получить паспорта только для 4-х. При этом для 3-х из них есть паспорта в коллекции, т.е. без паспорта только 1 маяк остается (370-NS).
Шпицберген я собрал с Конгсфьорда - сильные сигналы, только одного маяка нет - 295-EN. С Гренландией вот проблемы. Как и с Юконом.
На Конгсфьорде я был поражен качеством приема - дальний восток просто вваливает. Китайские маяки идут очень сильно, равно как и наши RSE-ные, один обнаружился числящийся неактивным с 14-го вроде года.

У меня первый сверх 10-тысячный маяк пришел. 365-PAL из Эквадора. 11244 км, 284 градуса.
На уровне шума - видны манипуляции на свертке, как дополнительный гарант корректного ID - совпадение с точностью до миллисекунды интервала и синхронность верхней и нижней боковой (т.е. одинаковое положение на горизонтальной оси отметок манипуляций). Лучшая свертка у меня получилась на диапазоне записей с 2:18 до 4:38 UTC (21-е октября)

Вот сигнал на нижней боковой - он читается лучше всего.


Вот сигнал на верхней боковой - тут он почти не читается, но можно обратить внимание, что его положение по горизонтали такое же как у нижней боковой - это означет синхронность манипуляций по времени, что случайным образом на шуме получиться не могло (т.е. должны были совпасть и свертки и тайминги - шанс один на миллион, если не меньше)


А вот результаты скиммера, один паспорт там сам по себе плохой - остальные три сработали. Можно увидеть, что совпадение по интервалу с точностью до миллисекунды. Заодно можно сказать, что у этого маяка сверхвысокостабильный задающий манипулятор - т.к. на протяжении 2-х часов нет перекосов, равно как и по сравнению с временем снятия паспорта - нет убега интервала

wazzoo
У меня первый сверх 10-тысячный маяк пришел. 365-PAL из Эквадора. 11244 км, 284 градуса.
Иван, мои поздравления! Наблюдая за логами коллег в рассылке группы NDBlist, прихожу к выводу - проект "Псков" взлетел, интерес
к проге в эти недели, можно сказать "с уклоном в ажиотаж", база паспортов/сигнальных эталонов растёт и улучшается качественно, программа регулярно шлифуется и обновляется, саппорт на высоте, что оченно радует - на данный момент ты проделал огромную работу в этом плане. Конечно, предстоит ещё рутина в переборе наиболее качественных паспортов, но я вижу и энтузиазм коллег, таки просекли они фишку этой шайтан-программы:)