Тема выделена из "Приводные маяки". В той теме была некая предыстория появления программы и её первичного развития. Здесь продолжение.

В версии 1 программа позволяет работать оператору с IQ записями на предмет поиска в ней маяков. Автопоиск ведется на основе само-корреляции (автокорреляции) сигнала NDB с неким интервалом. Программа ищет этот интервал и показывает степень автокорреляции. Так же есть инструменты для логирования/просмотра предыдущих найденных и инструменты фильтрации. Конвуляционный фильтр например - не присутствует (насколько мне известно) ни в одной другой программе по работе со спектрами сигналов.

Продолжение. Версия 2. Здесь используется тот факт, что в ходе обработки записей накапливается база сигналов. Эту базу можно использовать для автоматического поиска в IQ файлах. Провел эксперимент по автопоиску на небольшом участке записи. На видео можно посмотреть эти сырые результаты. Довольно обнадеживающие - судя по всему, автопоиск имеет все шансы работать лучше "операторного" метода с использованием версии 1.

Суть эксперимента.

В качестве "паспортов" взяты сохраненные маяки из других записей (в том числе годичной давности).

Свертки "паспортов" автоматически нормализованы и приведены к квазипрямоугольным колебаниям.

Каждый "паспорт" ищется в пределах +/-50 Герц от его частоты, на каждой частоте проверяются интервалы +/-0.1 секунда с шагом в 0.001 секунда

Среди всех частот и интервалов выбирается тот, что дает максимальную корреляцию с "паспортом" - значения частоты, интервала и уровня корреляции заносятся в таблицу

На экране эта таблица слева. Я кликаю на паспортах - после клика отображается его график свертки и сонограмма. А справа в интерфейсе PskovNDB устанавливается найденная частота и интервал.
Видео: https://youtu.be/ej6KOqD1OrQ

В части скорости - на 8-поточном процессоре уходит примерно 0,18 секунды на проверку каждого паспорта. Это не быстро - но проверять приходится (33фрейма*201интервал*в среднем примерно 200 смещений по времени) = примерно 1,5 миллиона сравнений паспорта с записью. Запись - 10 минутная. Существенные резервы по ускорению есть лишь эвристические (т.е. по косвенным признакам уменьшать область проверки)

wazzoo
На экране эта таблица слева. Я кликаю на паспортах - после клика отображается его график свертки и сонограмма. А справа в интерфейсе PskovNDB устанавливается найденная частота и интервал.
Иван, кажется эта тема работает в том экзешнике последнем, что ты мне скидывал, я было подумал что это "баг"). Ещё заметил
такую особенность - кликая по слотам частоты, иногда программа сама пролистывает их несколько штук подряд, причём это происходит только на фильтре Pskov NDB, на Pearson всё как надо, один клик - один слот частоты, правда обработка идет дольше,
но и чувствительность обнаружения "слабой" свертки мне показалась выше именно на Пирсоне.

Иван, кажется эта тема работает в том экзешнике последнем, что ты мне скидывал, я было подумал что это "баг").
Не - там еще такого не было. Я автопоиск начал пилить и запилил всего-то вчера после обеда :)

чувствительность обнаружения "слабой" свертки мне показалась выше именно на Пирсоне.
Это плюс минус - где-то Псков выигрывает, где-то Пирсон - тут как повезет попасть в интервал - т.к. шаг в 50 мс очень большой, судя по моим экспериментам с поиском паспортов. В идеале нужен шаг в 1мс, кнопка Deep выбирает интервал поиска в 2мс. У меня были идеи улучшить качество поиска, не прибегая к "брутфорсу" - но теперь, похоже, это не так актуально - поиск по паспортам будет работать не хуже - надо бы в него лучше вкладываться.

иногда программа сама пролистывает их несколько штук подряд
Это ж работает функция автопоиска по порогу автокорреляции
----

Только что попробовал еще одну запись за другое время. Попробовал уже не 10, а 20 минут. Автопоиск по паспортам реально тащит! При чем DX-ы на уровне шумов идут уже с корреляцией от 0.7 и надежно, без ошибок на этой записи.

В общем - имхо, это бомба :) запустил анализ, пошел пить чай, вернулся - у тебя лукошко DX-ов как на ладони. Считай отложенный скиммер. Только комп нужен мощный для быстрого анализа. У меня проц хоть и старый - i7-3770К, но даже по нынешним меркам очень производительный - 9500 очков по cpu benchmark.

wazzoo
Я автопоиск начал пилить и запилил всего-то вчера после обеда :) да, это наверное мне показалось:), при наведении курсора на
окно слева, с уже принятыми сигналами, просто устанавливается в главном окне частота и интервал уже принятой ранее свертки.

Это ж работает функция автопоиска по порогу автокорреляции
Как её отключить, эту автопоиска функцию? Я наверное что-то пропустил или тот туториал на агнлийском в видео уроке твоем
не расшифровал:(

Как её отключить, эту автопоиска функцию?
Под кнопками <> есть окошечко с числом - по умолчанию там 0,5. Уменьши до 0 - не будет останавливаться.

У тебя кстати есть эксклюзивная кнопка - автоконвуляционный фильтр. При нажатии на кнопку "Auto" уровни отрезания свертки ставятся автоматом, по ним отсекаются отсчеты, выполняется автопоиск интервала

Играюсь с автопоиском по паспортам. В целом все работает, качество поиска в среднем лучше "ручного".

Есть пара нюансов:
1. Есть маяки, у которых интервал уплывает совсем уж конкретно. С виду их немного. Т.е. можно обойтись просто некой галочкой "для этого паспорта интервал плавает сильно". Если их окажется больше чем я думаю - надо будет делать спец-алгоритм поиска по сильно уплывающим интервалам.
2. Многие "паспорта" у меня - это свертки сигналов, полученные без конвуляционного фильтра - когда его не было или когда я просто ленился его применять, т.к. и так маяк видно. Так вот такие "паспорта" не годятся - т.к. вместо меандра морзе-последовательности маяка ищем просто некий "горб".

KarapuZ
Вадим, если интересно - на днях могу дать уже "альфу". Сейчас она работает так:
1. Копируешь из папки Loggings в папку Passports маяки, которые планируешь искать в записях (можно тупо все свои логи скопировать + я могу свои прислать - для "чистоты" эксперимента)
2. Запускаешь программу, грузишь как обычно для ручного анализа нужный файл vvv (желательно иметь 20-минутный отрезок, 30-минутный тоже подойдет - но длиннее точно не надо).
3. Жмакаешь специальную кнопку, на основе лог-файлов из папки Passports в память построятся паспорта.
4. Жмакаешь кнопку "поиск" - и идешь курить бамбук (чем слабее комп, тем дольше). У меня поиск идет где-то полминуты на полосе, в которую попадают примерно 150 паспортов.
5. Дальше смотришь таблицу с найденными маяками - жмакая на строке получишь найденный маяк.

Конечно, собственные уже принятые маяки искать не так инетересно. С ними интерес только - увидеть, что какое-то направление поперло (а дальше можно целенаправленно пройтись по маякам с нужного региона).
Раскроется эта функция только когда будет база, содержащая заметное количество еще не принятых, но потенциально вероятных к приему маяков (т.е. паспортов на основе логов контрибуторов или на основе специально сделанных аудиозаписей через веб-сдр). Тут конечно беда будет - как я понял, народ в массе логирует как на руку ляжет. А надо перед сохранением выравнивать свертку по вертикали (иначе меандра не будет) и желательно выставлять интервал без повторов (но это влияет в основном лишь на скорость поиска)

wazzoo
если интересно - на днях могу дать уже "альфу"
Конечно интересно, Иван!
5. Дальше смотришь таблицу с найденными маяками - жмакая на строке получишь найденный маяк. А вот здесь, уже сам-собою
напрашивается "картографический сервис":), локации передатчиков уже известны. У меня подобное работает в автономном режиме
при мониторинге амторов скиммером, прога DX Atlas берет данные из Skimmer Server по принятым спотам и визуализирует
квадраты их локаторов на карте, оченно удобно - глянул на карту и картина прохождения на момент записи перед тобой.

напрашивается "картографический сервис":)
Да, хорошая идея :) можно азимутальную карту персональную использовать (я так делал, когда записывал вот это видео: https://www.youtube.com/watch?v=_JSYmkFISoo) или в паре с Google Earth - т.е. прога генерит kml файл, который потом открывается в гугл-планете.
Про DX Atlas не знаю - может и через него можно организовать.
Ну и логично сделать что-то наподобие функции "передатчики рядом" - т.е. давать список маяков в окрестностях выбранных принятых - чтобы можно было попробовать покопать записи на предмет оных.

Я пока все в раздумьях, как будет выглядеть финальный процесс работы со скиммером, и какие шаги по разработке к нему (версии) - так чтобы в сторону не отклоняться, лишнего не делать. Самое пока непонятное - как вести и актуализировать базу паспортов. Ну да - надо двигаться, а там видно будет...

Тут на деле опять повезло - первый же тупой способ поиска по паспорту, который пришел в голову (на основе квазимеандров свертки) оказался не просто рабочим, а хорошо рабочим - т.к. тащит совсем уж слабые маяки, лучше ручного метода, при минимуме ошибок. А все началось с этой твоей истории с АРБом - она родила миниэксперимент по поиску АРБа в частотных слотах.

Если интересно, суть метода - может кому где пригодится в других задачах.
Построение паспорта
1. Берем ранее принятый маяк. Нам нужен его интервал, частота (в окрестностях которой будем его искать) и график уровней за длинный отрезок времени (10..30 минут). В нашем случае эти данные в лог-файле и файле спектра (.spectrum).
2. По указанному интервалу сворачиваем уровни в свертку. Получаем агрегированный график для одного интервала работы маяка. Т.е. условно - средний график уровней маяка (чем больше интервалов усреднено, тем лучше с/ш)
3. Чтобы искать этот график в других записях - его надо со всех сторон нормализовать.

Нормализация
1. Уровни смещаются по шкале Y к нулю.
2. Отсчеты пересчитываются к временному шагу в 50 миллисекунд. (Типичный исходный шаг от 15 до 30 миллисекунд в зависимости от параметров IQ-исходника). Если делать шаг больше - теряем в точности. Если делать шаг меньше - растут вычислительные расходы при поиске при незначительном росте точности. 50 миллисекунд соответствуют половине длины типичной точки у маяков. Если все графики не пересчитать к одинаковому шагу - не получится простым образом проверять их корреляцию друг с другом.
3. Полученный график "оквадрачивается". Делается квазимеандр. Все уровни ниже 0,65 от максимального превращаем в 0. Уровни от 0,65 до 0,85 не трогаем. Уровни выше 0,85 - превращаем в максимальный. Это необходимо для того, чтобы убрать "переобучение" - т.е. последующую реакцию корреляции на незначащие особенности графика. Особенно важно убрать в 0 те уровни, которые соответствуют паузам между манипуляциями - т.к. они содержат только шум, который будет случайным образом коррелировать с реальным шумом, вплоть до высокой корреляции. Корреляция же пологого графика ноля (паспортного сигнала) с графиком шума реального сигнала будет в районе 0-ля, это нам и надо.

Поиск.
Для каждого паспорта ищем в окрестностях его частоты и в окрестностях его интервала. Т.е.
1. Берем график уровней частотного слота из записи. Сворачиваем по заданному интервалу. Нормализуем (см. выше - но только шаги 1 и 2, шаг 3 делать ни в коем случае нельзя).
2. Проверяем корреляцию паспортного графика и графика реального сигнала. Проверять нужно N раз - где N это количество точек на графике. Так получается потому, что реальная свертка будет смещена по времени относительно паспортной - поэтому нам надо проверить все смещения.
3. Из всех частотных слотов и из всех интервалов выбираем ту пару слот+интервал, у которой корреляция наивысшая.
4. Корреляция принимает значения от -1 (строгий негатив к исходному графику) до 1 (полное совпадение с исходным) Опытным путем установлено, что для 20-минутной записи все корреляции выше 0.7 - считай маяк точно найден (если не было ошибки в паспорте). Уровни от 0.5 до 0.7 - спорны, но там возможны совпадения, которые надо проверить глазами оператору - корреляция может падать и из-за некачественного паспорта и из-за помех от других маяков. Уровни от 0.85 - маяк прилетел с сильным выраженным сигналом.

Метод эмпирический, не строго научный. Т.е. под каждым шагом есть понятная логическая основа, зачем это делать - но это не значит, что выбран оптимальный подход. Главное - он сработал, остальное сейчас не важно. Некоторые нюансы не описаны (оптимизации по поиску и пересчет паспорта к новому интервалу)

wazzoo
Про DX Atlas не знаю - Да, не совсем удачный пример я привёл с этим Атласом, прога платная.
или в паре с Google Earth- у Гугла выросли аппетиты в связи с использованием их картографических севисов с недавних пор,
какие-то дополнительные костыли с лицензированием появились...
Можно попробовать использовать сервисы OpenStreetMap, к примеру, ТАК выглядит
визуализация (онлайн) спотов амторской моды FT8 в проге GridTracker. Помимо отображения собственно локаций по спотам, там можно визуализировать и направление проводимых связей. Этот Тракер снифает генерируемый прогой-декодером (WSJT-X)
трафик по UDP. Увлекательное зрелище порой, особенно когда европейские амторы "нападают" толпой на какого-нибудь дальнего
DX-а:). Сорри, что несколько ухожу в сторону с этими картами, но на самом деле визуализация того, что принял за сессию записи,
может быть весьма наглядна и полезна. Жду "альфу":)

KarapuZ
Сегодня провел эксперимент с твоими логами. Т.е. я положил в паспорта только твои логи. Поискал их на своей 20-минутной записи (участок 342-354). Вот что нашлось - на скриншоте. Все что зеленым и светло-зеленым, это хорошие совпадения. Для примера я выбрал один из маяков - на моей записи он и сам слабый, еще и под сильной помехой - но был успешно найден по твоему паспорту. Обрати внимание на столбец BestSec - это отклонение найденного интервала от паспортного в секундах. Для этого грузинского маяка отклонение 0.



Если не сложно - отправь новые логи - наверняка у тебя их теперь больше. Хочу попробовать найти что-то новенькое в своих записях :)

И еще одна проба с твоими логами. На этот раз я взял вчерашнюю запись от 20 UTC, 20-минутную. Построил спектр сразу с широким разбиением - при загрузке у меня влез отрезок 325-400кГц. Искал по всем паспортам - твоим и моим. Прога сожрала 15 гигов памяти суммарно - на спектр, его разворот, общий водопад, загруженные паспорта и подробные результаты поиска.

Поиск шел минуты три. Прога нашла 826 паспортов с порогом выше 0.7. Маяков понятно меньше - т.к. на каждый маяк несколько паспортов обычно - на две боковые, еще и за разное время зачастую. Но штук 300 думаю там есть.
Вот какие новые маяки на основе твоих паспортов нашлись в записи (UNID-ы я не считал). Обрати внимание, что два маяка автопоиск буквально потащил из ничего. Вручную такое не всегда найдешь, особенно KHD.
Процесс поиска на основе паспортов чем-то даже скучен. Но времени экономит гигантскую прорву - т.к. я просто за пару минут пробежался глазами, нет ли среди "серой зоны" в 0.6..0.7 чего-то годного и нет ли чего-то нового, что я не принимал. Но нужна конечно более полная база сверток.





А вот этот маяк имеет корреляцию в районе "серой зоны" - и просматривается что-то похожее на Ботсвану. Надо будет проверить более длинную запись.


UPD: запись подлиннее (40 минут, больше у меня нет) ясности внесла не много. Проход явно упал как раз на этих добавочных 20-ти минутах. Но все-же что-то проглядывает. На ID не тянет, но похоже:

Реально нужна интеграция с картой. Вот я отсортировал все паспорта по ITU. И видно, в какие страны прохода нет или наоборот есть:

1. Здесь видно, что нет прохода ни в сторону Англии ни в сторону Испании. Ни одна Испания, принятая ранее - не принимается в этом файле. Такая же петрушка например с Гренландией - т.е. в ту сторону глухо


2. А здесь видно, что Иран прет. И так же соседние по алфавиту - ни Ирландия ни Исландия не идут

wazzoo
отправь новые логи
Иван, вот ссылка на архив с лог-файлами.
Радует, что твоя идея с "паспортами" даёт результат-Поиск шел минуты три. Прога нашла 826 паспортов с порогом выше 0.7. Маяков понятно меньше - т.к. на каждый маяк несколько паспортов обычно - на две боковые, еще и за разное время зачастую. Но штук 300 думаю там есть.
Вот какие новые маяки на основе твоих паспортов нашлись в записи (UNID-ы я не считал). Обрати внимание, что два маяка автопоиск буквально потащил из ничего. Вручную такое не всегда найдешь, особенно KHD. -
Процесс поиска на основе паспортов чем-то даже скучен. Но времени экономит гигантскую прорву верно, скучность - понятие
относительное, просто это другой уровень мониторинга.

KarapuZ
Спасибо! Сегодня попробовал 400-475 кГц. Нашел 17 новых по твоим паспортам. Точнее 16 по твоим и еще 1 случайно увидел, когда просматривал принятое по паспортам.

Вот новинки
unknown distance 3 XOE XUU
1000-1999 7 HNG HRV ITA RUS SVK TUR
2000-2999 5 AZE RUS TUR
3000-3999 2 TJK TKM

| DD.MM.YYYY HHmm KHZ ID Km Azi ITU QTH |

10.04.2019 2000 405.0 VIE 1963 210 ITA Vieste (FG)
10.04.2019 2000 405.0 ME 2188 182 TUR Izmir / Adnan Menderes
10.04.2019 2000 408.0 WN 1345 97 RUS Ulyanovsk / Vostochny
10.04.2019 2000 411.0 RNA 2501 150 TUR Sirnak
10.04.2019 2000 412.0 FS 1187 213 SVK Sliac
10.04.2019 2000 412.0 GR XUU UNID
10.04.2019 2000 414.0 ELIF XUU UNID
10.04.2019 2000 418.0 DVN 1802 212 HRV Split / Drvenik
10.04.2019 2000 433.0 CRD 2237 176 TUR Cardak / Denizli
10.04.2019 2000 439.0 MR 3336 118 TKM Mary
10.04.2019 2000 450.0 SD XOE Shah Deniz
10.04.2019 2000 452.0 LB 2051 84 RUS Balandino
10.04.2019 2000 456.0 SEG 1393 206 HNG Szeged
10.04.2019 2000 456.0 NT 2428 141 AZE Nakhchivan
10.04.2019 2000 465.0 SIN 1830 161 TUR Sinop
10.04.2019 2000 475.0 JD 3654 108 TJK Fayzabad
10.04.2019 2000 475.0 AM 1314 92 RUS Kazan


А вот все принятое на карте. Наспех что-то набросал в плане вывода на карту - потом допилю. За основу пока взял азимутальную карту, которую можно построить онлайн.



Пока база паспортов не причесанная - приходится вручную проверять все что скиммер нашел. Ошибается в двух случаях:
1. Паспорт сделан из лога, где параллельно принятому маяку есть другие маяки, сильные или в том же интервале.
2. Паспорт сделан из откровенно слабого сигнала.

Думал, успею отдать тебе альфа-версию до выходных - но не успел... надо чуть причесать

Потестировал еще на старых записях. Что могу сказать - чувствительность механизма просто фантастическая. Порой попадаются маяки, которые явно не видно на сонограмме - но свертка (график) показывает последовательность, совпадающую с паспортом - т.е. работает чисто накопление. Случаи редкие, я пока не решаюсь добавлять такие маяки в качестве "принятых" - надо понаблюдать еще. Но пока видно, что это не случайные совпадения - т.к. эффект сохраняется если сигнал маяка раздвоить, наблюдаются так-же и синхронные совпадения в верхней/нижней боковой, полное совпадение интервала вплоть до миллисекунды с паспортом. Ну и видны и пограничные случаи - т.е. попадаются видные слабо на сонограмме без различения последовательности, свертка при этом уверенно показывают корреляцию, а на записи спустя пару часов уровень достаточен и для визуальной идентификации.

Нашел и еще один тип ошибок - иногда попадаются сигналы, чья последовательность очень похожа (по памяти вроде GBC и GBZ или что-то такое) - но к примеру имеем 10 знаков (точек тире), маяки отличаются в одном знаке морзе - механизм может дать высокую корреляцию. Такие совпадения будут редкостью - т.к. и само подобное совпадение редкость, еще интервал должен быть очень близок, тот же формат должен быть и еще и размерность точек/тире примерно такая-же.

Понятно, что, как и в любом поиске подобных вещей - мы балансируем между полнотой и точностью. Для поиска новинок или DX-ов это вообще не проблема - я просто отбираю маяки по дальности или еще не принятые и просматриваю лишь их - их немного. Если же делать полный лог принятого - да, просмотр глазами занимает время, но это все равно считанные минуты (если не отвлекаться на копку записи).

В общем - теперь все зависит от того, получится ли набрать базу .log+.spectrum файлов.

Проиллюстрирую:
Порой попадаются маяки, которые явно не видно на сонограмме - но свертка (график) показывает последовательность, совпадающую с паспортом - т.е. работает чисто накопление.
Вот как выглядит маяк в окне "скиммера". Вверху его паспорт, внизу найденная копия.

Интервал у паспорта удвоенный. Если поставить в основном окне правильный интервал - то на графике отчетливо виден SBI - Рабат, 3678км.


И еще несколько примеров высокой чувствительности:

338-PST Порту-Санту 4301км - здесь сам паспорт некачественный (меандр неполный) - но по остаткам меандра зацепило, просто корреляция слабовата


347.5-TD


341-IS


331-TUR


Это все из одной записи шириной 30 кГц

Спешу поделиться радостью. Продолжаю тесты параллельно доработкам. До этого тестировал на записях, где не было проходов в Америку. Сегодня решил попробовать запись с "Великого Ноябрьского Прохода на СВ" (когда на СВ гремела Америка и круглосуточно шел Барроу из Аляски). Первая же попытка, первый "новый" маяк по паспорту - Америка. Не сильно "сложная" и довольно мощная, но как говорится с почином. Надо заметить, что паспорт был даже более слабым, чем мой сигнал:

263-YBB, Канада NU, 1 кВт мощи

wazzoo
первый "новый" маяк по паспорту - Америка Поздравляю, Иван - и респект за разработку удачную, дающую мощные
резалты! Скиммер NDB, пусть пока и в "оффлайн" версии, но работает!

KarapuZ
Спасибо!
Я после последнего поста начал дальше смотреть, что же нашел скиммер в первой попавшейся 10-минутной записи. Просто россыпь новинок, где-то на трети просмотра новинок я закрыл программу с чувством, что развернулся и пошел в сторону от опушки, где оказалось слишком много грибов :)

И еще наткнулся на интересный результат. 4 маяка благодаря сверточному фильтру уже не редкость. Но с кнопкой "Авто" это вообще три клика. Вот маленькое видео: https://youtu.be/7B7zkcaer0A
Вадим, тебе повезло - у тебя есть эта кнопка :)

Рука бойца колоть устала
Вчера закончил смотреть запись от 27-го ноября в районе 0 UTC. Скиммер выдал около 150 только лишь новых маяков (на момент начала просмотра у меня в Loggings лежало в районе 800 известных - т.е. это разом плюс почти 20%). Было интересно посмотреть, как ведет скиммер при большом количестве разных паспортов. Точность, конечно, несколько упала (т.к. вероятность случайного совпадения повысилась). Так же обратил внимание, что скиммер хуже распознает формат, в котором между посылками идет непрерывный тон (канадские маяки). Ну и базу надо конкретно чистить - т.к. в ней много сейчас дублей и сигналов среди помех или откровенно слабых. Есть и некорректные ID (или не та последовательность или не тот ITU, второе чаще). Впрочем, не могу сказать что это так уж сильно мешает.

Так же вчера обновил рекорд по сверточному фильтру - 6 маяков с одной частоты. 6-й правда довольно неуверенно - но любопытно, что началось все с того, что скиммер нашел признаки именно этого 6-го маяка под остальными. Я начал копать и удивился, сколько много маяков пришлось отфильтровать пока не добрался до этого.

Немного интересного. Новые для меня (точнее для программы - т.к. "слуховые" приемы в ней не фигурируют) 3-тысячники и выше

274.0 SAL 3000 6189 244 CPV Sal Island / Amilcar Cabral
392.0 ML 500 6119 305 CAN-QC Charlevoix
340.0 YY 500 5941 305 CAN-QC Mont Joli
376.0 PVQ 260 5776 358 ALS-AK Put River Deadhorse
372.0 YCO 1000 5726 343 CAN-NU Coppermine / Kugluktuk
263.0 QY 500 5712 298 CAN-NS Sydney
276.0 YHR 500 5356 301 CAN-QC Chevery
350.0 DF 1000 5346 299 CAN-NL Deer Lake
362.0 YZS 500 5267 326 CAN-NU Coral Harbour
280.0 QX 1000 5218 297 CAN-NL Gander
356.0 AY 25 5108 300 CAN-NL St Anthony
263.0 YBB 1000 5098 333 CAN-NU 'Pelly Bay' Kugaaruk
396.0 JC 500 5017 304 CAN-NL Rigolet
378.0 HO 5010 307 CAN-NL Hopedale
281.0 CA 1000 4981 303 CAN-NL Cartwright
350.0 RB 3000 4699 341 CAN-NU Resolute Bay
293.0 ARL 4663 210 NGR Arlit
338.0 PST 2000 4301 250 MDR Porto Santo / Ilheu De Baixo
440.0 FEL 3752 206 LBY El Feel
260.0 RAF 3741 133 IRN Rafsanjan
305.0 LT 1000 3666 346 CAN-NU Alert Bay
268.0 ZAR 3608 211 ALG Zarzaitine
420.0 SPP 100 3338 242 ESP Sevilla / San Pablo
400.0 ZT 3265 191 LBY Agip C97
366.0 COR 20 3253 241 ESP Cordoba
412.0 GRA 25 3253 239 ESP Granada
346.0 BRD 3110 124 IRN Bojnurd
342.0 OA 2955 228 ALG Algiers / Houari Boumedienne

wazzoo
Программа -это действительно прорыв!А если еще и хорошее прохождение... Фантастические уловы! Вот что мозг творит!Поздравляю, Иван!

vinipu
Виктор, спасибо!

Я сам в шоке был, когда первый раз загрузил запись с хорошим проходом. Загрузил, посмотрел на изобилие, закрыл программу, приходил в себя, много думал )) потом еще раз загрузил и начал логировать. Если бы до этого не было принято 800 маяков - пришлось бы под тысячу логировать. Кстати, можете меня поздравить - планку в 1000 NDB проскочил.

На днях будет готова альфа-версия программы с встроенным механизмом оффлайн-скиммера. Если что - пиши, дам ссылку и описание. Она в несколько некузявом виде - но главное работает, а сама основная программа та же самая, но лучше - быстрее загрузка идет, и есть кнопка автоконвуляционного фильтра.

В нормальном виде версию пока не знаю когда сделаю - работы там много вырисовывается, а впереди череда отпусков у меня в мае и июне. Уже в конце следующей недели начнется :) наконец то поеду в локацию на подольше - если повезет с временем, успею и антенну еще какую-нибудь новую запилить...

wazzoo
С "тысячей" поздравляю! Такими темпами и вторая не за горами.И конечно с нетерпением буду ждать альфа-версию. Хорошо что впереди лето-можно спокойно разобраться. Я тоже в "межсезонье" хочу сделать еще парочку EWE-благо место еще можно подобрать внутри участка.

vinipu
С "тысячей" поздравляю! Такими темпами и вторая не за горами
Спасибо!
Вторая вряд-ли - сейчас и самих маяков стало меньше, позакрывали. А вот 1500 думаю можно попробовать :) до конца года. Если будут проходы наподобие прошлогоднего через шапку - то есть надежда на TX3A, должна потащить на азимутах 320..40. По остальным азимутам надо разобраться с помехой, которая весь диапазон с маяками накрыла - понять, откуда она, построить антенну с подавлением именно этого сектора.

еще парочку EWE
А не хочешь замахнуться на TX3A? У нее параметры круче. А места примерно столько же потребляет. Сложность только в том что мачты нужны повыше и настраивать резистор надо (с EWE правда тоже надо - но там не так критично, т.к. и само подавление сзади не такое сильное)

wazzoo
А не хочешь замахнуться на TX3A?
Вряд ли. Если EWE я еще смогу натянуть где-то над деревьями и с мачтами между ними, то TX3A там просто не пройдет. Была мысль заменить одну из уже используемых EWE, но опять же и высота мачт, и необходимость как можно выше поднять нижний провод (чтоб не создавать опасность близким и псу, у которого это любимое место для его забегов).

wazzoo
Начал тестировать Скиммер версию. Первые впечатления - восторг! Чувствительность обнаружения сигналов действительно
впечатляет. Пока проверяю старые файлы записей, у меня снова помеха на ДВ бушует:(.
Из багов - Иван, при вводе моего локатора в поле "Set QTH" главного окна программы, в окне "Passport Search" перестаёт
отображаться карта, при вызове её кнопкой "Show Map" окно карты пустое. Изначально, когда по умолчанию в проге стоял твой локатор (как обычно, я его забыл сразу изменить)), карта отображалась.
Памяти вроде как хватает, но загрузка проца у меня на ноуте при поиске под 100%. В буилдере уменьшил размер файлов vvv при
построении спектров до fft=2024, пока пробовал на 10-ти минутных записях, скорость поиска устраивает и, несоизмеримо выше,
чем при поиске "вручную".
Иван, спасибо тебе за труды над софтом, скиммер NDB оффлайн становится реальностью, хотя пару лет назад это казалось
фантастикой. Будем "набивать паспорта":)

Уже пошли "новички", к примеру, туркменский 326-NQ (эталон на него, как я понял поступил от Яри, поклон ему). Этот сигнал
я "вручную" не видел, про "слышал" я уже промолчу, хотя запись от 28 сентября 2018 просматривал неоднократно:

KarapuZ
Вадим, спасибо за отзыв! Эта программа уже второй раз для меня лично показала больше ожиданий - это вообще редко бывает, когда что-то делаешь - обычно наоборот :) ну или соответствует ожиданиям в лучшем случае (как было с TX3A например)
Когда начинал делать "ручную" версию - были лишь ожидания замены ушей и поиск интервала в ручном режиме, оказалось же - чуйка резко выше и легкий автопоиск интервала. Когда делал "скиммер" - ожидания были - ловить явные совпадения с высоким с/ш, в реальности оказалась чуйка просто огонь, полные лукошки сигналов влегкую. Твой пример - еще цветочки, я тут такого навытаскивал за эти дни...К примеру, на 20 минутной записи затащил американский 378-OT 8500 км (!) от меня, паспорт от Хартмута. Я не поверил - т.к. сигнал был виден лишь на сумме, но не по сонограмме. Загрузил 40 минут - сигнал снова на сонограмме не виден - только в последние минут 10 еле различим стал, но на сумме стал еще сильнее, совпадение в интервал почти до миллисекунды. Т.е. прога затащила то, что при простом просмотре примешь просто за шум вообще без признаков сигнала.

По карте - так и должно быть - она пока в разработке, в самом что ни на есть её начале - сегодня малость продвинулся по ней. В папке программы азимутальная карта только для моего локатора. Я тебе в понедельник сделаю карту, если нужно.

но загрузка проца у меня на ноуте при поиске под 100%.
Так и должно быть - я параллелю по максимуму поиск - так что выжрет хоть 48 ядер

В буилдере уменьшил размер файлов vvv при
построении спектров до fft=2024, пока пробовал на 10-ти минутных записях
У меня пока максимальная попытка - 100кГц полоса и 40 минут запись. 32 гига памяти хватило впритык. Зато конечно удобно - сразу 100 кГц полоса. Скиммер и на 10-минутках хорошо работает, да, в отличие от "ручника" - которому желательно 20-30 минут давать для схватывания автоинтервала.

скиммер NDB оффлайн становится реальностью, хотя пару лет назад это казалось
фантастикой.
Зачем пару лет - я когда писал в январе свои мечталки насчет скиммера - это были скорее прожектерские думки )) но как то повезло два раза - что с методом автопоиска интервала, что с методом поиска по паспортам - оба попадания сразу, вот это как раз фантастика в нашем деле ))
"онлайн" скиммер на деле уже не вопрос алгоритмов - а вопрос просто кропотливого программирования (самое нелюбимое для меня занятие) - все известно, как делать - надо только сделать, у меня с этим плохо - азарта часто хватает лишь до момента "понятно, как сделать".

Уже пошли "новички",
Надеюсь, у других тоже так получится. У меня новичков вон вообще овер 150 на скиммере получилось - хотя конечно запись была еще не изученная, но там много было из под других маяков - а такое не всегда найдешь даже с конвуляционным фильтром. Историю, как я вытащил 6-й по счету на одной частоте я выше приводил.

Жалко, паспортов пока мало. Спасибо коллегам, кто прислал - многие паспорта очень помогли, твои - по ближневосточным станциям хорошая база. Европа теперь хорошо покрыта. А вот по Америке очень мало сигналов - хотелось бы больше.
Может реально все придет к тому, что паспорта буду собирать с веб-сдров (с аудиозаписей) - но так далеко не уедешь

Приложение - тот самый OT, в окне скиммера (читабельнее) и в основном окне (на сонограмме считай шум). Обратил внимание, что сжатие картинки по вертикали в окне скиммера, да и здесь вот на форуме в виде маленькой превьюшки дает лучшую читаемость - надо будет в основное окно что-то такое вставить. Открой на полную вторую картинку - на сонограмме ничего уже не будет видно.

wazzoo
я тут такого навытаскивал за эти дни...К примеру, на 20 минутной записи затащил американский 378-OT 8500 км (!) от меня, паспорт от Хартмута. Впечатляет, при наличии базы паспортов оттуда даже трудно представить, что можно будет ещё вытащить.

По карте - так и должно быть Понял, ну, с картой особо не к спеху, могу и подождать, когда её допилишь.

Пока не понял, как логгировать "новичков" из записей, файлы из которых уже есть в папке Loggings.
Допустим, обрабатываю серию файлов vvv по записи от 28-09-2018 (которая была уже ранее обработана вручную и логгирована) в скиммере. Нахожу "новичков", кликая по столбцу "LastRec",
далее, что-бы они попали в папку Loggings логгирую их по одному в главном окне Pskov NDB. Но как мне потом выделить
всех этих "новичков" в отдельный лог после обработки всех файлов vvv по отдельно взятой сессии записи?

Пока не понял, как логгировать "новичков" из записей,
Два способа.
1. Самому выбрать нужные логи в дереве
2. Есть возможность отобрать в дереве записи, сделанные позже определенной даты/времени (время в УТЦ) - кнопкой "Select after date time UTC". Я обычно ей пользуюсь - т.е. смотрю, какое время и дата были у последнего сообщения в ndblist с логом и выбираю всё после этого времени - тогда ничего не потеряется. Программа с некоторой версии время внесения в логи пишет в файл лога (.log): LogTime 16.04.2019 21:04:07 - для старых же записей берет время записи файла spectrum.

Можно комбинировать оба способа - т.е. вначале отобрать логи, сделанные позже какой-то даты. А потом убрать галочки с ненужных дат/времен/записей в дереве.