При АТТ - 10 дБ, подавление пролаза лучше -55 дБ.

Если это и при ХХ и при КЗ со стороны нагрузки, то можно считать хорошим результатом, на котором в общем-то можно и остановиться. По 10 дБ затухателей с трёх сторон, и это будет 75 дБ развязки, а с ними уже особых проблем нет получить желаемый интермод при разумно-достаточной мощности. Это та схема с 4 мостами? Или подстроили тот сумматор, который был изначально?

У меня получается сильно хуже - по 13 дБ затухатели со стороны генераторов и резистивный переход от 25 Ом к 50 с затуханием 13 дБ в сторону нагрузки. При этом на ХХ и при КЗ имею тех же -57...-59 дБ. Хотя при нормальных 50 Омах на выходе балансируется под развязку за сотню дБ. Если бы было 55 дБ без 13-децибельников со стороны генераторов, я бы для себя вопрос закрыл, там и 120 дБ, и моща приемлемая получается.

Может в этом и есть основная проблема. Линия, это два провода, определённой длинны, с распределённой по всей дине ёмкостью и индуктивностью. Наматывая эту линию на колечко, мы увеличиваем индуктивность этой линии в десятки и сотни раз. При этом ёмкость между проводками остаётся неизменной. Вот и получается резонанс линии не на 1/4 длинны волны, а гораздо, гораздо ниже.  Резонанс есть, и он легко перестраивается по частоте хоть индуктивностью, хоть ёмкостью. И даже подключенная к выходу реактивность, смещает этот резонанс. Ну и если ёмкость подключать параллельно катушке трансформатора, частота резонанса смещается вниз. А если ёмкость подключать к среднему выводу трансформатора, резонанс уходит вверх. Это меня так же немного удивило, когда искал точку где можно удобно подпаять СМД конденсатор, что бы сместить частоту исходного резонанса схемы чуть вниз. Самые удобные места, это или выход сумматора, или бапансировочный резистор. Но вот ведёт он себя в этих точках, не совсем как ожидалось.
 Кстати, подключив контур параллельно балансировочному резистору, или нагрузке, можно легко гонять минимум пролаза по частоте. И вроде бы, контур с большими контурными токами, настроенный в резонанс на частоту генератора, должен бы служить как бы мощным маховиком, который будет уменьшать влияние реактивности нагрузки, на резонанс пролаза. Но этого не проверял...

В тему проверки влияния параметров линии - можно линии намотать коаксиальным кабелем. Насколько я понимаю эту кухню (в т.ч. по итогам разных измерений) - наматывание линии на сердечник не влияет на её волновое сопротивление, а только увеличивает её электрическую длину. Т.е. под влиянием ферромагнетика погонная индуктивность и погонная ёмкость растут в равной пропорции, корень квадратный из L/C не меняется. И резонансных длин там быть не должно, а то реально резонанс словим, в дополнение к точке баланса амплитуд/фаз)) По идее, насколько помню, электрическая длина линий в ТДЛ выбирается сильно больше 1/4 лямбды, иначе он просто не будет правильно работать.

А насчёт якобы резонанса - это не резонанс, а точка баланса моста. Как в ППП))). Чтобы подавить ненужное, нужна балансировка с точностью до блох и по амплитуде, и по фазе. А поскольку линия неидеальна, набег фазы в противоположных плечах разный. Плюс влияние индуктивности рассеяния, в ту же сторону.

То есть, надо добиться максимальной развязки и в максимальной полосе на стандартной нагрузке и стандартном балансировочном резисторе. Тогда уже можно будет подбирая балансировочный импеданс добиваться компенсации для произвольной нагрузки на любой нужной частоте. А если приходится обвешивать элементы моста каждый раз, это значит, что асимметрия моста очень значительная и приходится пляски с бубном проводить каждый раз, добиваясь развязки для каждого нового измерения.

Если ограничиться развязкой 20-30 дБ (а это всё равно ощутимо лучше, чем с резистивным сумматором), то схема достаточно широкополосна для перекрытия всего КВ диапазона. А как только начинаем пытаться достичь максимальной балансировки - так получаем сильную частотную зависимость - просто потому, что очень сильно влияют даже совсем мизерные разбросы по амплитуде и фазе.

Сумматор на линиях в плане широкополосности считается предпочтительней (несмотря на то, что это один хрен мост со всеми вытекающими). Хотя я ощутимой разницы не заметил - возможно потому, что для максимального результата нужно добиваться максимальной идентичности линий по АЧХ/ФЧХ, а у меня было сделано на физически разных сердечниках и самопальной скруткой - когда и магнитная проницаемость имеет большие разбросы, и параметры скрутки с достаточной точностью не выдерживаются.

Я в той схеме что выкладывал уже промоделировал и паразитную ёмкость на землю и последовательную индуктивность с трансформаторов. Никаких критических нарушений пока не заметил. Индуктивности 40 нГн, ёмкости довёл до 2 пФ

Тут надо не путать индуктивность обмоток (которая должна быть такой, чтобы индуктивное сопротивление на самой низкой рабочей частоте было хотя бы раз в 10 выше волнового сопротивления линии - соответственно, для КВ надо брать хотя бы несколько мкГн) и индуктивность рассеяния (виртуальный параметр, характеризующий потери) - которая должна быть как можно меньше, в идеале вообще ноль (и 40 нГн в качестве её выглядит вполне правдоподобно). Ну и ёмкости тоже - погонная ёмкость линии (она большая, и определяется из волнового сопротивления (SQRT(L/C)) и ёмкость, компенсирующая индуктивность рассеяния (которая может быть достаточно мелкой).

По итогу на сегодня. Ничего не удалось добиться ни с квадратурными мостами, ни с попыткой сделать 3 дБ направленный ответвитель (который бы нормализовывал КСВ за счёт поглощения отражённой от нагрузки мощности). Поэтому пришёл к такому алгоритму:

1. Делаем максимально мощные (в разумных пределах) и максимально линейные (класс А) буферные усилители, имеющие максимально низкое выходное сопротивление.
2. Подаём на них сигналы с генераторов, выходы суммируем резистивным -6 дБ сумматором
3. Снимаем зависимость ИМД от уровня сигнала (если усилитель линейный, она, как выяснилась, получается кубическая в очень широком диапазоне)
4. Как выяснилось, при увеличении развязки сумматора уровень ИМД относительно полезной мощности, если мы находимся в зоне действия кубической зависимости, уменьшается ровно на величину развязки - итого результирующий ИМД на выходе прибора будет равен разности ИМД для выбранного нами уровня сигнала и величины развязки сумматора.
5. Делаем сумматор, настраиваем, измеряем его развязку в режиме рассогласованной нагрузки. Если надо уменьшить влияние нагрузки, обвешиваем его резистивными звеньями, исходя из того, что каждых 10 дБ затухания по входам дают 20 дБ улучшения ИМД прибора, а вот чёткой зависимости развязки от затухания аттенюатора по выходу нет (его выбираем из условия допусимого разбаланса от рассогласования нагрузки).
6. Допустим, имеем для наихудшего случая 56 дБ развязки сумматора. В этом случае для обеспечения желаемых -120 дБс ИМД мы должны выбрать такие усилители/и уровень их выходной мощности, чтобы ИМД с 6 дБ резистивным сумматором был -70 дБс. Что и делаем))
7. Если при этом выходная мощность прибора нас устраивает, радуемся жизни. Если нет - возвращаемся назад - делаем более мощные/линейные буферы, либо пытаемся что-то улучшить в сумматоре. Но как мне показалось, если не предпринимать каких-либо хитростей в тему поглощения отражённого от нагрузки сигнала, то будет очень похожая зависимость от рассогласования нагрузки независимо от схемы (с поправкой лишь на её потери).

В плане мощных ультралинейных усилителей мне недавно добрые люди посоветовали THS6214IPWP - это мощный (5 Вт!!!) линейный дифференциальный драйвер линии для PLC, до кучи ещё и с нормированным шумом, достаточно небольшим. По идее, самое оно. Минус только в том, что это мелкая фитюлинка с отводом тепла через брюхо, паяемое на плату - под кустарный монтаж на коленке не сильно подходит. По мощности/интермоду это очень похоже на то, что я сейчас использую на 904/914 транзисторах - но в отличие от моих "монстриков", ничто не мешает эти фитюлинки использовать по нескольку штук на канал в схеме со сложением мощностей (скажем, по 4 или 8 шт.), причём в нашем случае (узкий частотный диапазон) можно было бы комбинировать двухтактное и балансное (квадратурное) включения, что по идее ещё должно ситуацию улучшить за счёт дополнительного подавления гармоник самой схемой суммирования. Из той же серии THS6212 (только менее паябельное)

вот только я не могу в модели намотать линию на феррит,

Может в этом и есть основная проблема. Линия, это два провода, определённой длинны, с распределённой по всей дине ёмкостью и индуктивностью. Наматывая эту линию на колечко, мы увеличиваем индуктивность этой линии в десятки и сотни раз. При этом ёмкость между проводками остаётся неизменной. Вот и получается резонанс линии не на 1/4 длинны волны, а гораздо, гораздо ниже.  Резонанс есть, и он легко перестраивается по частоте хоть индуктивностью, хоть ёмкостью. И даже подключенная к выходу реактивность, смещает этот резонанс. Ну и если ёмкость подключать параллельно катушке трансформатора, частота резонанса смещается вниз. А если ёмкость подключать к среднему выводу трансформатора, резонанс уходит вверх. Это меня так же немного удивило, когда искал точку где можно удобно подпаять СМД конденсатор, что бы сместить частоту исходного резонанса схемы чуть вниз. Самые удобные места, это или выход сумматора, или бапансировочный резистор. Но вот ведёт он себя в этих точках, не совсем как ожидалось.
 Кстати, подключив контур параллельно балансировочному резистору, или нагрузке, можно легко гонять минимум пролаза по частоте. И вроде бы, контур с большими контурными токами, настроенный в резонанс на частоту генератора, должен бы служить как бы мощным маховиком, который будет уменьшать влияние реактивности нагрузки, на резонанс пролаза. Но этого не проверял...

резонанс вылезает из за реальной индуктивности трансформаторов работающими сумматорами

Я в той схеме что выкладывал уже промоделировал и паразитную ёмкость на землю и последовательную индуктивность с трансформаторов. Никаких критических нарушений пока не заметил. Индуктивности 40 нГн, ёмкости довёл до 2 пФ. Вся балансировка сводится к настройке ёмкости от 0 до 2 пФ параллельно балансировочному резистору, даже несимметрию делал.
А про какую Вы индуктивность пишете, я не совсем понимаю, если про индуктивность линии, то она автоматически получается в модели, поскольку ТЛ в модели есть, вот только я не могу в модели намотать линию на феррит, у меня сейчас линия длиной 60 см, а ранее была несколько метров. Это скрин наихудшего варианта

Наверное с макетом будет большая погрешность.  Есть только расчётные величины.  А не учтённые ёмкости, реактивки, погрешность расчёта входного сопротивления.  Может набежать сильно много. Наверное самое оптимальное, настройка по месту. Да и  у ламп разброс входной ёмкости (по паспорту) +-15 пф    Но очень долго 

Для начала можно было бы попробовать на макете. Вместо входной емкости лампы кондер. И нагрузочный резистор, для правильности.