Qtはまったく知りませんので的外れでしょうが・・・。
全体がよく見えません。
1.JTDXにLogQSOを組み込んでコンパイル。
2.そのLogQSOは、JTDXで得られたデータをHamlogへデータを転送。
JTDXのフォームハンドルは、Form1->Handleでエラーになる。
代案として frm1->Handle が提示されていましたが、これは試したのでしょうか。
そもそもJTDXやLogQSOのフォーム名をどう指定しているのでしょうか。
Qtは指定できない?
それからsendmessageの後、Handleを使って何かするのですか。