どうやら Side by Side 実行で OutProcessServer の COM はプライベートアセンブリにはできないようだ。
MSDN
Limitations of Registration-Free COM Component Deployment
•The component is an out-of-process server. EXE servers are not supported; only DLLs are supported.
DCOM も対応してなさそう。