如果发现有人非法行医而卫生监督部门暂时找不到相关责任人，可以采取以下措施：

1. 收集证据：记录非法行医行为的时间、地点、涉及人员和具体情况，如果可能，拍照或录像作为证据。

2. 举报：向当地卫生健康行政部门或卫生监督机构进行举报。可以通过电话、网络平台或亲自前往相关部门进行实名或匿名举报。

3. 提供详细信息：在举报时提供尽可能详细的信息，包括非法行医者的姓名、地址、从事非法行医的场所和行为特征等。

4. 跟进处理情况：在举报之后，可以关注案件的处理进展。如果长时间没有得到回应，可以再次联系相关部门询问情况，并要求给予答复。

5. 法律途径：如果情况严重，涉及到公共安全和他人健康权益，可以考虑通过法律途径解决，比如咨询律师，必要时提起民事或行政诉讼。

6. 注意自身安全：在举报过程中，要注意保护自己的个人安全，避免与非法行医者发生冲突。