行為角色扮演是直接觀察法的一種變式，它比一般的人工設計情境采用了更多的結構化或標準化因素。角色扮演測驗一般向兒童呈現一組標準化的場面或情境，要求兒童面對場景做出就像真正碰到同一情境時一樣的反應。通過選擇不同的場面，可以較短時間內觀察到在自然情境中可能要好多天才能觀察到的社會技能。角色扮演觀察雖然對干預效果比較敏感（Berler等，1982），但還沒有研究證據表明兒童在角色扮演中得到改善的技能遷移到了日常生活的交往之中，或改善了同伴和教師的評定。研究者考察了角色扮演行為在兒童的自然交往、診斷分類、同伴接納及教師評定方面的預測力，結果絕大部分研究都表明，角色扮演行為的這類效標關聯效度不夠高。

大多數研究都報告直接觀察有較好的評分者間信度，重測信度則依行為取樣的不同而變化，如果要將幾種特定行為聯合起來得到一個單獨的分數，內部一致性不顯得非常重要。在效度方面，盡管直接觀察有較好的表面效度，但效度因素仍需要在實際觀察中認真考慮。所觀察的行為應該與有效的社會效標如同伴接納、教師評定相關。例如由于兒童的自主性行為與同伴接納和教師評定沒有相關，這種觀察作為社會技能指標就是無效的；同樣，將交往發生率作為社會技能指標也要極為謹慎地選擇，因為研究表明，交往發生率并不能預測兒童的社交地位（Hops，1988）。

為便于觀察，在對行為進行操作定義時，研究者要確定行為的結構，因而觀察分類的結構效度也是很重要的。如果功能不同的行為被作為同一類編碼，則編碼的結構效度會下降。另外，如果社會技能訓練能增加目標行為，也可為直接觀察的效度提供佐證。