نشأ بن هولتزمولر في واشنطن العاصمة وشارلوت بولاية نورث كارولينا. التحق بجامعة جورج تاون حيث درس الاقتصاد والإسبانية والصينية وانضم إلى فريق التجديف. عاش في الصين لمدة أربع سنوات بعد التخرج من الجامعة، وعمل في وظائف مكتبية مختلفة. بدأ التمثيل في بكين، وقام بدبلجة الأفلام باللغتين الماندرين والإنجليزية.