Il était l’un des plus connus et des plus enregistrés parmi les chefs d orchestre de musique klezmer et les compositeurs juifs ainsi que comme violoniste, pianiste dans des orchestres de danse populaire dans la région de New York pendant de nombreuses décennies.
Sa renommée vient de ses enregistrements multiples sous différents noms.
Il a émigré aux États-Unis avec ses parents en 1899, à l’âge de dix-huit ans, après avoir passé sa jeunesse en Roumanie, près de Bucarest, où il a apparemment acquis la plupart de ses compétences musicales par lui-même. Après s’être fait une réputation en tant que chef d’orchestre de danse dans les cercles juifs de New-York, son entrée initiale dans l’industrie frénétique de l’enregistrement est survenue quand il a été engagé pour superviser les sessions d’enregistrement instrumentales pour le label Columbia.
La carrière d’enregistrement de Schwartz a été lancée à la même époque (vers 1917) avec la sortie de deux soi-disant mélodies de danse russes jouées par son Orchestre Oriental. Aucune des deux n’était russe, mais la perception exotique de la “mystérieuse Russie,” en particulier de ses tziganes idéalisés, se vendait bien à cette époque. Les éditeurs de partitions de musique et les maisons de disques se tournaient souvent vers les musiciens immigrants juifs en tant que supports authentiques des «nouveaux» sons. Ces compositeurs et arrangeurs-supposés “pur produit russe,” même si la plupart venaient d’Ukraine, de Biélorussie, de Galicie, Pologne, Roumanie, ou Bessarabie- avaient le cachet souhaité en tant que passeurs culturels. Cependant, beaucoup de ces juifs avaient joué avec les musiciens tziganes, les roumains, et russes en Europe et avait absorbé certains de leurs styles. Pourtant, beaucoup des airs ou des styles ont été tout simplement ceux joués par les klezmorim dans diverses parties de l’Europe de l’Est. Schwartz, immédiatement après son premier disque, a dirigé des orchestres sur six autres disques en 1917.
Le célèbre clarinettiste klezmer Naftule Brandwein a joué pour un temps dans l’orchestre de Schwartz , notamment sur des chansons populaires comme son “Firn Di Mekhutonim Aheym”. Ils ont également effectué le célèbre “Di Grine Kuzine”, toujours joué aujourd’hui par les actuels orchestres klezmer.