Es un error común confundir los pronombres de objeto directo e indirecto, sobre todo en oraciones que no siguen un orden canónico. La oración canónica
Les pasó su número.
...no presenta ningún problema a un nativo. Es una oración sencilla, donde les se refiere a a ustedes, el complemento indirecto, y el complemento directo su número aparece sin duplicar. En el habla coloquial, sin embargo, se puede repetir el pronombre de complemento directo y decir:
Se lo pasó su número
...donde les se convierte en se y lo se refiere a número. El problema surge a raíz de que mientras que el pronombre les es claramente plural, el pronombre se, pese a que puede ser singular o plural, "suena" singular. El hablante debe sustituir a ustedes con un pronombre que, lógicamente, debe ser plural. Dado que se no se puede "pluralizar", se tiende a pluralizar lo para convertirlo en los. Es un error común incluso en hablantes competentes, sobre todo cuando uno habla rápido y sin poner mucho cuidado en lo que dice, pero que debería identificarse inmediatamente como un error en cuanto se razona un poco. Si las personas que te dijeron que Se los pasó su número es correcto aun lo creen después de preguntarles al respecto, mi consejo es que no les hagas mucho caso en cuestiones de gramática.