ವಿಡಿಯೋದಲ್ಲಿ ಹೊಸ ಮಾತಿಗೆ ತುಟಿಗಳನ್ನು ಹೊಂದಿಸುವುದು ಹೇಗೆ? (AI lip sync)

ಕನ್ನಡಕ್ಕೆ ಡಬ್ ಮಾಡಿದ ಒಂದು ವಿಡಿಯೋ ನೋಡುತ್ತಿದ್ದೀರಿ ಎಂದುಕೊಳ್ಳಿ. ಧ್ವನಿ ಮಾತನ್ನು ಮುಗಿಸಿದೆ, ಆದರೆ ತೆರೆಯ ಮೇಲಿನ ವ್ಯಕ್ತಿಯ ಬಾಯಿ ಇನ್ನೂ ಚಲಿಸುತ್ತಿದೆ. ಅನುವಾದ ಸರಿಯಾಗಿದ್ದರೂ ಈ ವ್ಯತ್ಯಾಸ ಗಮನ ಸೆಳೆಯುತ್ತದೆ. ಧ್ವನಿ ಮಾತ್ರ ಬದಲಿಸುವ ಬದಲು ಬಾಯಿಯ ಚಲನೆಯನ್ನೂ ಹೊಂದಿಸಿದರೆ ಹೇಗೆ? ಎಐ ನೆರವಿನ ತುಟಿ ಹೊಂದಾಣಿಕೆ ಈ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರ ಹುಡುಕುತ್ತದೆ. ಅದು ಎಲ್ಲ ವಿಡಿಯೋಗಳಲ್ಲೂ ಪರಿಪೂರ್ಣ ಫಲಿತಾಂಶ ಕೊಡುತ್ತದೆ ಎಂದರ್ಥವಲ್ಲ.

ಹೊಸ ಧ್ವನಿ, ಬದಲಾದ ಬಾಯಿ

ಇಲ್ಲಿ ಎರಡು ಕೆಲಸಗಳನ್ನು ಬೇರ್ಪಡಿಸಿಕೊಳ್ಳುವುದು ಉಪಯುಕ್ತ. ಒಂದು ಭಾಷೆಯ ಮಾತನ್ನು ಮತ್ತೊಂದು ಭಾಷೆಗೆ ಅನುವಾದಿಸುವುದು ಒಂದು ಕೆಲಸ. ಹೊಸ ಮಾತಿಗೆ ತಕ್ಕಂತೆ ವಿಡಿಯೋದಲ್ಲಿನ ಬಾಯಿಯ ಚಲನೆಯನ್ನು ಬದಲಿಸುವುದು ಇನ್ನೊಂದು. ತುಟಿ ಹೊಂದಿಸುವ ಕಾರ್ಯಕ್ರಮಕ್ಕೆ ನೀಡುವ ಧ್ವನಿ ಬೇರೊಂದು ಭಾಷೆಯದ್ದೇ ಆಗಿರಬೇಕಿಲ್ಲ; ಅದೇ ಭಾಷೆಯ ಹೊಸ ಮಾತನ್ನೂ ಬಳಸಬಹುದು. ತುಟಿಗಳು ಹೊಂದಿದ ಮಾತ್ರಕ್ಕೆ ಅನುವಾದದ ಅರ್ಥ ಸರಿಯಾಗಿದೆ ಎಂದು ಹೇಳಲಾಗುವುದಿಲ್ಲ.

Wav2Lip ಎಂಬ ಸಂಶೋಧನಾ ವಿಧಾನವನ್ನು ಉದಾಹರಣೆಗೆ ತೆಗೆದುಕೊಳ್ಳೋಣ. ಇದರಲ್ಲಿ ವ್ಯಕ್ತಿ ಕಾಣುವ ವಿಡಿಯೋ ಮತ್ತು ಹೊಂದಿಸಬೇಕಾದ ಮಾತಿನ ಧ್ವನಿಯನ್ನು ನೀಡಲಾಗುತ್ತದೆ. ವಿಡಿಯೋ ಎಂದರೆ ವೇಗವಾಗಿ ತೋರಿಸುವ ಚಿತ್ರಗಳ ಸರಣಿ; ಅದರ ಪ್ರತ್ಯೇಕ ಚಿತ್ರ (ಫ್ರೇಮ್) ಒಂದೊಂದು ಕ್ಷಣದ ದೃಶ್ಯವನ್ನು ತೋರಿಸುತ್ತದೆ. ಕಾರ್ಯಕ್ರಮವು ಮುಖದ ಭಾಗವನ್ನು ಮತ್ತು ಅದರ ಸಮಯಕ್ಕೆ ಸೇರಿದ ಧ್ವನಿಯನ್ನು ಪಡೆದು, ಆ ಮಾತಿಗೆ ಹೊಂದುವ ಬಾಯಿಯ ಚಿತ್ರವನ್ನು ರಚಿಸುತ್ತದೆ. ಈ ಚಿತ್ರಗಳನ್ನು ಮತ್ತೆ ವಿಡಿಯೋದಲ್ಲಿ ಸೇರಿಸಿದಾಗ ಹೊಸ ಮಾತಿಗೆ ತುಟಿಗಳು ಚಲಿಸಿದಂತೆ ಕಾಣುತ್ತದೆ.

ಕಾರ್ಯಕ್ರಮ ಸಿದ್ಧವಾಗುವ ಮೊದಲು, ಮಾತಿನ ಧ್ವನಿ ಮತ್ತು ಮುಖದ ಚಲನೆ ಒಟ್ಟಿಗೆ ಇರುವ ಉದಾಹರಣೆಗಳಿಂದ ಅದು ಕಲಿಯುತ್ತದೆ. ಈ ತಯಾರಿಯ ಹಂತದಲ್ಲಿ ರಚಿಸಿದ ಬಾಯಿ ಧ್ವನಿಗೆ ಹೊಂದಿದೆಯೇ ಎಂದು ಮತ್ತೊಂದು ಕಲಿತ ಕಾರ್ಯಕ್ರಮ ಪರಿಶೀಲಿಸುತ್ತದೆ. ಅದರ ಮೌಲ್ಯಮಾಪನವು ಬಾಯಿ ರಚಿಸುವ ಕಾರ್ಯಕ್ರಮದ ಹೊಂದಾಣಿಕೆಯನ್ನು ಸುಧಾರಿಸಲು ನೆರವಾಗುತ್ತದೆ. ಇದು Wav2Lip ಸಂಶೋಧನೆಯಲ್ಲಿ ಬಳಸಿದ ವಿಧಾನ; ಎಲ್ಲ ತುಟಿ ಹೊಂದಾಣಿಕೆ ಸಾಧನಗಳೂ ಇದೇ ರೀತಿ ಕೆಲಸ ಮಾಡುತ್ತವೆ ಎಂದು ಭಾವಿಸಬಾರದು.

ಹೊಂದಾಣಿಕೆ ಮಾತ್ರ ಸಾಕಾಗುವುದಿಲ್ಲ

ಒಂದು ಪಾಠದ ವಿಡಿಯೋಗೆ ಕನ್ನಡದ ಧ್ವನಿ ಸೇರಿಸುವ ಉದಾಹರಣೆಯನ್ನು ಮುಂದುವರಿಸೋಣ. ತುಟಿಗಳು ಮಾತಿನ ಸಮಯಕ್ಕೆ ಹೊಂದಿದರೂ ಮುಖದ ಬಣ್ಣ ಅಥವಾ ಬಾಯಿಯ ಸುತ್ತಲಿನ ಚಿತ್ರ ಸ್ವಾಭಾವಿಕವಾಗಿ ಕಾಣಬೇಕು. Wav2Lip ಸಂಶೋಧನೆಯು ಮಾತು ಮತ್ತು ತುಟಿಗಳ ಸಮಯದ ಹೊಂದಾಣಿಕೆಯನ್ನೂ ಚಿತ್ರದ ಗುಣಮಟ್ಟವನ್ನೂ ಪ್ರತ್ಯೇಕವಾಗಿ ಪರಿಶೀಲಿಸುತ್ತದೆ. ಹೀಗಾಗಿ “ಮಾತಿಗೆ ಹೊಂದಿದೆ” ಮತ್ತು “ಎಲ್ಲ ದೃಶ್ಯಗಳೂ ನೈಜವಾಗಿ ಕಾಣುತ್ತವೆ” ಎನ್ನುವುದು ಒಂದೇ ಭರವಸೆಯಲ್ಲ.

ನಿರ್ಮಾಪಕರು ತಮ್ಮ ವಿಡಿಯೋವನ್ನು ಹೊಂದಿಸುವಾಗ ಸಂಪೂರ್ಣ ಫಲಿತಾಂಶವನ್ನು ನೋಡಿ ಪರಿಶೀಲಿಸಬೇಕು. ಮುಖ ಗುರುತಿಸುವ ಹಂತ ತಪ್ಪಿದರೆ ಅಥವಾ ಬಾಯಿಯ ಭಾಗ ಸರಿಯಾಗಿ ಸೇರದಿದ್ದರೆ ಫಲಿತಾಂಶ ಸರಿಯಾಗುವುದಿಲ್ಲ ಎಂದು Wav2Lip ಯೋಜನೆಯ ಸೂಚನೆಗಳು ವಿವರಿಸುತ್ತವೆ. ಮೂಲದಲ್ಲಿರುವ ಮಾತಿನ ಅರ್ಥ, ಹೊಸ ಧ್ವನಿಯ ಉಚ್ಚಾರಣೆ ಮತ್ತು ದೃಶ್ಯದ ಹೊಂದಾಣಿಕೆ ಬೇರೆಬೇರೆ ಪ್ರಶ್ನೆಗಳು. ಒಂದನ್ನು ಸರಿಪಡಿಸಿದ ಕಾರ್ಯಕ್ರಮ ಉಳಿದ ಎಲ್ಲವನ್ನೂ ಪರಿಶೀಲಿಸಿದೆ ಎಂದು ಊಹಿಸಲಾಗುವುದಿಲ್ಲ.

ತುಟಿಗಳು ಹೊಂದಿದರೆ ಮಾತು ನಿಜವೇ?

ವ್ಯಕ್ತಿಯ ವಿಡಿಯೋಗೆ ಬೇರೊಂದು ಮಾತನ್ನು ಹೊಂದಿಸಬಹುದು ಎಂಬುದೇ ಇಲ್ಲಿ ಮುಖ್ಯ ಮಿತಿ. ತೆರೆ ಮೇಲೆ ಮುಖವೂ ಧ್ವನಿಯೂ ಹೊಂದಿಕೊಂಡಿವೆ ಎಂಬ ಕಾರಣಕ್ಕೆ ಆ ವ್ಯಕ್ತಿ ಆ ಮಾತನ್ನು ಹೇಳಿದ್ದರು ಎಂದು ತೀರ್ಮಾನಿಸಬೇಡಿ. ಎಐ ಬಳಸಿ ಹೇಳದ ಮಾತು ಹೇಳಿದಂತೆ ತೋರಿಸುವ ತಿರುಚಿದ ಮಾಧ್ಯಮ (ಡೀಪ್‌ಫೇಕ್) ಈ ಗೊಂದಲಕ್ಕೆ ಕಾರಣವಾಗಬಹುದು. ಆದರೆ ಅನುಮತಿಯೊಂದಿಗೆ ಭಾಷೆ ಬದಲಿಸಿದ ವಿಡಿಯೋ ಮತ್ತು ಜನರನ್ನು ಮೋಸಗೊಳಿಸಲು ಮಾಡಿದ ವಿಡಿಯೋಗಳ ಉದ್ದೇಶ ಒಂದೇ ಅಲ್ಲ.

ಮಹತ್ವದ ಹೇಳಿಕೆ ಇರುವ ವಿಡಿಯೋ ಬಂದರೆ, ಮೊದಲಿಗೆ ಆ ವ್ಯಕ್ತಿ ಅಥವಾ ಸಂಸ್ಥೆಯ ಅಧಿಕೃತ ಪ್ರಕಟಣೆಯಲ್ಲಿ ಸಂಪೂರ್ಣ ವಿಡಿಯೋ ಹುಡುಕಿ. ಮುಂದೆ ಕಳುಹಿಸಿದ ಸಣ್ಣ ತುಣುಕಿನ ಬದಲು, ಪ್ರಕಟಿಸಿದವರ ಗುರುತು ಮತ್ತು ಸಂದರ್ಭವನ್ನು ಪರಿಶೀಲಿಸುವುದು ಮುಖ್ಯ. ಬಾಯಿಯಲ್ಲಿ ಕಾಣುವ ವಿಚಿತ್ರ ಚಲನೆ ಒಂದು ಪ್ರಶ್ನೆ ಹುಟ್ಟಿಸಬಹುದು; ಅದನ್ನೇ ನಕಲಿನ ಪುರಾವೆ ಮಾಡಬೇಡಿ. ಹಾಗೆಯೇ ಯಾವ ದೋಷವೂ ಕಾಣದಿರುವುದು ಅಸಲಿಯೆಂಬ ಪ್ರಮಾಣಪತ್ರವಲ್ಲ.

ಆರಂಭದ ಡಬ್ಬಿಂಗ್ ಉದಾಹರಣೆಗೆ ಮರಳಿದರೆ, ಎಐ ಬಾಯಿಯ ಚಲನೆ ಮತ್ತು ಹೊಸ ಮಾತಿನ ನಡುವಿನ ಅಂತರವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ನೆರವಾಗುತ್ತದೆ. ಅದು ಮಾತಿನ ಅರ್ಥವನ್ನು ಅಥವಾ ಹೇಳಿಕೆಯ ಸತ್ಯವನ್ನು ಸ್ವತಃ ಖಚಿತಪಡಿಸುವುದಿಲ್ಲ. ತುಟಿಗಳ ಹೊಂದಾಣಿಕೆಯನ್ನು ದೃಶ್ಯದ ಕೆಲಸವಾಗಿ, ಮೂಲದ ಪರಿಶೀಲನೆಯನ್ನು ಮಾಹಿತಿಯ ಕೆಲಸವಾಗಿ ನೋಡುವುದರಿಂದ ವಿಡಿಯೋ ಏನು ತೋರಿಸುತ್ತದೆ ಮತ್ತು ಏನು ಸಾಬೀತುಪಡಿಸುವುದಿಲ್ಲ ಎಂಬ ವ್ಯತ್ಯಾಸ ಸ್ಪಷ್ಟವಾಗುತ್ತದೆ.