ಓದಲು 3 ನಿಮಿಷ

Text-to-video AI: ಕೇವಲ ಒಂದು ವಾಕ್ಯದಿಂದ ಕಂಪ್ಯೂಟರ್ ಚಲಿಸುವ ವಿಡಿಯೋ ರೂಪಿಸುವ ವಿಧಾನ

ಪ್ರಕಟಿತ ನವೀಕರಿಸಿದ

30 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಅರ್ಥ

ಪಠ್ಯದಿಂದ ವಿಡಿಯೋ ಸೃಷ್ಟಿ ಎಂದರೆ ಬರೆದ ಸೂಚನೆಗಳ ಆಧಾರದ ಮೇಲೆ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯು ದೃಶ್ಯಗಳು ಮತ್ತು ಸಮಯದ ಚಲನೆಯನ್ನು ಒಟ್ಟಿಗೆ ಲೆಕ್ಕಹಾಕಿ ಸುಲಲಿತವಾದ ವಿಡಿಯೋ ಕ್ಲಿಪ್‌ಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ನಿರ್ಮಿಸುವ ತಂತ್ರಜ್ಞಾನ.

ಕೇವಲ ಬರೆದ ಸಾಲುಗಳಿಂದ ಕಂಪ್ಯೂಟರ್ ಚಲನಚಿತ್ರದಂತಹ ವೀಡಿಯೊವನ್ನು ಹೇಗೆ ಸೃಷ್ಟಿಸುತ್ತದೆ?

ಕಂಪ್ಯೂಟರ್‌ನಲ್ಲಿ ಕೇವಲ 'ಕರ್ನಾಟಕದ ಕರಾವಳಿಯ ಮಳೆಯ ಸಂಜೆ, ಅರಬ್ಬಿ ಸಮುದ್ರದ ಅಲೆಗಳ ಮೇಲೆ ಹಾರುತ್ತಿರುವ ಬಿಳಿ ಬೆಳ್ಳಕ್ಕಿಗಳು' ಎಂದು ಟೈಪ್ ಮಾಡುತ್ತೀರಿ. ಕೆಲವೇ ಕ್ಷಣಗಳಲ್ಲಿ, ಯಾವುದೇ ನುರಿತ ಸಿನಿಮಾ ಕ್ಯಾಮೆರಾಮನ್ ಚಿತ್ರೀಕರಿಸಿದಂತೆ ಕಾಣುವ ಸುಂದರ ಹೈ-ಡೆಫಿನಿಷನ್ ವೀಡಿಯೊ ಪರದೆಯ ಮೇಲೆ ಮೂಡಿಬರುತ್ತದೆ! ಇದರಲ್ಲಿ ಅಲೆಗಳ ಅಪ್ಪಳಿಸುವಿಕೆ, ನೀರಿನ ನೊರೆ ಮತ್ತು ಪಕ್ಷಿಗಳ ರೆಕ್ಕೆಬಡಿತ ಎಲ್ಲವೂ ನೈಜವಾಗಿ ಚಲಿಸುತ್ತಿರುತ್ತವೆ. ಇತ್ತೀಚಿನ ದಿನಗಳವರೆಗೂ ಎಐ ಕೇವಲ ಸ್ಥಿರ ಚಿತ್ರಗಳನ್ನು ಮಾತ್ರ ಸೃಷ್ಟಿಸುತ್ತಿತ್ತು. ಆದರೆ ಇಂದಿನ ಓಪನ್ ಎಐ ಸೋರಾ (Sora) ಅಥವಾ ರನ್‌ವೇ (Runway) ನಂತಹ ಉಪಕರಣಗಳು ಪಠ್ಯದಿಂದ ವೀಡಿಯೊವನ್ನು ಕಣ್ಣೆದುರು ನಿಲ್ಲಿಸುತ್ತಿವೆ.

ವೀಡಿಯೊ ಎಂಬುದು ಪ್ರತ್ಯೇಕ ಚಿತ್ರವಲ್ಲ; ಅದು ಸೆಕೆಂಡಿಗೆ ಇಪ್ಪತ್ನಾಲ್ಕು ಅಥವಾ ಮೂವತ್ತು ಸ್ಥಿರ ಚಿತ್ರಗಳ ನಿರಂತರ ಸರಪಳಿಯಾಗಿದೆ (ವೀಡಿಯೊ ಫ್ರೇಮ್‌ಗಳು ಅಥವಾ Video Frames). ಈ ತಂತ್ರಜ್ಞಾನವು ಕಾಲ ಮತ್ತು ಸ್ಥಳದ ಗತಿಯನ್ನು ಸಂಯೋಜಿಸುವ ಮಾದರಿ (ಸ್ಪೇಷಿಯೋ-ಟೆಂಪೊರಲ್ ಡಿಫ್ಯೂಷನ್ ಅಥವಾ Spatiotemporal Diffusion) ಮತ್ತು ಸತತ ಫ್ರೇಮ್‌ಗಳ ನಡುವೆ ಸ್ಥಿರತೆ ಕಾಪಾಡುವ (ಟೆಂಪೊರಲ್ ಅಟೆನ್ಷನ್ ಅಥವಾ Temporal Attention) ವ್ಯವಸ್ಥೆಯನ್ನು ಬಳಸುತ್ತದೆ. ಪದಗಳ ಅರ್ಥವನ್ನು ಗಣಿತದ ಸಂಕೇತಗಳನ್ನಾಗಿ (ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡ್ಡಿಂಗ್ಸ್ ಅಥವಾ Text Embeddings) ಪರಿವರ್ತಿಸಿ ವೀಡಿಯೊವನ್ನು ರೂಪಿಸುತ್ತದೆ.

ಪ್ರಾಚೀನ ತಿರುಗುವ ಚಿತ್ರಗೋಪುರ (ಜ಼ೋಯಿಟ್ರೋಪ್) ಕಥೆ

ಚಲನೆ ಹೇಗೆ ಸೃಷ್ಟಿಯಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ತಿಳಿಯಲು ಹಳೆಯ ಕಾಲದ ಮಣ್ಣಿನ ಪ್ರತಿಮೆಗಳ ತಿರುಗುವ ಆಟಿಕೆ 'ಜ಼ೋಯಿಟ್ರೋಪ್' ಅನ್ನು ನೆನಪಿಸಿಕೊಳ್ಳಿ. ಒಂದು ಡ್ರಮ್‌ನ ಒಳಗೆ ಓಡುತ್ತಿರುವ ಕುದುರೆಯ ಇಪ್ಪತ್ನಾಲ್ಕು ಚಿತ್ರಗಳನ್ನು ಕ್ರಮವಾಗಿ ಅಂಟಿಸಿ, ಅದನ್ನು ವೇಗವಾಗಿ ತಿರುಗಿಸಿದಾಗ ಕುದುರೆಯು ನಿಜವಾಗಿಯೂ ಜೀವಂತವಾಗಿ ಓಡುತ್ತಿರುವಂತೆ ಭಾಸವಾಗುತ್ತಿತ್ತು.

ಆದರೆ ಪ್ರತಿಯೊಂದು ಚಿತ್ರವನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಬಿಡಿಸಿದರೆ ಕುದುರೆಯ ಬಾಲ ಅಥವಾ ಕಿವಿಯ ಆಕಾರ ಕ್ಷಣಕ್ಷಣಕ್ಕೂ ಬದಲಾಗಿ ವೀಡಿಯೊದಲ್ಲಿ ಹಠಾತ್ ಉಂಟಾಗುವ ಮಿನುಗು ಅಥವಾ ನಡುಕ (ಟೆಂಪೊರಲ್ ಫ್ಲಿಕರಿಂಗ್ ಅಥವಾ Motion Glitches) ಸೃಷ್ಟಿಯಾಗುತ್ತದೆ. ಎಐ ಮಾದರಿಗಳು ಇಡೀ ವೀಡಿಯೊದ ಎಲ್ಲಾ ಫ್ರೇಮ್‌ಗಳನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಲೆಕ್ಕಹಾಕಿ, ನೈಸರ್ಗಿಕ ಚಲನೆ ಮತ್ತು ಗುರುತ್ವಾಕರ್ಷಣೆಯ ಅನುಕರಣೆಯ (ಭೌತಶಾಸ್ತ್ರ ಸಿಮ್ಯುಲೇಶನ್ ಅಥವಾ Physics Simulation) ಮೂಲಕ ಕುದುರೆಯ ಆಕಾರ ಮತ್ತು ಬೆಳಕು ಎಲ್ಲಾ ಕ್ಷಣಗಳಲ್ಲೂ ಒಂದೇ ರೀತಿ ಇರುವಂತೆ ನೋಡಿಕೊಳ್ಳುತ್ತವೆ. ಈ ಕೆಲಸಕ್ಕೆ ಬೃಹತ್ ಪ್ರೊಸೆಸರ್ ಶಕ್ತಿ (ಜಿಪಿಯು ಕಂಪ್ಯೂಟಿಂಗ್ ಅಥವಾ GPU Processing) ಅಗತ್ಯವಾಗಿರುತ್ತದೆ.

ಉದಾಹರಣೆಗೆ, ಒಬ್ಬ ವ್ಯಕ್ತಿ ಕಾಫಿ ಕಪ್ ಹಿಡಿದು ನಡೆಯುವಾಗ ಕಾಫಿ ಚೆಲ್ಲುವ ನೈಸರ್ಗಿಕ ರೀತಿ, ಗಾಜಿನ ಮೇಲೆ ಬೀಳುವ ಬೆಳಕು ಮತ್ತು ನೆರಳುಗಳು ಕಣ್ಣಿಗೆ ನೈಜವೆನಿಸುವಂತೆ ಮಾಡಲು ಸಾಫ್ಟ್‌ವೇರ್ ಕೋಟ್ಯಂತರ ಗಣಿತ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ನಡೆಸುತ್ತದೆ. ಸಾಮಾನ್ಯ ಸಣ್ಣ ಕಥೆಗಾರರು, ಶಿಕ್ಷಕರು ಮತ್ತು ಸ್ವತಂತ್ರ ಅನಿಮೇಷನ್ ಕಲಾವಿದರಿಗೆ ಇದು ಕಡಿಮೆ ಖರ್ಚಿನಲ್ಲಿ ಅದ್ಭುತ ದೃಶ್ಯಗಳನ್ನು ಸೃಷ್ಟಿಸಲು ಜ್ಞಾನದ ಹೊಸ ಬಾಗಿಲುಗಳನ್ನು ತೆರೆದಿದೆ.

ಎಐ ರಚಿತ ವೀಡಿಯೊಗಳಲ್ಲಿ ಕಂಡುಬರುವ ಮುಖ್ಯ ದೋಷಗಳು

ಈ ವೀಡಿಯೊಗಳು ನೋಡಲು ಅತ್ಯಂತ ಆಕರ್ಷಕವಾಗಿದ್ದರೂ, ಭೌತಶಾಸ್ತ್ರದ ನಿಯಮಗಳು ಗಣಕಕ್ಕೆ ಸರಿಯಾಗಿ ತಿಳಿಯದ ಕಾರಣ ಕೆಲವು ದೋಷಗಳು ಎದ್ದು ಕಾಣುತ್ತವೆ:

  • ಅಂಗಾಂಗಗಳ ಅಸ್ವಾಭಾವಿಕ ಕರಗುವಿಕೆ: ವ್ಯಕ್ತಿಗಳು ನಡೆಯುವಾಗ ಅಥವಾ ಕೈಬೀಸಿದಾಗ ಬೆರಳುಗಳು ಆರು-ಏಳಾಗುವುದು ಅಥವಾ ಕೈಗಳು ಗಾಳಿಯಲ್ಲಿ ಕರಗಿಹೋಗುವುದು ಕಂಡುಬರುತ್ತದೆ.
  • ಗುರುತ್ವಾಕರ್ಷಣೆಯ ತಲೆಕೆಳಗಾದ ನಿಯಮಗಳು: ನೀರು ಮೇಲಕ್ಕೆ ಹರಿಯುವುದು, ಗಾಜಿನ ಲೋಟ ಬಿದ್ದಾಗ ಒಡೆಯದೆ ನೆಲದೊಳಗೆ ಮುಳುಗುವುದು ಅಥವಾ ವಸ್ತುಗಳು ತೇಲಾಡುವುದು.
  • ಹಿನ್ನೆಲೆಯ ವಸ್ತುಗಳ ಅನಿರೀಕ್ಷಿತ ಬದಲಾವಣೆ: ರಸ್ತೆಯಲ್ಲಿ ಹೋಗುತ್ತಿರುವ ಕಾರು ಮುಂದಿನ ತಿರುವಿನಲ್ಲಿ ಹಠಾತ್ ಬಸ್ ಆಗಿ ಬದಲಾಗುವುದು ಅಥವಾ ಕಟ್ಟಡಗಳ ಕಿಟಕಿಗಳು ರೂಪಾಂತರಗೊಳ್ಳುವುದು.
  • ಧ್ವನಿ ಮತ್ತು ಮುಖಭಾವದ ಹೊಂದಾಣಿಕೆಯ ಕೊರತೆ: ವೀಡಿಯೊದಲ್ಲಿನ ವ್ಯಕ್ತಿಯ ಮುಖದ ಭಾವನೆ ಮತ್ತು ಹಿನ್ನೆಲೆಯ ಶಬ್ದಗಳ ನಡುವೆ ನೈಸರ್ಗಿಕ ಸಮನ್ವಯತೆ ಇಲ್ಲದಿರುವುದು.

ಸಾಮಾಜಿಕ ಜಾಲತಾಣಗಳಲ್ಲಿ ವೀಡಿಯೊ ಸತ್ಯಾಸತ್ಯತೆ ತಿಳಿಯಲು ಸಲಹೆಗಳು

ಯಾವುದೇ ಅಚ್ಚರಿಯ ವೀಡಿಯೊ ವೈರಲ್ ಆದಾಗ ಅದನ್ನು ನಿಜವೆಂದು ನಂಬುವ ಮುನ್ನ ಈ ಕ್ರಮಗಳನ್ನು ಅನುಸರಿಸಿ:

  • ವೀಡಿಯೊವನ್ನು ನಿಧಾನಗತಿಯಲ್ಲಿ (Slow Motion) ಪ್ಲೇ ಮಾಡಿ: ಸಾಮಾನ್ಯ ವೇಗದಲ್ಲಿ ಕಣ್ಣು ತಪ್ಪಿಸುವ ದೋಷಗಳು ನಿಧಾನವಾಗಿ ನೋಡಿದಾಗ ಸ್ಪಷ್ಟವಾಗಿ ಬಯಲಾಗುತ್ತವೆ.
  • ನೀರು ಮತ್ತು ನೆರಳುಗಳನ್ನು ಸೂಕ್ಷ್ಮವಾಗಿ ಗಮನಿಸಿ: ನೈಜ ಸೂರ್ಯನ ಬೆಳಕಿಗೆ ತಕ್ಕಂತೆ ನೆರಳು ಮೂಡಿದೆಯೇ ಅಥವಾ ನೆರಳುಗಳು ಅಸಹಜ ಕೋನಗಳಲ್ಲಿ ಹರಡಿವೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.
  • ಅಧಿಕೃತ ಸುದ್ದಿ ವಾಹಿನಿಗಳಲ್ಲಿ ಹುಡುಕಿ: ಅಂತಹ ಯಾವುದೇ ಅಸಾಮಾನ್ಯ ಘಟನೆ ನಿಜವಾಗಿಯೂ ನಡೆದಿದ್ದರೆ ವಿಶ್ವಾಸಾರ್ಹ ಸುದ್ದಿ ಸಂಸ್ಥೆಗಳು ಅದನ್ನು ವರದಿ ಮಾಡಿರುತ್ತವೆ; ಸ್ವತಂತ್ರವಾಗಿ ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ.

ದೃಶ್ಯ ಮಾಧ್ಯಮವು ಇಂದು ಕಲ್ಪನೆಗೂ ಮೀರಿದ ವೇಗದಲ್ಲಿ ಬದಲಾಗುತ್ತಿದೆ. ಹೊಸ ತಂತ್ರಜ್ಞಾನವನ್ನು ಆನಂದಿಸುವುದರ ಜೊತೆಗೆ ಸತ್ಯ ಮತ್ತು ಕಲ್ಪನೆಯ ನಡುವಿನ ಗೆರೆಯನ್ನು ಗುರುತಿಸುವ ಜಾಗರೂಕತೆ ನಮ್ಮದಾಗಿರಬೇಕು. ತಂತ್ರಜ್ಞಾನದ ಪ್ರಭಾವವನ್ನು ಅರಿತು ವಿವೇಚನೆಯಿಂದ ಮುನ್ನಡೆದಾಗ ಕಲಾ ಲೋಕವು ಇನ್ನಷ್ಟು ಶ್ರೀಮಂತವಾಗುತ್ತದೆ.

ಮೂಲಗಳು
  1. Spatio-Temporal Video Diffusion and Temporal Attention ArchitecturesCVPR
  2. Generative Video Synthesis and Physical Motion ContinuityACM SIGGRAPH
  3. Content Credentials and Metadata Specifications for Synthetic MediaC2PA