ಓದಲು 3 ನಿಮಿಷ

ಡಿಫ್ಯೂಷನ್ ಮಾದರಿ: ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯು ಚುಕ್ಕೆಗಳ ಗೊಂದಲದಿಂದ ಚಿತ್ರವನ್ನು ಹೇಗೆ ರೂಪಿಸುತ್ತದೆ?

ಪ್ರಕಟಿತ ನವೀಕರಿಸಿದ

30 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಅರ್ಥ

ಡಿಫ್ಯೂಷನ್ ಮಾದರಿ ಎಂದರೆ ಯಾದೃಚ್ಛಿಕ ಡಿಜಿಟಲ್ ಗೊಂದಲ ಅಥವಾ ಮಬ್ಬಿನ ಚುಕ್ಕೆಗಳಿಂದ (ರ್ಯಾಂಡಮ್ ನಾಯ್ಸ್ ಅಥವಾ Digital Noise) ಪ್ರಾರಂಭಿಸಿ, ನೀಡಲಾದ ವಿವರಣೆಗೆ ಅನುಗುಣವಾಗಿ ಹಂತಹಂತವಾಗಿ ಆ ಗೊಂದಲವನ್ನು ತೆಗೆದುಹಾಕುತ್ತಾ (ಡಿನಾಯ್ಸಿಂಗ್ ಪ್ರಕ್ರಿಯೆ) ಹೊಸ ಚಿತ್ರವನ್ನು ರಚಿಸುವ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ವಿಧಾನ.

ಕಂಪ್ಯೂಟರ್ ಡಿಜಿಟಲ್ ಗೊಂದಲದಿಂದ ಚಿತ್ರಗಳನ್ನು ಹೇಗೆ ಹೊರತರುತ್ತದೆ?

ಹಳೆಯ ಟೆಲಿವಿಷನ್ ಸೆಟ್‌ಗಳಲ್ಲಿ ಕೇಬಲ್ ಸಿಗ್ನಲ್ ಇಲ್ಲದಿದ್ದಾಗ ಪರದೆಯ ಮೇಲೆ ಕಪ್ಪು-ಬಿಳುಪಿನ ಚುಕ್ಕೆಗಳು ಗದ್ದಲದಂತೆ ಹಾರಾಡುವುದನ್ನು ನೀವು ನೋಡಿರಬಹುದು. ತಂತ್ರಜ್ಞಾನದ ಜಗತ್ತಿನಲ್ಲಿ ಈ ಅಸ್ತವ್ಯಸ್ತ ಚುಕ್ಕೆಗಳ ರಾಶಿಯನ್ನು ಡಿಜಿಟಲ್ ಗದ್ದಲ ಅಥವಾ ಮಬ್ಬು (ಡಿಜಿಟಲ್ ನಾಯ್ಸ್ ಅಥವಾ Digital Noise) ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಇದರಲ್ಲಿ ಯಾವುದೇ ಮುಖ, ಮರ ಅಥವಾ ಆಕಾರ ಕಾಣಿಸುವುದಿಲ್ಲ; ಕೇವಲ ಸಂಪೂರ್ಣ ಗೊಂದಲ ಮಾತ್ರ ಇರುತ್ತದೆ. ಆದರೆ ಇಂದಿನ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ ಸಾಧನಗಳು ಅಂತಹ ಅರ್ಥವಿಲ್ಲದ ಚುಕ್ಕೆಗಳ ರಾಶಿಯಿಂದಲೇ ಕಣ್ಣಿಗೆ ಕಟ್ಟುವಂತಹ ಸುಂದರ ಪ್ರಾಕೃತಿಕ ದೃಶ್ಯ ಅಥವಾ ಭಾವಚಿತ್ರವನ್ನು ನಿರ್ಮಿಸುತ್ತವೆ. ಈ ಪ್ರಕ್ರಿಯೆಯನ್ನು ವಿಜ್ಞಾನದಲ್ಲಿ ಹಂತ-ಹಂತವಾಗಿ ಚಿತ್ರ ರೂಪಿಸುವ ವಿಧಾನ (ಡಿಫ್ಯೂಷನ್ ಮಾದರಿ ಅಥವಾ Diffusion Model) ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ.

ಇದು ಗೂಗಲ್ ಅಥವಾ ಇಂಟರ್ನೆಟ್‌ನಲ್ಲಿರುವ ಸಿದ್ಧ ಛಾಯಾಚಿತ್ರಗಳ ಸಂಗ್ರಹದಿಂದ ಹುಡುಕುವ ವಿಧಾನವಲ್ಲ ಎಂಬುದನ್ನು ಮೊದಲು ಗ್ರಹಿಸಬೇಕು. ಸರ್ಚ್ ಇಂಜಿನ್‌ಗಳು ಈಗಾಗಲೇ ಇರುವ ಚಿತ್ರಗಳನ್ನು ತೋರಿಸುತ್ತವೆ; ಆದರೆ ಡಿಫ್ಯೂಷನ್ ವ್ಯವಸ್ಥೆಯು ಹಿಂದೆಂದೂ ಇರದ ಹೊಚ್ಚಹೊಸ ಚಿತ್ರವನ್ನು ಗಣಿತದ ಸೂತ್ರಗಳ ಮೂಲಕ ಶೂನ್ಯದಿಂದ ಸೃಷ್ಟಿಸುತ್ತದೆ. ನೀವು ನೀಡುವ ಪ್ರತಿಯೊಂದು ಹೊಸ ವಿವರಣೆಗೂ ಪ್ರತ್ಯೇಕವಾದ ಅನನ್ಯ ಚಿತ್ರ ಮೂಡಿಬರುತ್ತದೆ.

ಮಂಜಿನಿಂದ ಆಕಾರಗಳು ಸ್ಪಷ್ಟವಾಗುವ ಹಂತ-ಹಂತದ ಪ್ರಕ್ರಿಯೆ

ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ಕಂಪ್ಯೂಟರ್‌ಗೆ ಲಕ್ಷಾಂತರ ನೈಜ ಚಿತ್ರಗಳನ್ನು ತೋರಿಸಿ, ಆ ಚಿತ್ರಗಳಿಗೆ ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಹಂತಹಂತವಾಗಿ ಡಿಜಿಟಲ್ ಧೂಳನ್ನು ಬೆರೆಸಲಾಗುತ್ತದೆ. ಚಿತ್ರವು ಸಂಪೂರ್ಣವಾಗಿ ಮರೆಯಾಗಿ ಕೇವಲ ಗೊಂದಲಮಯ ಚುಕ್ಕೆಗಳು ಉಳಿಯುವವರೆಗೆ ಈ ಕ್ರಿಯೆ ಮುಂದುವರಿಯುತ್ತದೆ. ತಂತ್ರಜ್ಞಾನದಲ್ಲಿ ಈ ಮಬ್ಬು ಬೆರೆಸುವಿಕೆಯನ್ನು ಮುಂದಕ್ಕೆ ಸಾಗುವ ಹಂತ (ಫಾರ್ವರ್ಡ್ ಪ್ರಕ್ರಿಯೆ ಅಥವಾ Forward Process) ಎನ್ನುತ್ತಾರೆ. ಈ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಹಿಮ್ಮುಖವಾಗಿ ಅಧ್ಯಯನ ಮಾಡುವ ಮೂಲಕ (ರಿವರ್ಸ್ ಡಿಫ್ಯೂಷನ್ ಅಥವಾ Reverse Denoising), ಯಾವ ಹಂತದಲ್ಲಿ ಯಾವ ಚುಕ್ಕೆಗಳನ್ನು ತೆಗೆದುಹಾಕಿದರೆ ಮೂಲ ಆಕಾರ ಮರಳಿ ಸಿಗುತ್ತದೆ ಎಂಬುದನ್ನು ಗಣಿತದ ಸೂತ್ರಗಳ ಮೂಲಕ ಕಂಪ್ಯೂಟರ್ ಕಲಿಯುತ್ತದೆ.

ನೀವು ಒಂದು ವಿವರಣೆಯನ್ನು ನೀಡಿದಾಗ, ಮಾದರಿಯು ಸಂಪೂರ್ಣ ಗೊಂದಲಮಯ ಚುಕ್ಕೆಗಳ ಪರದೆಯಿಂದ ಕೆಲಸ ಪ್ರಾರಂಭಿಸುತ್ತದೆ. ಮೊದಲ ಹಂತಗಳಲ್ಲಿ ಕೇವಲ ಮಸುಕಾದ ಬಣ್ಣದ ಪಟ್ಟಿಗಳು ಕಾಣಿಸುತ್ತವೆ. ಮುಂದಿನ ಹಂತಗಳಲ್ಲಿ ಪ್ರಮುಖ ಗೆರೆಗಳು ಮತ್ತು ವಸ್ತುವಿನ ಬಾಹ್ಯರೇಖೆಗಳು ಮೂಡುತ್ತವೆ. ಅಂತಿಮ ಹಂತಗಳಲ್ಲಿ ನೆರಳು, ನಯವಾದ ಬೆಳಕು ಮತ್ತು ಸೂಕ್ಷ್ಮ ವಿನ್ಯಾಸಗಳು ಸೇರ್ಪಡೆಯಾಗಿ ಪೂರ್ಣ ಪ್ರಮಾಣದ ನೈಜ ಚಿತ್ರ ಹೊರಬರುತ್ತದೆ. ಆರಂಭಿಕ ಹಂತಗಳು ಚಿತ್ರದ ಒಟ್ಟಾರೆ ಸಂಯೋಜನೆಯನ್ನು ನಿರ್ಧರಿಸಿದರೆ, ಕೊನೆಯ ಹಂತಗಳು ವಿವರಗಳಿಗೆ ಸ್ಪಷ್ಟತೆಯನ್ನು ತಂದುಕೊಡುತ್ತವೆ.

Google Research ನ Imagen ಸಂಶೋಧನಾ ಪ್ರಬಂಧ ಮತ್ತು ಮೊಬೈಲ್ ಸಾಧನಗಳಲ್ಲಿ ಇಂಟರ್ನೆಟ್ ಇಲ್ಲದೆಯೇ ನೇರವಾಗಿ ಕಂಪ್ಯೂಟಿಂಗ್ ಮಾಡುವ (ಆನ್-ಡಿವೈಸ್ ಡಿಫ್ಯೂಷನ್ ಅಥವಾ On-device Diffusion) ಅಧ್ಯಯನಗಳು ತೋರಿಸುವಂತೆ, ಭಾಷಾ ಮಾದರಿಯು ನೀಡುವ ಅರ್ಥವೇ ಡಿಫ್ಯೂಷನ್ ಪ್ರಕ್ರಿಯೆಯ ಪ್ರತಿ ಹಂತಕ್ಕೂ ದಿಕ್ಸೂಚಿಯಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ನೀವು ಬರೆದ ಪದಗಳನ್ನು ಆಧಾರವಾಗಿಟ್ಟುಕೊಂಡು, ಕಂಪ್ಯೂಟರ್ ಯಾವ ಭಾಗದಲ್ಲಿ ಯಾವ ಆಕಾರವನ್ನು ಉಳಿಸಿಕೊಳ್ಳಬೇಕು ಮತ್ತು ಎಲ್ಲಿ ಮಬ್ಬನ್ನು ಕರಗಿಸಬೇಕು ಎಂದು ನಿರ್ಧರಿಸುತ್ತದೆ. ಇಂದು ಅತ್ಯಾಧುನಿಕ ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳಲ್ಲೂ ಸಣ್ಣ ಡಿಫ್ಯೂಷನ್ ಮಾದರಿಗಳು ಸ್ಥಳೀಯವಾಗಿ ಫೋಟೋ ಎಡಿಟಿಂಗ್ ಮಾಡಲು ನೆರವಾಗುವ ಮಟ್ಟಿಗೆ ಸಂಶೋಧನೆ ಮುನ್ನಡೆದಿದೆ.

ಇಲ್ಲಿ ಒಂದು ಪ್ರಮುಖ ತಾಂತ್ರಿಕ ಮಿತಿಯನ್ನು ನೆನಪಿಡಬೇಕು. ಡಿಫ್ಯೂಷನ್ ಚಿತ್ರ ರಚನೆಯ ಒಂದು ಪ್ರಮುಖ ವಿಧಾನವಾಗಿದ್ದರೂ, ಅದು ಏಕೈಕ ವಿಧಾನವಲ್ಲ; ಇತರ ವಿಧದ ಹೊಸ ವಿಷಯ ಸೃಷ್ಟಿಸುವ ಮಾದರಿಗಳೂ (ಜನರೇಟಿವ್ ಮಾಡೆಲ್‌ಗಳು ಅಥವಾ GAN) ಅಸ್ತಿತ್ವದಲ್ಲಿವೆ. ಇದಲ್ಲದೆ, ಕಂಪ್ಯೂಟರ್ ಚಿತ್ರದಲ್ಲಿರುವ ವಸ್ತುಗಳ ನೈಜ ಅರ್ಥ ಅಥವಾ ಮಾನವ ಅಂಗರಚನೆಯ ಸೂಕ್ಷ್ಮತೆಯನ್ನು ನೈಜವಾಗಿ ಅರಿತಿರುವುದಿಲ್ಲ. ಕೇವಲ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಹೊಂದಾಣಿಕೆ ಮಾಡುವುದರಿಂದ, ಕೆಲವೊಮ್ಮೆ ಚಿತ್ರದಲ್ಲಿನ ಬೋರ್ಡ್‌ಗಳ ಮೇಲಿನ ಅಕ್ಷರಗಳು ತಪ್ಪಾಗಿ ಮೂಡುತ್ತವೆ ಅಥವಾ ಕೈಬೆರಳುಗಳು, ಕಣ್ಣುಗಳು ಮತ್ತು ಕೀಲುಗಳ ರಚನೆಯಲ್ಲಿ ಅಸಹಜತೆ ಕಂಡುಬರುತ್ತದೆ. ಮರ ಅಥವಾ ಮೋಡಗಳ ರಚನೆಯಲ್ಲಿ ಸಣ್ಣ ವ್ಯತ್ಯಾಸವಾದರೆ ಕಣ್ಣಿಗೆ ಕಾಣಿಸುವುದಿಲ್ಲ, ಆದರೆ ಅಕ್ಷರ ಅಥವಾ ಬೆರಳಿನಲ್ಲಿ ಸಣ್ಣ ವ್ಯತ್ಯಾಸವಾದರೂ ತಕ್ಷಣವೇ ಎದ್ದು ಕಾಣುತ್ತದೆ.

ಡಿಫ್ಯೂಷನ್ ಸಾಧನಗಳನ್ನು ಬಳಸುವಾಗ ಗಮನಿಸಬೇಕಾದ ಅಂಶಗಳು

ಉತ್ತಮ ಕಲಾಕೃತಿಗಳನ್ನು ಪಡೆಯಲು ಮತ್ತು ತಪ್ಪು ಗ್ರಹಿಕೆಗಳನ್ನು ತಪ್ಪಿಸಲು ಈ ಕೆಳಗಿನ ಕ್ರಮಗಳು ನೆರವಾಗುತ್ತವೆ:

  • ವಿವರಣೆಯಲ್ಲಿ ಬೆಳಕು ಮತ್ತು ಸನ್ನಿವೇಶವನ್ನು ಸ್ಪಷ್ಟಪಡಿಸಿ: ಕೇವಲ 'ಒಂದು ಬೆಕ್ಕು' ಎಂದು ಬರೆಯುವ ಬದಲು, 'ಹಸಿರು ಹುಲ್ಲಿನ ಮೇಲೆ ಮುಂಜಾನೆಯ ಬಿಸಿಲಿನಲ್ಲಿ ಕುಳಿತಿರುವ ಬೆಕ್ಕು' ಎಂದು ಬರೆದಾಗ ಕಂಪ್ಯೂಟರ್‌ಗೆ ಸೂಕ್ತ ಆಕಾರ ಹಾಗೂ ಬಣ್ಣಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಸುಲಭವಾಗುತ್ತದೆ.
  • ಚಿತ್ರದಲ್ಲಿನ ಅಕ್ಷರಗಳು ಮತ್ತು ಬೆರಳುಗಳ ರಚನೆಯನ್ನು ಸೂಕ್ಷ್ಮವಾಗಿ ಪರೀಕ್ಷಿಸಿ: ಕಂಪ್ಯೂಟರ್ ಚಿತ್ರಗಳಲ್ಲಿ ಅಕ್ಷರಗಳ ಕಾಗುಣಿತ ಮತ್ತು ಕೈಗಳ ಆಕಾರದಲ್ಲಿ ದೋಷಗಳು ಬರುವುದು ಸಾಮಾನ್ಯ; ಆದ್ದರಿಂದ ಆ ವಿವರಗಳನ್ನು ಮನುಷ್ಯರೇ ಕಣ್ಣಾರೆ ಪರೀಕ್ಷಿಸಬೇಕು.
  • ರಚಿಸಿದ ಚಿತ್ರವನ್ನು ನೈಜ ಘಟನೆಯ ಪುರಾವೆ ಎಂದು ಎಂದಿಗೂ ಭಾವಿಸಬೇಡಿ: ಇದು ಸಂಪೂರ್ಣವಾಗಿ ಕಂಪ್ಯೂಟರ್ ಸೂತ್ರಗಳಿಂದ ಮೂಡಿದ ಕಾಲ್ಪನಿಕ ಚಿತ್ರವಾಗಿದ್ದು, ಸತ್ಯಾಸತ್ಯತೆಯ ಪರಿಶೀಲನೆಯಿಲ್ಲದೆ ಇದನ್ನು ಸಾಕ್ಷಿಯನ್ನಾಗಿ ಬಳಸಬಾರದು.

ಜೊತೆಗೆ, ಆಧುನಿಕ ಚಿತ್ರ ರಚನಾ ಸಾಧನಗಳಲ್ಲಿ ಮೊದಲ ಪ್ರಯತ್ನದಲ್ಲೇ ಪರಿಪೂರ್ಣ ಚಿತ್ರ ಬರದಿದ್ದರೆ, ವಿವರಣೆಗೆ ಹೊಸ ಪದಗಳನ್ನು ಸೇರಿಸಿ ಅಥವಾ ಅನಗತ್ಯ ಅಂಶಗಳನ್ನು ತೆಗೆದುಹಾಕಿ ಹಂತಹಂತವಾಗಿ ಸರಿಪಡಿಸುವ ಸೌಲಭ್ಯವಿರುತ್ತದೆ. ಈ ಪುನರಾವರ್ತಿತ ಪರಿಶೀಲನೆಯು ಬಳಕೆದಾರರಿಗೆ ಅಪೇಕ್ಷಿತ ಫಲಿತಾಂಶವನ್ನು ತಲುಪಲು ನೆರವಾಗುತ್ತದೆ.

ಅಸ್ತವ್ಯಸ್ತ ಡಿಜಿಟಲ್ ಚುಕ್ಕೆಗಳಿಂದ ಸುಂದರ ದೃಶ್ಯವನ್ನು ಹೊರತರುವುದು ತಂತ್ರಜ್ಞಾನದ ಅದ್ಭುತ ಆವಿಷ್ಕಾರವಾಗಿದೆ. ಇದು ನಮ್ಮ ಕಲ್ಪನೆಗೆ ಸುಲಭ ರೂಪ ನೀಡುವ ಉಪಕರಣವೇ ಹೊರತು, ಸೃಷ್ಟಿಯಾದ ಚಿತ್ರದ ಸತ್ಯಾಸತ್ಯತೆ ಮತ್ತು ನೈತಿಕ ಬಳಕೆಯನ್ನು ಪರೀಕ್ಷಿಸುವ ಅಂತಿಮ ವಿವೇಚನೆ ಸದಾ ಮನುಷ್ಯರದೇ ಆಗಿರುತ್ತದೆ.

ಮೂಲಗಳು
  1. Photorealistic Text-to-Image Diffusion Models with Deep Language UnderstandingGoogle Research
  2. On-device diffusion plugins for conditioned text-to-image generationGoogle Research