David의 개발 이야기!

원본 논문은 아래와 같다. https://arxiv.org/abs/2103.00020 Learning Transferable Visual Models From Natural Language Supervision State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual co arxiv.org 0. Abstract 일..

[ Challenges of Image Classification ] - viewpoint variation - illumination changes - background clutter - occlusion - deformation - intra-class variations - fine-grained categories - context 이런 다양한 상황으로 인해, classification 문제는 꽤(?) 어려운 문제이다!! Lecture 12 는 머신러닝 기본들을 다시 정리하는 느낌이어서 포스팅은 스킵!!

이미지를 이어붙이다보면, 어색한 경계선이 보일때가 있다. 이를 해결하고자, 하는 기법들을 배우고자 한다. A. Image Blending 1. Blending 이란? 2. Alpha Blending 2. Laplacian Blending 1. Comput Laplacian pyramid 2. Compute Gaussian pyramid on weight image / can put this in A channel 3. Blend Laplacians using Gaussian blurred weights 4. Reconstruct the final image low frequency 일때는 많이 섞고, blend a lot , high frequency 는 조금 만 섞는다. 왜냐하면, Large featu..

A. Least Squares Suppose we need an affine transformation to align one image to the other one. 위 식을 정리를 하면 아래처럼 표현할 수 있다. 정리된 식을 미분하면, 세타 에 대한 식이 나오는데, 여기 양변에 A 를 곱해주면, A * theta = b 식이 나오게 된다. 따라서, 해당 문제를 푸는것이 문제가 된다. 즉, image alignment 를 위해서, A, B에서 interest point 를 찾고, 이를 이으면서, homography 를 추정한다. homography 행렬은, 한 이미지의 관심점들을 다른 이미지의 관심점으로 변환하는데 사용할 수 있으며, 두 이미지간의 변환을 구현할 수 있다. B. RANSAC : Ran..

A. Geometric Transformation 1. Geometric Transformation 예시 2. Homogeneous Coordinate 설명 위의 homogeneous coordinate 개념에 따라, 아래와 같이 homogrphy matrix 를 만들수 있다. B. Image warping 이미지를 저렇게 회전시키려면 어떻게 해야할까? Forward warping 이라고 하는데, 수식을 통해, rotate gkrh, scaling을 변환한다. 하지만, 이럴 경우, 아래 이미지처럼 비어있는 값이 생기는 문제가 발생한다. 그래서 근본적인 문제를 해결하기 위해 "backward mapping"을 사용한다. forward mapping과 backward mapping의 차이는 아래와 같다. t..

시작하기 앞서, 용어를 설명하려고 한다. Feature Description 은, 여러 필터와 detector 들을 통해 검출된 feature points 주변의 정보를 요약하여, 그 특징점을 기술하는 단게이다. 이 과정은, 특징점의 위치뿐만 아니라, 그 특징점이 어떤 외형적인 특성을 가지고 있는지 포착하는 것을 목표로 한다. 이는, 다른 이미지에서 같은 특징점을 식별하고 매칭하는데 사용할 수 있는 정보를 제공한다. 우리는 이전 포스팅까지, 어떻게 interest points들을 찾는지 배웠다. 이제 우리의 다음 목표는, corresponding pair를 찾는것이다! 위의 작업은 매우 어려운 작업중 하나인데, 왜냐하면, 이미지의 색깔도 고려해야하며, 또, 다양한 appearance 및 various g..