둥's 이것저것

사용하는 제품은 FLIR사의 "BFS-U3-51S5C-C" 제품이다.

해당 제품을 통해 얻어지는 영상을 Visual Studio에서 OpenCV를 통해 C++로 처리하고자 한다.

www.flirkorea.com/support-center/iis/machine-vision/downloads/spinnaker-sdk-and-firmware-download/  

우선 위의 링크를 통해 Spinnaker SDK를 설치해준다.

저장소에 보면 위와 같이 Windows 환경에서 SpinnakerSDK의 Full 버전을 다운받을 수 있도록 제공해주고 있다.

그리고 설치를 진행하는 중 위와 같은 과정을 진행하게 되는데 위의 "Camera Evaluation"의 경우 카메라의 정상작동 여부만을 확인할 수 있도록 Viewer 와 이와 관련된 간단한 프로그램들만 설치되는 과정으로 보이고 코드작업을 통해 디테일한 작업을 진행하고자 한다면 아래의 "Application Development"를 선택해야 하는 것으로 보인다.

그리고 설치가 완료되면

"C:/Program Files/ FLIR Systems/ Spinnaker/ src/ " 의 경로에서 샘플 코드들을 확인할 수 있다.

나는 현재 Visual 2019 버전을 사용중인데 해당 버전은 아직 지원되지 않는 것 같다.

그래서 MS 홈페이지에서 VisualStudio2015를 설치를 진행하려 했으나

위와 같은 창에서 패키지가 없거나 찾을 수 없다는 내용만 뜨면서 진행이 되지 않는 문제가 발생하였다.

결국 iso 형식의 visual2015를 구해 진행하니 설치가 잘 되었다.

그리고 앞에서 받은 Sample Code들을 돌려봐도 잘 실행되는 것을 확인할 수 있었다.

그럼 이제 OpenCV를 연동하여 본격적으로 작업에 들어가보자.

우선 OpenCV는 3.2 버전을 다운받아 설치해주었다.

이 과정에서는 아래 블로그를 참고하여 진행하였다.

www.cnblogs.com/dinghongkai/p/11631147.html

우선 프로젝트 상단의 x86을 x64로 변경해준다.

그리고 프로젝트 설정에서 추가포함드렉터리와 추가라이브러리디렉토리를 추가해주고

링커->입력 부분에서 opencv_world320d.lib을 추가해준다.

여기까지 됐으면 프로젝트를 다시한번 빌드하여 오류가 없는지 확인해보자.

그럼 이제 윈도우 환경변수를 추가해주자.

위의 설정이 완료되었으면 다시 코드로 돌아와 아래 내용을 추가해보자.

그리고 이상이 없다면 프로젝트 설정이 끝난 것이고 이제 FLIR카메라에서 얻어진 영상을

OpenCV로 처리할 수 있을 것이다.

앞에서 Hough Transform(허프변환)을 이용하여 직선을 검출하게 되는 과정을 나타내었다.

그리고 이번 글에서는 이를 응용하여 직선이 아닌 원을 검출하게 되는 과정을 나타내어 보겠다.

위에 흔하게 볼 수 있는 x-y평면 위에 반지름이 r인 원을 그려보았다.

이 원은 (x-a)^2 + (y-b)^2 = r^2 으로 나타내어 질 수 있다.

그럼 [그림.1]에서 그려진 붉은색 원 위의 임의의 점 P1에 대하여 생각해보자.

P1을 지나는 원은 굉장히 많이 존재할 것이다.

[그림.3]을 통해 볼 수 있듯이 P1을 지나는 원은 무수히 많고 각각의 원은 모두 다른 중심, 다른 반지름을 갖고있다.

즉 (x-a)^2 + (y-b)^2 = r^2 의 식에서 중심을 나타내는 a와 b, 그리고 반지름을 나타내는 r의 값이 모두

다르다는 것이다!

그럼 점 P1을 지나는 원을 타나내는 식을 써보도록 하자.

(x1, y1)의 점은 항상 포함될 것이고 a,b,r은 매개변수가 될 것이다.

앞에서 Hough Transform의 매개변수는 a와 b 로 총 2개였지만 여기서는 r까지 포함되어 3개의 매개변수,

즉 3차원으로 나타내어 지게 된다.

즉 (x-a)^2 + (y-b)^2 = r^2 의 식을 x축, y축이 아닌 a축, b축, r축에 대하여 3차원으로 나타내어 보자!

우선 식을 좀 간단하게 (a-x)^2 + (b-y)^2 = r^2 의 형태로 바꿔보자.

그럼 위와 같이 뒤집어진 원뿔형의 모습으로 그려지게 될 것이다.

원뿔형이 그려진다는 것에 대해 이해가 가지 않는다면

r값에 값을 하나씩 넣어보면서 생각해보자.

우선 r=0 일때 a=x, b=y 가 된다.

따라서 r축의 값은 0이되고 a의 값은 x, b의 값은 y가 되는 한 점을 나타내게 된다.

다음으로 r값에 2를 넣어보자.

(a-x)^2 + (b-y)^2 = 2^2 의 형태로 이는 중심이 (x,y)이고 반지름이 2인 원의 방정식이 된다.

즉 r축의 값이 2일땐 중심은 (x,y), 반지름은 2인 원이 그려지게 된다.

다음으로 r값에 3을 넣어보자.

위와 같은 방식으로 r축의 값이 3일때 중심은 (x,y), 반지름은 3인 원이 그려지게 된다.

이러한 과정의 반복으로 a-b-r 좌표계에는 무한히 큰 뒤집어진 원뿔형의 모습이 그려지게 된다.

그럼 이제 x-y평면상의 다른 점 P2(x2, y2)에 대하여 생각해보자.

점 P2역시 이 점을 지나는 원은 무수히 많이 존재하게 될 것이다.

그리고 위의 과정과 똑같이 점 P2를 지나는 모든 원들을 a-b-r축을 이용하여 표시하여 보자.

위의 [그림.6] 과 같이 나타내어질 수 있을 것이고 여기서 보이는 원뿔은 무한히 큰 원뿔이기 때문에

이때 발생되는 접점의 a,b,r값을 알 수 있고 여기에 해당하는 a,b,r값을 이용하여 x-y 평면에 나타내게 되면

P1과 P2 모두 지나게 되는 원을 그릴 수 있게 된다. ([그림.7] 참고)

따라서 x-y평면 위의 임의의 점들이 a-b-r좌표계에서 동일한 부분에 계속적으로 겹치게 된다면

이 임의의 점들은 모두 동일한 원 위에 나타내어 진다고 볼 수 있다.

그리고 Threshold로 지정된 갯수 이상의 점들이 동일한 원 위에 있게되면 이를 원으로 판단하여 검출하게 된다.

[Hough Transform을 통한 직선 검출]

x-y 평면 위에 임의의 점 P1이 있다고 하자.

이 점 P1을 지나는 직선은 무수히 많이 존재하게 된다.

그럼 이 수많은 직선들 중 하나를 표현해보자.

우리는 흔히 이 직선을 y=ax+b 로 나타낼 수 있을 것이다.

이는 기울기 a와 y절편 b를 이용하여 x값이 변화할 때의 y값을 나타내는 것이다.

하지만 우리는 특정한 점 P1(x1, y1)을 지나는 직선들을 표시하고 싶다.

즉 a와 b의 값을 정해놓고 x를 변화시키며 y값을 찾고싶은 것이 아닌

x와 y를 (x1,y1)으로 그 점을 지나는 모든 직선들을 식으로 나타내고자 한다.

따라서 임의의 직선에서 원점으로 수직한 선을 그리고 그 선의 길이 r와 그때의 선과 x축과의

각도 theta를 이용하여 P1을 지나는 무수한 직선들을 표현하여 보자. 

위의 그림을 통해 알 수 있듯이 r=x1Cos(theta)+y1Sin(theta) 로 표현될 수 있다.

이 부분에 대해서도 이해가 되지 않을 수 있으니 간단하게 설명하고 넘어가도록 하겠다.

[그림.3]에서 붉은 선은 임의의 직선 y=ax+b와 수직이면서 x축과의 각도가 theta이다.

이를 이용하여 r을 구해보자.

위와 같이 나타낼 수 있을 것이고 여기서

r=x1Cos(theta)+y1Sin(theta) 가 성립됨을 확인할 수 있다.

이제 위의 식을 x와 y에 대하여 나타내는 것이 아닌 r과 theta의 값에 대하여 나타내어 보자.

즉 기존의 x축, y축을 r축과 theta축으로 바꾸는 것이다!

x축을 theta축으로 놓고 y축을 r축으로 놓으면

r=x1Cos(theta)+y1Sin(theta) 의 식을 통해 r값이 삼각함수의 합성된 sin파 형태가 나올 것임을 예측할 수 있다.

즉 그림.5와 비슷한 형태의 그래프를 나타내게 된다.

그럼 다시 처음으로 돌아가보자.

우리는 x-y 좌표 위의 임의의 점 P1에 대하여 그 지점을 지나는 무수한 직선들을 r과 theta를 이용하여 나타내었다.

그럼 x-y좌표계 위에 있는 또 다른 점 P2에 대하여 생각해보자.

점 P2 역시 이 점을 지나는 직선은 무수히도 많을 것이고 P2(x2, y2)의 점을 지나는 그 무수한 직선들은

위와 같은 방법으로

r=x2Cos(theta)+y2Sin(theta)  로 나타낼 수 있다.

즉 위의 그림의 빨간색 선은

r=x1Cos(theta)+y1Sin(theta) 의 그래프와

r=x2Cos(theta)+y2Sin(theta) 의 그래프를 나타낸 것으로 볼 수 있고 여기서 x축은 theta, y축은 r값임을

알 수 있다.

그럼 여기서 두 그래프가 만나는 교차점은 무엇을 의미할까?

여기서 두 그래프의 교차점은 r값과 theta값이 서로 같나는 것을 의미하고 이는 x-y평면 위의 두 점

P1(x1, y1) 과 P2(x2, y2) 가 한 직선 위에 있다는 것으로 해석할 수 있다.

(두 그래프가 아예 같아 겹치게 되면 P1과 P2는 같은 점이 될 것이다)

그리고 위의 그래프는 2*(pi) 를 주기로 반복될 것이고 따라서 2*(pi)를 주기로 교차점의 위치는 반복될 것이다.

따라서 우리는 뒤에 이어지는 주기는 신경쓰지 말고 0~2*(pi)까지의 범위 안에서만 보도록 하자.

0~2*(pi) 안에서 총 2번 접점이 생기는 것을 확인할 수 있다

이는 P1에서 P2로의 직선을 나타내는 교점 1개와 P2에서 P1으로의 직선을 나타내는 교점 1개 이므로

0~2*(pi) 사이에 총 2개의 접점이 생기는 것이고 각각의 접점은 pi 주기로 생기게 될 것이다.

그럼 r-theta 평면의 그래프에서 한 접점에 굉장히 많은 삼각함수 곡선들이 겹치게 되면 어떨까?

이는 많은 점들이 한 직선 위에 있다는 것으로 해석할 수 있고 몇개의 곡선들이 한 접점에 모였을때 그 선을 직선인지

판단할지는 opencv 함수 중 HoughLinesP() 함수의 Threshold 값으로 지정해주게 된다.

즉 Threshold값을 100으로 지정하였다면 100개의 점이 한 직선위에 있을 때 그 직선을 검출하겠다는 의미가 된다.

바로 다음 게시물로 Hough Transform 을 이용한 원 검출 방법에 대해 써보겠다.

●  히스토그램 작성 순서도

●  cvCreateHist 함수  (히스토그램을 정의하는데 사용하는 함수)

CvHistogram* cvCreateHist( int dims, int *sizes, int type, 

                                                     float **range=NULL, int uniform=1)

-> dims

   히스토그램의 차원을 지정.

   흑백 영상이면 1, 컬러 영상이면 3차원.

-> sizes

    히스토그램 차원의 크기를 나타내며 배열로 표시함. 

    1차원 256 흑백영상의 경우 0부터 255까지 256개의 박대를 사용하므로

         int sizes[1] = {256}  으로 나타낼 수 있다.

    3차원 컬러영상의 경우 각각의 태널은 256개의 막대를 사용하므로

         int sizes[3] = {256, 256, 256}  으로 나타낼 수 있다.

-> type

    히스토그램 표현 형식을 나타낸다.

    type = CV_HIST_ARRAY이면 다채널 밀집 배열 (0인 원소가 적은 배열)을 나타내고

    type = CV_HIST_SPARSE이면 다채널 희소 배열 (0인 원소가 많은 배열)을 나타낸다.

-> ranges

    히스토그램의 x축 범위를 나타낸다.

-> uniform

    히스토그램에서 막대 사이의 간격을 일정하게 할 것인지 결정한다.

    uniform ≠ 0 이면 막대의 간격을 일정한 간격으로 한다.

●  cvCalcHist 함수 (영상으로부터 히스토그램을 계산하는데 사용하는 함수)

void cvCalcHist( IplImage** img, CvHistogram* hist);

->  img

     원 영상을 나타냄

->  hist

     히스토그램에 대한 포인터를 나타낸다.

●  cvGetMinMaxHistValue 함수 (막대에 대한 최대 빈도수와 최소 빈도수를 구함)

void cvGetMinMaxHistValue( CvHistogram* hist,

                                                 float* value_min, float* value_max);

->  hist

     히스토그램을 나타냄

->  value_min

     히스토그램의 최소 빈도수를 나타낸다.

->  value_max

     히스토그램의 최대 빈도수를 나타낸다.

●  cvScale 함수 (하나의 배열을 다른 배열로 선형 변환헤 의해 변환하는 함수)

void cvScale( CvArr* src, CvArr* dst, double scale=1, double shift=0);

->  src

      원 영상을 나타낸다.

->  dst

      목적 영상을 나타낸다.

->  scale

      스케일 파라미터를 나타낸다.

->  shift

      이동 파라미터를 나타낸다.

         cvScale() 함수는 dst = src * scale + shift 에 의해 변환된다.(cvConvertScale()와 동일)

●  cvRectangle 함수  (직사각형을 그리기 위한 함수)

void cvRectangle( CvArr* img, CvPoint pt1, CvPoint pt2, CvScalar color, int thickness=1 );

->  img

     직사각형이 그려질 영상을 나타냄

->  pt1

     직사각형의 모서리를 나타낸다.

->  pt2

     직사각형의 반대편 모서리를 나타낸다.

->  color

     직사각형의 선의 색상을 나타낸다.

->  thickness

     직사각형의 선의 두께를 나타낸다.

          cvRectangle() 함수에서 모서리 좌표 pt1과 pt2를 정할 때 원정이 어디에 위치하느냐는 중요한 문제이다.

          영상 좌표에서 원점은 왼쪽 상단임을 알고있자!

●  cvGetReal1D 함수  (1차원 히스토그램에서 i번째 막대의 빈고수를 얻기 위한 함수)

double cvGetReal1D( CvArr* arr, int idx0 );

-> arr

     1차원 배열을 나타낸다.

->  idx0

     원소의 위치에 대한 인덱스를 나타낸다.

     cvGetReal1D(histo->bins, i) 는 배열 bins 에서 i번째 인덱스에 대한 원소를 반환한다.

●  cvSet 함수  (영상을 주어진 값으로 설정할 때 사용)

void cvSet( CvArr* arr, CvScalar valuem CvArr* mask=0 );

->  arr

     원 영상을 나타낸다.

->  value

     채울 값을 지정한다.

->  mask

     마스크를 나타낸다.

         cvSet(histImage, cvScalarAll(255), 0) 이면 영상 histImage의 픽셀값을 255로 설정한다.

         cvScalarAll(double num);

               ->  모든 스칼라의 value들을 num 으로 초기화시켜준다.

●  cvEqualizeHist 함수  (흑백 영상에서 히스토그램 평활화하는데 사용하는 함수)

void cvEqualizeHist(CvArr* src, CvArr* dst);

->  src

     흑백 영상을 나타낸다.

->  dst

     목적 영상을 나타낸다.

출처: OpenCV를 이용한 영상처리( 임동훈 지음)

히스토그램이란 영상의 픽셀값들에 대한 분포를 나타내는 그래프로

영상을 분석하는데 매우 유용하다.

좌측은 일반적인 도수분포표이고 우측은 도수분포표를 이용하여 나타낸

히스토그램으로 영상처리 작업을 진행할 땐 히스토그램의 x축이 픽셀값,

y축이 빈도수로 나타내어 질 수 있다.

또한 픽셀값이 작을수록 영상은 어둡게 나타나고 픽셀값이 증가함에 따라

영상은 밝게 표시되므로 영상의 밝기에 따른 히스토그램은

위와 같이 나타낼 수 있다.

또한 명암대비에 따른 히스토그램을 나타내면

위와 같이 나타낼 수 있고 이를통해 알 수 있듯이 명암대비가 낮은 영상은 픽셀값들이 좁은 영역에 분포되어

영상이 선명하지 않고 명암대비가 높은 영상은 넓은 범위에 걸쳐 골고루 분포되어 영상이 선명함을 알 수 있다.

*명암대비 : 상이한 2가지 색이 서로 영향을 미쳐서 그 상이함이 강조되어 지각(知覺)되는 현상

내 컴퓨터의 속성에서 [설정변경]을 클릭한 후 [고급] 탭의 [환경변수] 를 클릭하여 준다.

그리고 시스템 변수의 PATH 항목에서 opencv의 dll 파일들이 있는 곳의 위치를 지정해준다.

나는 C드라이브에 opencv 디렉토리를 지정하였으므로 

C:\opencv\build\x86\vc11\bin    의 위치로 지정해 주었다.

그 후 비주얼 스튜디오를 통해 빈 프로젝트를 만들어주고 프로젝트 설정 창을 띄운다.

C/C++ 에서 [추가 포함 디렉토리]를 통해 경로를 지정해주게 되는데 여기에서는 다음과 같이 3개의 경로를 지정해준다.

여기서 [include] 부분까지 진행되는 1개만 설정해줘도 이상은 없다.

[링커] 탭의 [일반] 을 통해 [추가 라이브러리 디렉터리] 를 설정해주도록 하게 되는데

여기서는 c:/ opencv / build/ x86 / vc11 / lib 의 경로를 지정해 주었다.

마지막으로

[링커]의 [입력] 탭에서 [추가 종속성] 을 통해 다음의 내용을 추가해주자.

opencv_calib3d249d.lib
opencv_contrib249d.lib
opencv_core249d.lib
opencv_features2d249d.lib
opencv_flann249d.lib
opencv_gpu249d.lib
opencv_highgui249d.lib
opencv_imgproc249d.lib
opencv_legacy249d.lib
opencv_ml249d.lib
opencv_nonfree249d.lib
opencv_objdetect249d.lib
opencv_ocl249d.lib
opencv_photo249d.lib
opencv_stitching249d.lib
opencv_superres249d.lib
opencv_ts249d.lib
opencv_video249d.lib
opencv_videostab249d.lib

이렇게 되면 환경설정이 완료되었고 이미지를 띄워봄으로서 잘 되는지 확인해보자.

#include<opencv\highgui.h>

int main(int argc, char** argv)
{
IplImage* img = cvLoadImage("c:/opencv/lena.jpg");
cvNamedWindow("ex1", CV_WINDOW_AUTOSIZE);
cvShowImage("ex1", img);

cvWaitKey(0);

cvReleaseImage(&img);
cvDestroyWindow("ex1");

return 0;
}

OpenCV 홈페이지의 Release 부분에서 OpenCV 4.1.0 을 다운받아준다.

(Window에서 설치할 것이므로 Window로 받아주도록 한다.)

다운받은 파일을 실행시키면 압축을 풀도록 되어있는데 간단하게 c드라이브에 바로 풀어줄 수 있도록 한다.

그럼 C드라이브에 opencv라는 이름의 디렉토리(파일)이 생성되었음을 확인할 수 있다.

* Visual 에서 설정

1) 비주얼스튜디오를 실행시킨 후 빈프로젝트를 만들어주고 소스파일에 cpp파일을 만들어준다.

프로젝트의 속성 -> C/C++ 탭의 "추가 포함 디렉토리" 에 방금 설치된 opencv 파일의 경로에서 build\include 폴더를 추가해준다.

이 때 헤더를 조금 더 편하게 선언해주기 위해서는 opencv2 폴더도 같이 추가해주도록 한다.

2) 링커 탭의 추가 라이브러리 디렉터리 에서 opencv 폴더의 build\x64\vc15\lib 을 추가해준다.

3) 링커 탭의 <입력> 탭으로 이동하여 추가 종속성에 lib 폴더에 있던 라이브러리들을 추가해준다.

(opencv_world410.lib   opencv_world410d.lib 를 각각 추가해준다.)

설치가 완료되었으면 

위와 같이 Release 와 x64로 설정해 주도록 한다.

그리고

위의 코드를 입력하고 실행시켜보도록 한다.

나는 이를 실행시키면

이러한 오류가 뜨는 것을 확인할 수 있었는데

이는

위와 같이 프로젝트의 설정 창에서 디버깅->환경   파트에서

opencv_world410.dll 이 있는 경로를 추가해주도록 한다.

추가할 때 앞에 PATH= 을 붙여주도록 한다.

https://webnautes.tistory.com/1030

위의 블로그에서

4. OpenCV 설정과 컴파일 및 설치

전 단계까지 끝내준다.

4단계부터는 opencv의 소스코드의 압축파일을 갖고와서 진행하게 되는데 이 압축파일이 어디있는건지 잘 모르겠으므로 책의 내용을 따라가자.

install 파일의 내용을 따라 GTK+ 2.x 부터 추가해주기로 한다.

$ sudo apt-get install gtk2.0

$ apt install pkg-config

$ sudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev lib$ sudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev libpng12-devpng12-dev

https://sourceforge.net/projects/opencvlibrary/files/opencv-unix/1.0/

위에서 opencv - 1.0.0.tar.gz 파일을 받은 후 home에 mkdir을 통해 opencv라는 디렉토리를 하나 만들어준다.

$ tar -xvzf opencv-1.0.0.tar.gz

(압축 풀어주는 과정)

다 되었으면 opencv 디렉토리 안에 만들어진 opencv-1.0.0 디렉토리로 이동하여

$ ./configure

$ make

$ sudo make install

$ sudo ldconfig      (I가 아니라 L)