업데이트(2019.08.18) : --unpublished를 이용해 빌드시 ‘published: false’로 되어있는 포스트도 빌드할 수 있는 방법 추가

블로그 글을 비공개로 해보자

환경 및 선수조건

  • Jekyll
  • YAML


머리말에 있는 published 변수

포스트를 만들 때마다 머리말에 있는 yaml을 설정해줘야 하는데 해당 yaml에서 published 변수를 설정하고 값을 설정해주면 된다.

  • published : true : 포스트 공개
  • published : false : 포스트 비공개

---
layout : post
title : [title post]
...
published : false
...
---

해당 옵션은 사이트가 생성될 때 특정한 포스트가 나타나지 않도록 하는 옵션으로 로컬이나 서버든 빌드를 하게 되면 볼 수 없게됩니다. 만약 로컬에서 테스트 용도로는 보고 싶고 서버에는 비공개로 해서 특정 포스트들을 빌드하고 싶지 않으시다면 아래 옵션을 이용해 로컬에서 빌드하시면 됩니다.

  • 빌드시 --unpublished 추가
  • jekyll을 빌드하는 방법은 사용자에 따라 다르니 참고하시기 바랍니다.
bundler exec jekyll serve --unpublished
# OR
jekyll serve --unpublished


참고자료

vglnk 속성 값 때문에 자동으로 태그가 씌워지는(wrap) 현상을 막아보자

환경 및 선수조건

  • Jekyll
  • YAML


class 속성에 nolinks를 추가

아래처럼 class="nolinks"를 추가해주면 된다.

...
<body class="nolinks">
...

만약 HTML 구조에서 특정 부분에만 적용을 하고 싶다면 아래처럼 특정태그에 적용을 해도 된다.

  • p 태그
...
<!--속성 추가-->
<p class="nolinks">
...
  • div 태그
...
<!--속성 추가-->
<div class="nolinks">

    ...contents...

</div>
...


업데이트(2018.05.16) : requests 모듈을 통해서 웹에 있는 html 가져오는 부분 추가

웹 데이터 크롤링 또는 스크래핑을 할 때 사용하는 Python 라이브러리인 Beautiful Soup의 사용법에 대해서 간단하게 알아보자.

환경 및 선수조건

  • HTML, CSS, Javascript
  • Python
  • pip


Beautiful Soup 설치

$ pip intall beautifulsoup4


Beautiful Soup 사용법

기본 세팅

기본적으로 패키지 import를 통해서 가져오며 html파일을 가져오거나 urllib 혹은 requests 모듈을 통해서 직접 웹에서 소스를 가져올 수도 있습니다.

package import

from bs4 import BeautifulSoup


html 파일 열기

with open("example.html") as fp:
    soup = BeautifulSoup(fp, 'html.parser')


urllib를 통해서 웹에 있는 소스 가져오기

  • web_url에 원하는 URL을 추가
import urllib.request
import urllib.parse

# web_url에 원하는 웹의 URL을 넣어주시면 됩니다.
with urllib.request.urlopen(web_url) as response:
    html = response.read()
    soup = BeautifulSoup(html, 'html.parser')


requests를 통해서 웹에 있는 소스 가져오기

  • web_url에 원하는 URL을 추가
import requests

# web_url에 원하는 웹의 URL을 넣어주시면 됩니다.
>>> r = requests.get(web_url)
>>> r.status_code
200
>>> r.headers['content-type']
'text/html; charset=UTF-8'
>>> r.encoding
'UTF-8'
>>> r.text
<!DOCTYPE html>
<html class="client-nojs" lang="en" dir="ltr">


HTML 예제

  • 아래 html 코드를 통해서 예제를 설명

example.html

<!DOCTYPE html>
<html>
	<head>
		<title>Page title</title>
	</head>
	<body>
    	<div>
            <p>a</p>
            <p>b</p>
            <p>c</p>
        </div>
        <div class="ex_class">
            <p>d</p>
            <p>e</p>
            <p>f</p>
        </div>
        <div id="ex_id">
            <p>g</p>
            <p>h</p>
            <p>i</p>
        </div>
		<h1>This is a heading</h1>
		<p>This is a paragraph.</p>
		<p>This is another paragraph.</p>
	</body>
</html>


find() 및 find_all()함수

  • 함수 인자로는 찾고자 하는 태그의 이름, 속성 기타 등등이 들어간다.
  • find_all(name, attrs, recursive, string, limit, **kwargs)
  • find(name, attrs, recursive, string, **kwargs)

find_all

  • find_all() : 해당 조건에 맞는 모든 태그들을 가져온다.
with open("example.html") as fp:
    soup = BeautifulSoup(fp, 'html.parser')
    all_divs = soup.find_all("div")
    print(all_divs)
# 출력 결과
[<div>
<p>a</p>
<p>b</p>
<p>c</p>
</div>, <div class="ex_class">
<p>d</p>
<p>e</p>
<p>f</p>
</div>, <div id="ex_id">
<p>g</p>
<p>h</p>
<p>i</p>
</div>]

find

  • find() : 해당 조건에 맞는 하나의 태그를 가져온다. 중복이면 가장 첫 번째 태그를 가져온다.
with open("example.html") as fp:
    soup = BeautifulSoup(fp, 'html.parser')
    first_div = soup.find("div")
    print(first_div)
# 출력 결과
<div>
<p>a</p>
<p>b</p>
<p>c</p>
</div>


태그를 이용해서 가져오기

  • 예제 : 모든 <p> 태그들을 가져오기
with open("example.html") as fp:
    soup = BeautifulSoup(fp, 'html.parser')
    all_ps = soup.find_all("p")
    print(all_ps)
# 출력 결과
[<p>a</p>, <p>b</p>, <p>c</p>, <p>d</p>, <p>e</p>, <p>f</p>, <p>g</p>, <p>h</p>, <p>i</p>, <p>This is a paragraph.</p>, <p>This is another paragraph.</p>]
  • 예제 : 첫번째 <div>태그를 가져오기
with open("example.html") as fp:
    soup = BeautifulSoup(fp, 'html.parser')
    first_div = soup.find("div")
    print(first_div)
# 출력 결과
<div>
<p>a</p>
<p>b</p>
<p>c</p>
</div>


태그와 속성을 이용해서 가져오기

태그와 속성을 이용할 때 함수의 인자로 원하는 태그를 첫번째 인자로 그 다음에 속성:값의 형태로 dictionary 형태로 만들어서 넣어주면 된다.

  • find_all('태그명', {'속성명' : '값' ...})
  • find('태그명', {'속성명' : '값' ...})

  • 예제 : <div> 태그에서 id속성의 값이 ex_id인거 불러오기
with open("example.html") as fp:
    soup = BeautifulSoup(fp, 'html.parser')
    ex_id_divs = soup.find('div', {'id' : 'ex_id'})
    print(ex_id_divs)
# 출력 결과
<div id="ex_id">
<p>g</p>
<p>h</p>
<p>i</p>
</div>


HTML 구조를 이용해 부분부분 가져오기

  • 예제 : id속성의 값이 ex_id<div> 태그에서 <p>태그들만 가져오기
with open("example.html") as fp:
    soup = BeautifulSoup(fp, 'html.parser')
    # id=ex_id인 div 태그를 가져와서
    ex_id_divs = soup.find("div", {"id":"ex_id"})
    # 그 태그들 안에서 p 태그를 가져온다.
    all_ps_in_ex_id_divs = ex_id_divs.find_all("p")
    print(all_ps_in_ex_id_divs)
# 출력 결과
[<p>g</p>, <p>h</p>, <p>i</p>]


쉘 스크립트(Shell Script)에서 pyenv와 virtualenv를 실행하는 방법을 알아보자.


환경 및 선수조건


쉘 스크립트에서 pyenv를 사용할 때

쉘 스크립트에서 아래처럼 pyenv activate [virtualenv name]을 사용하면(저의 경우에는 unopenlab이 가상환경 이름입니다.) 오류가 뜨게 되는 경우가 있습니다.

 #!/bin/bash
pyenv activate unopenlab

Error


쉘 스크립트에서 pyenv를 사용할 때 해결 방법

이 경우에 source ~/.bash_profile를 스크립트에 포함해서 사용해주면 됩니다. 환경 변수 및 다른것들을 새로 로드하기 때문에 위에 문제가 사라지게 됩니다.

  • Shell Script에 source ~/.bash_profile 한 줄 추가
#!/bin/bash
source ~/.bash_profile
pyenv activate unopenlab


업데이트(2018.03.14) : 함수 사용법을 분리하여 조금 더 상세하게 작성하였습니다.

C++에서 next_permutation 함수 혹은 prev_permutation 함수를 통해서 순열을 구해보는 방법


환경 및 선수조건

  • C++ 및 STL의 사용법(iterator)


함수

STL에 algorithm 헤더파일을 추가하면(#include <algorithm>) 다음 아래 함수를 통해서 순열을 구할수가 있다.

함수에 벡터iterator 혹은 배열의 주소를 넣으면 다음 순열(1-2-3-4의 다음 순열은 1-2-4-3) 혹은 이전 순열(1-2-4-3의 이전 순열은 1-2-3-4)의 결과가 벡터나 배열에 적용된다.

  • next_permutation : 현재 나와 있는 수열에서 인자로 넘어간 범위에 해당하는 다음 순열을 구하고 true를 반환한다. 다음 순열이 없다면(다음에 나온 순열이 순서상 이전 순열보다 작다면) false를 반환.
  • prev_permutation : 현재 나와 있는 수열에서 인자로 넘어간 범위에 해당하는 이전 순열을 구하고 true를 반환한다. 이전 순열이 없다면(다음에 나온 순열이 순서상 이전 순열보다 크다면) false를 반환.


next_permutation 함수

기본 구조


// 첫번째 인자가 구하고자 하는 순열의 시작, 두번째 인자가 순열의 끝
bool next_permutation (BidirectionalIterator first, BidirectionalIterator last);

// 아래처럼 직접 비교함수를 넣어줘도 됩니다.
bool next_permutation (BidirectionalIterator first, BidirectionalIterator last, Compare comp);


사용법

순열을 구하고 싶은 1-2-3-4의 배열이 있다고 가정을 하면 next_permutation의 함수를 사용하면 배열의 값들이 다음 순열인1-2-4-3로 바뀌고 함수는 true를 반환합니다.


구현 코드

#include <iostream>
#include <vector>
#include <algorithm>

using namespace std;

int main(){

	// 1부터 4까지 저장할 벡터 선언
	// 배열도 가능!
	vector<int> v(4);

	// 1부터 4까지 벡터에 저장
	for(int i=0; i<4; i++){
		v[i] = i+1;
	}

	// next_permutation을 통해서 다음 순열 구하기
	do{

		for(int i=0; i<4; i++){
			cout << v[i] << " ";
		}

		cout << '\n';

	}while(next_permutation(v.begin(),v.end()));

	return 0;

}


구현 결과

1 2 3 4
1 2 4 3
1 3 2 4

...

4 2 3 1
4 3 1 2
4 3 2 1


prev_permutation 함수

기본 구조


// 첫번째 인자가 구하고자 하는 순열의 시작, 두번째 인자가 순열의 끝
bool prev_permutation (BidirectionalIterator first, BidirectionalIterator last);

// 아래처럼 직접 비교함수를 넣어줘도 됩니다.
bool prev_permutation (BidirectionalIterator first, BidirectionalIterator last, Compare comp);


사용법

순열을 구하고 싶은 4-3-2-1의 배열이 있다고 가정을 하면 prev_permutation의 함수를 사용하면 배열의 값들이 다음 순열인4-3-1-2로 바뀌고 함수는 true를 반환합니다.


구현 코드

#include <iostream>
#include <vector>
#include <algorithm>

using namespace std;

int main(){

	// 1부터 4까지 저장할 벡터 선언
	// 배열도 가능!
	vector<int> v(4);

	// 4부터 1까지 벡터에 저장
	for(int i=0; i<4; i++){
		v[i] = 4-i;
	}

	// prev_permutation을 통해서 이전 순열 구하기
	do{

		for(int i=0; i<4; i++){
			cout << v[i] << " ";
		}

		cout << '\n';

	}while(prev_permutation(v.begin(),v.end()));

	return 0;

}


구현 결과

4 3 2 1
4 3 1 2
4 2 3 1

...

1 3 2 4
1 2 4 3
1 2 3 4


참고자료