반응형

Vertica ROS Container 관련 오류 및 설정


java.sql.SQLTransientException: [Vertica][VJDBC](5065) ERROR: Too many ROS containers exist for the following projections:
public.DATASET_TABLE_super (limit = 11264, ROS files = 11264, DV files = 0, new files = 11)
at com.vertica.util.ServerErrorData.buildException(Unknown Source)
at com.vertica.dataengine.VQueryExecutor.readCopyStartResponse(Unknown Source)
at com.vertica.dataengine.VQueryExecutor.handleExecuteResponse(Unknown Source)
at com.vertica.dataengine.VQueryExecutor.execute(Unknown Source)
at com.vertica.jdbc.VerticaCopyStream.execute(Unknown Source)

Caused by: com.vertica.support.exceptions.TransientException: [Vertica][VJDBC](5065) ERROR: Too many ROS containers exist for the following projections:
public.DATASET_TABLE_super (limit = 11264, ROS files = 11264, DV files = 0, new files = 11)


Vertica에서 COPY 방식으로 데이터를 로드 할경우 ROS(Read Optimized Store - On Disk) 에 직접 데이터를 저장합니다.
Direct 입력시에 ROS Container가 생성되며, 해당 Container에 데이터를 로드합니다.

이 과정에서 Batch size 건수를 설정하면, 하나의 ROS Container에 설정한 Batch 건수 만큼만 저장을 합니다.
Batch size 수를 너무 적게 설정할 경우, ROS Container가 무분별하게 많이 생길 수 있습니다.

예를 들어,
1,000,000 만건의 로우를 COPY 할때 Batch size 100개로 설정하면,  1,000,000/100 = 10,000개의 ROS Container를 생성하게 됩니다.

# 특정 테이블의 ROS Container 조회
dbadmin=> select * from STORAGE_CONTAINERS where projection_name like '%DATASET_TABLE%';
-[ RECORD 1 ]-------+-------------------------------------------------
node_name           | v_vmartdb_node0001
schema_name         | public
projection_id       | 45035996273822238
projection_name     | DATASET_TABLE_super
storage_type        | ROS
storage_oid         | 45035996275015557
sal_storage_id      | 02dff9215fa3b060135119b5ff6210ba00a000000013ff85
total_row_count     | 100    << 저장된 로우 건수
deleted_row_count   | 0
used_bytes          | 2394
start_epoch         | 39779
end_epoch           | 39779
grouping            | PROJECTION
segment_lower_bound | 0
segment_upper_bound | 4294967295
is_sorted           | t
location_label      |
delete_vector_count | 0


대량 데이터에 대해 Batch size를 너무 적게 지정한 경우, ContainersPerProjectionLimit 파라메터 설정값에 따라서 ROS Container 수가 초과될 경우 위와 같은 에러가 발생합니다.
대량의 데이터를 COPY Load 할때 Batch size를 지정할 경우에는 10,000건 이상 설정해가며 맞춰가는게 좋을것 같습니다.

ROS Container(ContainersPerProjectionLimit) 파라메터 값은 기본 1024개로 설정이 되어 있습니다.

# ContainersPerProjectionLimit 설정값 조회
SELECT *
FROM CONFIGURATION_PARAMETERS
WHERE parameter_name = 'ContainersPerProjectionLimit' ;
-[ RECORD 1 ]-----------------+---------------------------------------------------------------------------------------
node_name                     | ALL
parameter_name                | ContainersPerProjectionLimit
current_value                 | 1024
restart_value                 | 1024
database_value                | 1024
default_value                 | 1024
current_level                 | DEFAULT
restart_level                 | DEFAULT
is_mismatch                   | f
groups                        |
allowed_levels                | NODE, DATABASE
superuser_only                | f
change_under_support_guidance | t
change_requires_restart       | f
description                   | Number of ROS containers that are allowed before new ROSs are prevented (ROS pushback)


# ContainersPerProjectionLimit 설정값 변경
SELECT SET_CONFIG_PARAMETER('ContainersPerProjectionLimit', 2048);


# 1초 간격으로 ROS Container 건수 증가량 조회
[dbadmin@dw ~]$ while true; do vsql -d Database -w password -At -c "select count(*) from STORAGE_CONTAINERS where projection_name like '%DATASET_TABLE%';"; sleep 1; done;
16
.
.
.
964
978
988
1002
1016
1024   -- 1024개가 되는 시점에 에러가 발생 (ERROR: Too many ROS containers exist)

여기서 발생할 수 있는 예외적인 상황은,
ROS Container 기본 설정 건수에 도달 하기전에 Tuple Mover가 Mergeout을 진행 한다면 ROS Container 수가 줄어들기 때문에, 우연히 에러를 피해 갈 수도 있습니다.
Mergeout은 여러개로 생성된 ROS Containers의 데이터를 소수의 ROS Container로 합치고 줄이는 작업을 합니다.
Mergeout의 기본 수행 주기는 600초(10분)입니다.


# MoveOut, MergeOut Interval 파라메터 정보 조회
SELECT *
FROM CONFIGURATION_PARAMETERS
WHERE parameter_name IN('MoveOutInterval', 'MergeOutInterval');

-[ RECORD 1 ]-----------------+-----------------------------------------------------------------------
node_name                     | ALL
parameter_name                | MoveOutInterval
current_value                 | 300
restart_value                 | 300
database_value                | 300
default_value                 | 300
current_level                 | DEFAULT
restart_level                 | DEFAULT
is_mismatch                   | f
groups                        |
allowed_levels                | NODE, DATABASE
superuser_only                | f
change_under_support_guidance | f
change_requires_restart       | f
description                   | Interval between Tuple Mover checks for moveouts to perform (seconds)
-[ RECORD 2 ]-----------------+-----------------------------------------------------------------------
node_name                     | ALL
parameter_name                | MergeOutInterval
current_value                 | 600
restart_value                 | 600
database_value                | 600
default_value                 | 600
current_level                 | DEFAULT
restart_level                 | DEFAULT
is_mismatch                   | f
groups                        |
allowed_levels                | NODE, DATABASE
superuser_only                | f
change_under_support_guidance | f
change_requires_restart       | f
description                   | Interval between Tuple Mover checks for mergeouts to perform (seconds)


# MoveOut, MergeOut Interval 설정값 조회
dbadmin=> SELECT GET_CONFIG_PARAMETER('MoveOutInterval');
 GET_CONFIG_PARAMETER
----------------------
 300
(1 row)

dbadmin=> SELECT GET_CONFIG_PARAMETER('MergeOutInterval');
 GET_CONFIG_PARAMETER
----------------------
 600
(1 row)


# MoveOut, MergeOut Interval 설정 변경
dbadmin=> SELECT SET_CONFIG_PARAMETER('MoveOutInterval', 60);
    SET_CONFIG_PARAMETER    
----------------------------
 Parameter set successfully
(1 row)

dbadmin=> SELECT SET_CONFIG_PARAMETER('MergeOutInterval', 30);
    SET_CONFIG_PARAMETER    
----------------------------
 Parameter set successfully
(1 row)

> ALTER 설정 동일 결과
ALTER DATABASE mydb SET MoveOutInterval = 60;
ALTER DATABASE mydb SET MergeOutInterval = 30;


반응형
반응형

> 에러 내용


  File "/usr/lib/python2.6/site-packages/resource_management/core/logger.py", line 101, in filter_text

    text = text.replace(unprotected_string, protected_string)

UnicodeDecodeError: 'ascii' codec can't decode byte 0xea in position 117: ordinal not in range(128)


> Python Default Encoding 수정

[root@peaceful ~]# vi /usr/lib/python2.6/site-packages/site.py
def __boot():
    import sys, imp, os, os.path
    sys.setdefaultencoding("utf-8")
    PYTHONPATH = os.environ.get('PYTHONPATH')
    if PYTHONPATH is None or (sys.platform=='win32' and not PYTHONPATH):
        PYTHONPATH = []
    else:
        PYTHONPATH = PYTHONPATH.split(os.pathsep)


반응형
반응형

Table 구조 배열 가로 형식 출력(피벗) 알고리즘


레코드 수를 n개로 고정하고, 총 레코드 n 건수만큼 동적으로 가로 추출
예) 21(총 건수) / 
5(레코드 수) = 5개의 필드 [ 4(몫) + 1(나머지 > 0) ]


public static void main(String arr[]){
         
int[] numArr = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12,
                        13, 14, 15, 16, 17, 18, 19, 20, 21};
  int cnt = 0; // 첫 시작값 정의
       int fixedNum = 5; // 고정 레코드 수
    StringBuffer sb = new StringBuffer();
         
  for(int i=0; i<fixedNum; i++){
      sb.append("<tr>"); // 고정 사이즈 n번 <tr>루프
    for(int j=cnt; j<numArr.length; j++){
             /* 추출된 갯수만큼 <td>별 n개 단위의 값을 추출 */
          sb.append("<td>");
          sb.append(numArr[j]);
         sb.append("</td>");
           j = j+(fixedNum-1);
            }
            cnt = i+1; // j의 시작값 위치를 지정 <tr><td>1</td>
            sb.append("</tr>"); // 고정 사이즈 5번 만큼 닫기 루프
            sb.append("\n");
        }
        System.out.println(sb.toString());
    }
 
/**
# 출력값
<tr><td>1</td><td>6</td><td>11</td><td>16</td><td>21</td></tr>
<tr><td>2</td><td>7</td><td>12</td><td>17</td></tr>
<tr><td>3</td><td>8</td><td>13</td><td>18</td></tr>
<tr><td>4</td><td>9</td><td>14</td><td>19</td></tr>
<tr><td>5</td><td>10</td><td>15</td><td>20</td></tr>
 */

출처 : http://develop.sunshiny.co.kr/category/8

반응형
반응형

  • 입출력 예
seoulreturn
[JaneKim]김서방은 1에 있다

문제

String형 배열 seoul의 element중 Kim의 위치 x를 찾아, 김서방은 x에 있다는 String을 반환하는 함수, solution을 완성하세요. seoul에 Kim은 오직 한 번만 나타나며 잘못된 값이 입력되는 경우는 없습니다.

제한사항-

- seoul은 길이 1 이상, 1000 이하인 배열입니다.

- seoul의 원소는 길이 1 이상, 20 이하인 문자열입니다.

- Kim은 반드시 seoul 안에 포함되어 있습니다.


풀이다


import java.util.*;

class Solution {

  public String solution(String[] seoul) {

      String answer = "";

        int a = Arrays.asList(seoul).indexOf("Kim");


   

    return "김서방은 "+ a + "에 있다";

  }

}

배열에서 "Kim" 을 찾아서 인덱스 값을 가져오는것이다 


https://programmers.co.kr/ 에서 문제를 풀었다


반응형
반응형

※ JAVA 배열 내에 중복값 제거하기/출력하기


import java.util.TreeSet;

import java.util.Iterator;


TreeSet 중복값을 제거해주고 정렬해줍니다

int [] arr = {1,1,1,2,3,4,5,6};

TreeSet t = new TreeSet();

            for(int i=0; i< arr.length; i++)

            {

                t.add(arr[i]);

            }

            Iterator it = t.iterator();

            int x = 0;

            while(it.hasNext())

            {

                System.out.println(it.next());


            }

결과값은 1,2,3,4,5,6 으로 나오게 됩니다


반응형
반응형
String[] test = {"1","2","3","1","2"};
System.out.println("before length=" + test.length);
 
test = new HashSet<String>
(Arrays.asList(test)).toArray(new String[0]);
System.out.println("after length=" + test.length);
 
for(String s:test){
    System.out.println(s);            
}
 
/* result 
before length=5
after length=3
1
2
3

*/


반응형
반응형
문제 설명

단어 s의 가운데 글자를 반환하는 함수, solution을 만들어 보세요. 단어의 길이가 짝수라면 가운데 두글자를 반환하면 됩니다.

재한사항
  • s는 길이가 1 이상, 100이하인 스트링입니다.
입출력 예
sreturn
abcdec
qwerwe

제가 풀은  답안입니다

class Solution {

  public String solution(String s) {

      int dd = s.length();

      //System.out.println(s);

      String answer = "";

      if((dd%2) == 0)

      {

          double sd ;

          dd =  (int)(dd * 0.5);

          System.out.println(dd);

          answer =  s.substring(dd-1,dd+1);

          System.out.println("짝수");

          

      }

      else

      {

          double sd = (dd * 0.5) +0.5;

            dd = (int)sd;

            dd = dd-1;

          ///dd =  (int)(dd * 0.5)+(int)0.5;

          //System.out.println(dd-1);

          answer =  s.substring(dd,dd+1);

         System.out.println("홀수");

      }

      

      

      return answer;

  }

}

테스트 1 통과 (1.29ms, 49.8MB)
테스트 2 통과 (1.39ms, 49.9MB)
테스트 3 통과 (1.38ms, 48.3MB)
테스트 4 통과 (1.29ms, 50.1MB)
테스트 5 통과 (1.52ms, 49.7MB)
테스트 6 통과 (1.32ms, 48.6MB)
테스트 7 통과 (1.42ms, 48.3MB)
테스트 8 통과 (1.48ms, 50.2MB)
테스트 9 통과 (1.36ms, 50.4MB)
테스트 10 통과 (1.32ms, 47.9MB)
테스트 11 통과 (1.28ms, 48.5MB)
테스트 12 통과 (3.11ms, 50MB)
테스트 13 통과 (1.80ms, 47.8MB)
테스트 14 통과 (1.48ms, 49.9MB)
테스트 15 통과 (1.53ms, 48.3MB)
테스트 16 통과 (1.42ms, 48.4MB)


위 스샷 결과물입니다 한번도 실패안했네요 ㅎ


아래는 다른분이 하신건데 제가 너무 못한거같네요 ㅠ

class StringExercise{
    String getMiddle(String word){

        return word.substring((word.length()-1) / 2, word.length()/2 + 1);    
    }
    // 아래는 테스트로 출력해 보기 위한 코드입니다.
    public static void  main(String[] args){
        StringExercise se = new StringExercise();
        System.out.println(se.getMiddle("power"));
    } 

}


반응형
반응형

JAVA 형변환 종류들입니다

int to String



String to int



double to String



long to String



float to String



String to double



String to long



String to float



decimal to binary



decimal to hexadecimal




hexadecimal(String) to int



ASCII Code to String



Integer to ASCII Code



Integer to boolean



boolean to Integer



출처 : http://theeye.pe.kr/archives/457

반응형
반응형
문제 설명 입니다

수많은 마라톤 선수들이 마라톤에 참여하였습니다. 단 한 명의 선수를 제외하고는 모든 선수가 마라톤을 완주하였습니다.

마라톤에 참여한 선수들의 이름이 담긴 배열 participant와 완주한 선수들의 이름이 담긴 배열 completion이 주어질 때, 완주하지 못한 선수의 이름을 return 하도록 solution 함수를 작성해주세요.

제한사항
  • 마라톤 경기에 참여한 선수의 수는 1명 이상 100,000명 이하입니다.
  • completion의 길이는 participant의 길이보다 1 작습니다.
  • 참가자의 이름은 1개 이상 20개 이하의 알파벳 소문자로 이루어져 있습니다.
  • 참가자 중에는 동명이인이 있을 수 있습니다.
입출력 예
participantcompletionreturn
[leokikieden][edenkiki]leo
[marinajosipanikolavinkofilipa][josipafilipamarinanikola]vinko
[mislavstankomislavana][stankoanamislav]mislav
입출력 예 설명

예제 #1
leo는 참여자 명단에는 있지만, 완주자 명단에는 없기 때문에 완주하지 못했습니다.

예제 #2
vinko는 참여자 명단에는 있지만, 완주자 명단에는 없기 때문에 완주하지 못했습니다.

예제 #3
mislav는 참여자 명단에는 두 명이 있지만, 완주자 명단에는 한 명밖에 없기 때문에 한명은 완주하지 못했습니다.

출처 https://programmers.co.kr/

제가푼것입니다


class Solution {

    public String solution(String[] participant, String[] completion) {

        String answer = "";

int cj = 0;

   for ( int j = 0; j < participant.length; j++)

   { 

        int check = 0;

        //참여자내에 중복체크

        for(int a = 0; a <participant.length; a++)

        {

            if(participant[j].equals(participant[a]))

            {

                check = check+1;

            }

        }

       //중복값 찾아서 trrr에넣기

        String trrr = "";

        if(1 < check)

        {

            trrr = participant[j];    

            System.out.println("중복값:" + trrr);

        }

       if(!trrr.equals(""))

       {

           cj = cj+1;

       }

        int OX = 0;

       for (int i = 0; i < completion.length  ; i++)

       {     

            //if(!participant[j].equals(completion[i]))

           //if(0 == participant[j].compareTo(completion[i]))

           //찾아서 있으면 true

            if(participant[j].contains(completion[i]))

            {

               OX = OX+1;

            }

         

       }

     

        if(1 < cj && OX == 1)

        {

            return answer = participant[j];

        }

       //찾고없어서 OX가 0이면 미완주선수 출력

        if(OX == 0)

        {

            return answer = participant[j];

        }


    }

        return answer = "End";

    }



}



결과값은 이렇게 나옵니다

테스트 1
입력값 ["leo", "kiki", "eden"], ["eden", "kiki"]
기댓값 "leo"
실행 결과 테스트를 통과하였습니다.
테스트 2
입력값 ["marina", "josipa", "nikola", "vinko", "filipa"], ["josipa", "filipa", "marina", "nikola"]
기댓값 "vinko"
실행 결과 테스트를 통과하였습니다.
테스트 3
입력값 ["mislav", "stanko", "mislav", "ana"], ["stanko", "ana", "mislav"]
기댓값 "mislav"
실행 결과 테스트를 통과하였습니다.
출력 중복값:mislav
중복값:mislav
테스트 4
입력값 ["xxx", "bbb", "ggg", "ddd", "aaa"], ["aaa", "bbb", "ddd", "ggg"]
기댓값 "xxx"
실행 결과 테스트를 통과하였습니다.
테스트 5
입력값 ["aaa", "bbb", "ccc", "ddd"], ["aaa", "bbb", "ddd"]
기댓값 "ccc"
실행 결과 테스트를 통과하였습니다.


기댓값


실행 결과


5번중 5번 성공인데요

너무 못하는것같네요


채점을하게되면 20점이나오네여 10번중 2번만 성공했따는뜻이죠



아시는분계시면 댓글 부탁드립니다!!

반응형
반응형

Oracle 10g에서는 REGEXP_로 시작하는 함수를 지원합니다. 레귤러 익스프레션 지원이죠. 아래는 그 함수들의 사용방법을 공유합니다.

1. REGEXP_INSTR 함수
- 문법 : REGEXP_INSTR(소스 문자열, Pattern [, 검색 시작 위치 [, 발생 횟수 [, 반환 옵션 [, Match를 시도할 때의 옵션]]]])
- 예제

1
2
3
4
5
6
SELECT REGEXP_INSTR('Regular Expression', 'a') REG_INS
FROM dual;
 
   REG_INS
----------
         6



2. REGEXP_LIKE
- 문법 : REGEXP_LIKE(소스 문자열, Pattern [, Match를 시도할 때의 옵션])
- [[:digit:]] : 숫자인것
- [^[:digit:]] : 숫자가 아닌것
- [[:alpha:]]
- 필듯가 숫자와 문자가 같이 있을 경우 잘 판단해야 함
- 예제

1
2
3
4
5
6
7
8
9
10
SELECT SSN                            
FROM   TEST                           
WHERE  SSN > ' '                      
AND    REGEXP_LIKE(SSN, '[^[:digit:]]');
 
SSN
-------------
******2229149
******2228659
******2223591



3. REGEXP_REPLACE
- REGEXP_REPLACE(소스 문자열, Pattern [, 바꿀 문자열 [, 위치 [, 발생횟수 [Match 파라미터]]]])
- 예제

1
2
3
4
5
6
7
8
9
SELECT REGEXP_REPLACE(SSN, '[0-9]', '*' , 7) REG_REP
FROM(                                               
          SELECT '7901061842210' SSN                
          FROM dual                                 
);   
 
REG_REP
-------------
790106*******



4. REGEXP_SUBSTR
- REGEXP_SUBSTR(소스 문자열, Pattern [, 위치 [, 발생 횟수 [, Match를 시도할 때의 옵션]]])
- 예제

1
2
3
4
5
6
7
8
9
SELECT REGEXP_SUBSTR(EMAIL, '[^@]+') REG_SUB
FROM(                                      
         SELECT 'pepsi@paran.com' EMAIL    
         FROM dual                         
); 
 
REG_S
-----
pepsi


위 내용 출처 : http://happybuk.tistory.com/50


# 문자 클래스
 [:digit:]    : 숫자
 [:punct:]  : 특수문자
 [:alpha:]  : 알파벳

기타, 정규표현식 단축 문자, 문자 클래스


# 예제

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
/*
-- # 문자 클래스이용 숫자, 특수문자 제거
*/
SELECT REGEXP_REPLACE(
                '!23$56^*[]<>()~`'' 숫자, .특수문자 테스트_Test '
                , '[[:digit:]|[:punct:]]'
                , '') AS RESULT
     FROM DUAL
;   
RESULT
--------------------------------------------------------------------------------
 숫자 특수문자 테스트Test
 
 
--------------------------------------------------------------------------------
/*
    -- TOPIC 컬럼에 한글이 1~10개 사이인 것을 조회
    -- 옵션
    $ = {}$ 과 사용시에 절대값인듯...?
*/
 
SELECT BULLETIN_SEQ
        , TOPIC
        , CREATE_ID
    FROM BULLETIN
    WHERE REGEXP_LIKE(TOPIC, '^[가-힝]{1,10}$')
    ORDER BY 1
;
 
--------------------------------------------------------------------------------
/*
    -- 한글 문자인 것만 조회
*/ 
SELECT BULLETIN_SEQ
        , TOPIC
        , CREATE_ID
    FROM BULLETIN
    WHERE REGEXP_LIKE(TOPIC, '^[가-힝]')
    ORDER BY 1
;
 
--------------------------------------------------------------------------------
/*
   -- # TOPIC 컬럼에 영어 대소문자가 3~10개 사이 또는 한글이 2~3개 사이인 것을 조회
*/ 
SELECT BULLETIN_SEQ
        , TOPIC
        , CREATE_ID
    FROM BULLETIN
    WHERE REGEXP_LIKE(TOPIC, '^[a-zA-Z]{3,10}|[가-힝]{2,3}$')
;   
 
--------------------------------------------------------------------------------
SELECT pw
  FROM t
 WHERE REGEXP_LIKE(pw, '[a-z]') -- 소문자 포함 여부
   AND REGEXP_LIKE(pw, '[A-Z]') -- 대문자 포함 여부
   AND REGEXP_LIKE(pw, '[0-9]') -- 숫자 포함 여부
   AND REGEXP_LIKE(pw, '[[:punct:]]') -- 특수문자 포함 여부
   AND LENGTH(pw) >= 8 -- 8자리 이상
;
 
--------------------------------------------------------------------------------
/*
   -- # 컬럼 check 제약 조건
*/
-- 10자 이하의 한글만 입력 받고자 할때.
ALTER TABLE BULLETIN
       ADD CONSTRAINT BULLETIN_USER_NAME_KO_CHK
       CHECK (REGEXP_LIKE(USER_NAME_KO, '^[가-힝]{1,10}$'))
;

출처 ; http://develop.sunshiny.co.kr/840

반응형

+ Recent posts