MessageLogging নীতি

আপনি Apigee Edge ডকুমেন্টেশন দেখছেন।
Apigee X ডকুমেন্টেশন দেখুন। তথ্য

কী

API রানটাইম এনভায়রনমেন্টে সমস্যা ট্র্যাক করার সবচেয়ে ভাল উপায় হল মেসেজ লগ করা। কাস্টম মেসেজ লগ করার জন্য আপনার API-তে MessageLogging নীতি অ্যাটাচ ও কনফিগার করতে পারবেন। এগুলি লোকাল ডিস্ক (শুধুমাত্র প্রাইভেট ক্লাউডের জন্য Edge) বা syslog-এ লগ করা হয়।

নমুনা

<MessageLogging name="LogToSyslog">
  <Syslog>
    <Message>[3f509b58 tag="{organization.name}.{apiproxy.name}.{environment.name}"] Weather request for WOEID {request.queryparam.w}.</Message>
    <Host>logs-01.loggly.com</Host>
    <Port>514</Port>
    <Protocol>TCP</Protocol>
    <FormatMessage>true</FormatMessage>
    <DateFormat>yyyy-MM-dd'T'HH:mm:ss.SSSZ</DateFormat>
  </Syslog>
  <logLevel>ALERT</logLevel>
</MessageLogging>

<MessageLogging name="LogToSyslog">
  <Syslog>
    <Message>[3f509b58 tag="{organization.name}.{apiproxy.name}.{environment.name}"] Weather request for WOEID {request.queryparam.w}.</Message>
    <Host>logs-01.loggly.com</Host>
    <Port>6514</Port>
    <Protocol>TCP</Protocol>
    <FormatMessage>true</FormatMessage>
    <SSLInfo>
        <Enabled>true</Enabled>
    </SSLInfo>
    <DateFormat>yyMMdd-HH:mm:ss.SSS</DateFormat>
  </Syslog>
  <logLevel>WARN</logLevel>
</MessageLogging>

<MessageLogging name="LogPolicy">
  <File>
    <Message>This is a test message. Message id : {request.header.messageid}</Message>
      <FileName>test.log</FileName>
      <FileRotationOptions rotateFileOnStartup="true">
        <FileRotationType>SIZE</FileRotationType>
        <MaxFileSizeInMB>10</MaxFileSizeInMB>
        <MaxFilesToRetain>10</MaxFilesToRetain>
      </FileRotationOptions>
  </File>
  <logLevel>ERROR</logLevel>
</MessageLogging>

<MessageLogging name="LogPolicy">
  <File>
    <Message>This is a test message. Message id : {request.header.messageid}</Message>
    <FileName>test.log</FileName>
    <FileRotationOptions rotateFileOnStartup="true">
      <FileRotationType>TIME</FileRotationType>
      <RotationFrequency unit="minute">10</RotationFrequency>
      <MaxFilesToRetain>10</MaxFilesToRetain>
    </FileRotationOptions>
  </File>
  <logLevel>ERROR</logLevel>
</MessageLogging>

<MessageLogging name="LogPolicy">
  <File>
    <Message>This is a test message. Message id : {request.header.messageid}</Message>
    <FileName>test.log</FileName>
    <FileRotationOptions rotateFileOnStartup="true">
      <FileRotationType>TIME_SIZE</FileRotationType>
      <MaxFileSizeInMB>10</MaxFileSizeInMB>
      <MaxFilesToRetain>10</MaxFilesToRetain>
      <RotationFrequency unit="minute">10</RotationFrequency>
    </FileRotationOptions>
  </File>
  <logLevel>ERROR</logLevel>
</MessageLogging>

<MessageLogging name="LogPolicy">
  <File>
  ....
  ....
  </File>
  <BufferMessage>true</BufferMessage>
</MessageLogging>

এলিমেন্ট রেফারেন্স

MessageLogging নীতি কনফিগার করতে নিম্নলিখিত এলিমেন্ট ব্যবহার করুন।

<FileName>/opt/apigee/var/log/messages/mylog.log</FileName>

<FileName>mylog.log</FileName>

<SSLInfo>
    <Enabled>true</Enabled>
</SSLInfo>

স্কিমা

ব্যবহার সংক্রান্ত নোট

API প্রক্সি ফ্লোতে MessageLogging নীতি অ্যাটাচ করার সময়, এটিকে ProxyEndpoint রেসপন্সে, PostClientFlow নামের বিশেষ ফ্লোতে রাখার কথা বিবেচনা করুন। অনুরোধকারী ক্লায়েন্টকে উত্তর পাঠানোর পরে PostClientFlow এক্সিকিউট হয়, যা নিশ্চিত করে যে লগিংয়ের জন্য সব মেট্রিক উপলভ্য আছে। PostClientFlow ব্যবহার করা সংক্রান্ত বিবরণের জন্য, API প্রক্সি কনফিগারেশন রেফারেন্স দেখুন।

PostClientFlow দুটি উপায়ে বিশেষ:

1. এটি শুধুমাত্র উত্তরের ফ্লোর অংশ হিসেবেই এক্সিকিউট করা হয়।
2. প্রক্সি সমস্যার অবস্থায় চলে যাওয়ার পরে এটিই একমাত্র ফ্লো যা এক্সিকিউট করা হয়।

প্রক্সি সফল হোক বা না হোক, এটি এক্সিকিউট করা হয়। তাই, আপনি PostClientFlow-তে MessageLogging নীতি প্রয়োগ করতে পারেন এবং নিশ্চিত থাকতে পারেন যে এটি সবসময় এক্সিকিউট হবে।

নিচের Trace ছবিতে দেখা যাচ্ছে যে DefaultFaultRule এক্সিকিউট হওয়ার পরে PostClientFlow-এর অংশ হিসেবে MessageLogging নীতি এক্সিকিউট হচ্ছে:

এই উদাহরণে, Verify API Key নীতিটি একটি ভুল কী থাকার কারণে সমস্যার কারণ হয়েছে।

নিচে ProxyEndpoint-এর সংজ্ঞা দেখানো হল, এতে PostClientFlow অন্তর্ভুক্ত থাকে:

<ProxyEndpoint name="default">
  ...
  <PostClientFlow>
    <Response>
      <Step>
        <Name>Message-Logging-1</Name>
      </Step>
    </Response>
  </PostClientFlow>
  ...
</ProxyEndpoint>

Edge লগ মেসেজকে সাধারণ টেক্সট হিসেবে দেখায় এবং আপনি লগিং কনফিগার করে ভেরিয়েবল অন্তর্ভুক্ত করতে পারেন, যেমন অনুরোধ বা উত্তর পাওয়ার তারিখ ও সময়, অনুরোধে ব্যবহারকারীর পরিচয়, যে সোর্স IP অ্যাড্রেস থেকে অনুরোধ পাঠানো হয়েছে ইত্যাদি। Edge লগ মেসেজ অ্যাসিঙ্ক্রোনাসভাবে, অর্থাৎ কলআউট ব্লক করার কারণে হতে পারে এমন কোনও লেটেন্সি আপনার API-তে প্রবেশ করানো হয় না।

MessageLogging নীতি, লগ করা মেসেজকে মেমরিতে একটি বাফারে লেখে। মেসেজ লগার বাফার থেকে মেসেজ পড়ে এবং তারপরে আপনার কনফিগার করা ডেস্টিনেশনে লেখে। প্রতিটি ডেস্টিনেশনের নিজস্ব বাফার আছে।

নতুন syslog এন্ডপয়েন্টে পাঠানো লগ মেসেজ পেতে ব্যবহারকারীদের দেরি হতে পারে। এটি নীতিতে উদ্দেশ্যপ্রণোদিত "কোল্ড স্টার্ট" আচরণের কারণে হয়। নতুন লগিং ডেস্টিনেশন কনফিগার করা হলে, আগে থেকে থাকা লগিং ডেস্টিনেশন ছাড়াও, মেসেজ প্রসেসর (MP) প্রথমে ১০০০টি লগ মেসেজ ইন-মেমরি কোয়েরিতে রাখতে পারে, তারপরে সেগুলি পাঠাতে পারে। এর ফলে কম ট্রাফিক থাকা পরিবেশে প্রাথমিক দেরি হতে পারে। এই প্রাথমিক বিলম্বটি সাধারণ প্রোডাকশন ওয়ার্কলোডের জন্য অ-পর্যবেক্ষণযোগ্য, কারণ মেসেজ দ্রুত জমা হয়ে যায়। থ্রেশহোল্ডে পৌঁছে গেলে, লগ মেসেজ প্রত্যাশিতভাবে ডেলিভার করা হবে। মেসেজ প্রসেসর গ্রেসফুল রিস্টার্ট করলে, সারিতে থাকা মেসেজ ডেলিভার করার প্রসেসও ট্রিগার হতে পারে, কারণ সেগুলি সারি থেকে বেরিয়ে আসে।

বাফারে লেখার রেট, পড়ার রেটের চেয়ে বেশি হয়ে গেলে, বাফার ওভারফ্লো হয়ে যায় এবং লগিং কাজ করে না। এটি ঘটলে, আপনি লগ ফাইলে নিম্নলিখিত বিষয়গুলি সহ একটি মেসেজ দেখতে পেতে পারেন:

Log message size exceeded. Increase the max message size setting

আপনি Edge for Private Cloud 4.15.07 ও এর আগের ভার্সনে এই সমস্যার সম্মুখীন হলে, message-logging.properties ফাইলটি খুঁজে বের করুন এবং এই সমাধানটি ব্যবহার করুন:

message-logging.properties ফাইলে max.log.message.size.in.kb প্রপার্টি (ডিফল্ট ভ্যালু = ১২৮ কেবি) বাড়ান।

Edge for Private Cloud 4.16.01 ও তার পরবর্তী যেকোনও ভার্সনের জন্য, /opt/apigee/customer/application/message-processor.properties ফাইলে conf/message-logging.properties+max. log.message.size.in.kb প্রপার্টি সেট করুন এবং মেসেজ প্রসেসর রিস্টার্ট করুন। মনে রাখবেন, এই প্রপার্টি সাধারণত ডিফল্ট হিসেবে কমেন্ট করা থাকে।

মনে রাখবেন: Edge-এ উত্তর মেসেজ ভেরিয়েবল ত্রুটি ফ্লো থেকে উপলভ্য নয়। এছাড়াও, পূর্ববর্তী ফ্লোটি যদি Error Flow হয়, তাহলে PostClientFlow-তে এইসব ভেরিয়েবল উপলভ্য থাকে না। আপনি যদি PostClientFlow থেকে উত্তর সংক্রান্ত তথ্য লগ করতে চান, তাহলে message অবজেক্ট ব্যবহার করুন। কোনও সমস্যা হোক বা না হোক, আপনি এই অবজেক্ট ব্যবহার করে উত্তর থেকে হেডার ও অন্যান্য তথ্য পেতে পারেন। আরও তথ্য ও উদাহরণের জন্য মেসেজ ভেরিয়েবল দেখুন।

প্রাইভেট ক্লাউডের জন্য Edge-এ লগ মেসেজ টাইমস্ট্যাম্প কন্ট্রোল করা

ডিফল্ট হিসেবে, সব লগ মেসেজের টাইমস্ট্যাম্পের ফর্ম্যাট হল:

yyyy-MM-dd'T'HH:mm:ss.SSSZ

এই সিস্টেম-ব্যাপী ডিফল্টকে syslog ডেস্টিনেশনের জন্য DateFormat এলিমেন্ট ব্যবহার করে ওভাররাইড করা যেতে পারে। Java-এর SimpleDateFormat class-এর জন্য ডকুমেন্টেশনে এই টেমপ্লেটের আচরণ বর্ণনা করা আছে। ওই সংজ্ঞা অনুযায়ী, yyyy-এর পরিবর্তে ৪-সংখ্যার বছর, MM-এর পরিবর্তে ২-সংখ্যার মাসের নম্বর ইত্যাদি বসবে। উপরের ফর্ম্যাটটি এই ধরনের একটি স্ট্রিং তৈরি করতে পারে:

2022-09-28T22:38:11.721+0000

সেই ফর্ম্যাট কন্ট্রোল করতে, Edge Message Processor-এ conf_system_apigee.syslogger.dateFormat প্রপার্টি ব্যবহার করতে পারেন। যেমন, মেসেজের ফর্ম্যাট পরিবর্তন করে:

yy/MM/dd'T'HH:mm:ss.SSSZ

..ড্যাশকে স্ল্যাশ দিয়ে পরিবর্তন করে এবং বছরকে ২-ডিজিটের করে, এই ফর্ম্যাটে টাইমস্ট্যাম্প রেকর্ড করে:

22/09/28T22:38:11.721+0000

ফর্ম্যাট পরিবর্তন করতে:

1. কোনও এডিটরে message-processor.properties ফাইলটি খুলুন। ফাইলটি না থাকলে, এটি তৈরি করুন:
   > vi /opt/apigee/customer/application/message-processor.properties
2. ইচ্ছেমতো প্রপার্টি সেট করুন:
   conf_system_apigee.syslogger.dateFormat=yy/MM/dd'T'HH:mm:ss.SSSZ
3. আপনার করা পরিবর্তন সেভ করুন।
4. 'apigee' ব্যবহারকারীর মালিকানাধীন প্রপার্টি ফাইল আছে কিনা তা নিশ্চিত করুন:
   > chown apigee:apigee /opt/apigee/customer/application/message-processor.properties
5. Edge Message Processor রিস্টার্ট করুন:
   > /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

প্রাইভেট ক্লাউডের জন্য Edge-এ লগ ফাইলের লোকেশন

প্রাইভেট ক্লাউডের জন্য Edge 4.16.01 ও তার পরবর্তী যেকোনও ভার্সন

ডিফল্ট হিসেবে, প্রাইভেট ক্লাউড মেসেজ লগ মেসেজ প্রসেসর নোডের নিম্নলিখিত ডিরেক্টরিতে থাকে:

/opt/apigee/var/log/edge-message-processor/messagelogging/org_name/environment/api_proxy_name/revision/logging_policy_name/

আপনি মেসেজ প্রসেসরের message-logging.properties ফাইলে প্রপার্টি পরিবর্তন করে ডিফল্ট লগ লোকেশন পরিবর্তন করতে পারবেন:

• bin_setenv_data_dir - লগ ফাইল স্টোরেজের জন্য রুট পাথ সেট করে। যেমন, bin_setenv_data_dir=/opt/apigee/var/log
• conf_message-logging_log.root.dir - আপনি এটি conf/message-logging.properties+log.root.dir=custom/folder/, the path is appended to the bin_setenv_data_dir location.
  -এর মতো
  আপেক্ষিক পাথে সেট করলে, আপনি এটি conf/message-logging.properties+log.root.dir=/opt/apigee/var/log/messages-এর মতো পরিপূর্ণ পাথে সেট করলে, মেসেজ লগ /opt/apigee/var/log/messages/messagelog/-এ স্টোর করা হবে। bin_setenv_data_dir-এর চেয়ে অ্যাবসোলিউট পাথকে বেশি অগ্রাধিকার দেওয়া হয়।
  
  মনে রাখবেন, আপনাকে conf/message-logging.properties+log.root.dir হিসেবে প্রপার্টির রেফারেন্স দিতে হবে, কারণ এটি ডিফল্ট হিসেবে কমেন্ট করা থাকে। আরও জানতে বর্তমানে কমেন্ট করা টোকেন সেট করা দেখুন।

আপনি যদি ফ্ল্যাট ফাইল স্ট্রাকচারে লগ ফাইল স্টোর করতে চান যাতে সব লগ ফাইল একই ডিরেক্টরিতে রাখা হয়, তাহলে message-logging.properties ফাইলে conf/message-logging.properties+enable.flat.directory.structure-কে true হিসেবে সেট করুন। মেসেজগুলি উপরে উল্লেখ করা প্রপার্টি দ্বারা নির্দিষ্ট করা ডিরেক্টরিতে সেভ করা হয় এবং ফাইলের নামগুলি {org}_{environment}_{api_proxy_name}_{revision}_{logging_policy_name}_{filename}-এর ফর্ম্যাটে থাকে।

এইসব প্রপার্টি সেট করতে:

1. কোনও এডিটরে message-processor.properties ফাইলটি খুলুন। ফাইলটি না থাকলে, এটি তৈরি করুন:
   > vi /opt/apigee/customer/application/message-processor.properties
2. ইচ্ছেমতো প্রপার্টি সেট করুন:
   conf/message-logging.properties+log.root.dir=/opt/apigee/var/log/messages
3. আপনার করা পরিবর্তন সেভ করুন।
4. 'apigee' ব্যবহারকারীর মালিকানাধীন প্রপার্টি ফাইল আছে কিনা তা নিশ্চিত করুন:
   > chown apigee:apigee /opt/apigee/customer/application/message-processor.properties
5. Edge কম্পোনেন্ট রিস্টার্ট করুন:
   > /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

Edge for Private Cloud 4.15.07 ও তার আগের যেকোনও ভার্সন

সাধারণত, মেসেজ লগ মেসেজ প্রসেসরের নিম্নলিখিত লোকেশনে থাকে:

/opt/apigee4/var/log/apigee/message-processor/messagelog/{org}/{environment}/{api_proxy_name}/{revision}/{logging_policy_name}/

আপনি মেসেজ প্রসেসরের message-logging.properties ফাইলে নিম্নলিখিত প্রপার্টি পরিবর্তন করে ডিফল্ট লগ লোকেশন পরিবর্তন করতে পারবেন:

• data.dir - লগ ফাইল স্টোরেজের জন্য রুট পাথ সেট করে। যেমন, data.dir=/opt/apigee4/var/log
• log.root.dir - আপনি যদি এটি কোনও আপেক্ষিক পাথে সেট করেন, যেমন log.root.dir=custom/folder/, তাহলে পাথটি data.dir লোকেশনে যোগ করা হয়।

যেমন, দুটি প্রপার্টির কম্বিনেশন লগিং ডিরেক্টরিকে এখানে সেট করবে: /opt/apigee4/var/log/custom/folder/messagelog/ (মনে রাখবেন যে /messagelog অটোমেটিক যোগ করা হয়)।

আপনি এটি log.root.dir=/opt/apigee4/var/log/messages-এর মতো একটি অ্যাবসলিউট পাথে সেট করলে, মেসেজ লগ /opt/apigee4/var/log/messages/messagelog/ ডিরেক্টরিতে সেভ করা হবে। log.root.dir-এ সম্পূর্ণ পাথ data.dir-এর চেয়ে বেশি অগ্রাধিকার পায়।

আপনি যদি ফ্ল্যাট ফাইল স্ট্রাকচারে লগ ফাইল স্টোর করতে চান যাতে সব লগ ফাইল একই ডিরেক্টরিতে রাখা হয়, তাহলে মেসেজ প্রসেসরগুলিতে message-logging.properties ফাইলে enable.flat.directory.structure প্রপার্টি true হিসেবে সেট করুন। উপরে উল্লেখ করা প্রপার্টি দ্বারা নির্দিষ্ট করা ডিরেক্টরিতে মেসেজ স্টোর করা হয় এবং ফাইলের নাম {org}_{environment}_{api_proxy_name}_{revision}_{logging_policy_name}_{filename} ফর্ম নেয়।

মেসেজ টেমপ্লেটে ভেরিয়েবেলের ডিফল্ট ভ্যালু

মেসেজ টেমপ্লেটে প্রতিটি ভেরিয়েবলের জন্য আলাদাভাবে ডিফল্ট ভ্যালু নির্দিষ্ট করা যেতে পারে। যেমন, ভেরিয়েবল request.header.id সমাধান করা না গেলে, এর ভ্যালু unknown ভ্যালু দিয়ে পরিবর্তন করা হয়।

<Message>This is a test message. id = {request.header.id:unknown}</Message>

Message এলিমেন্টে defaultVariableValue অ্যাট্রিবিউট সেট করে সমাধান না হওয়া সব ভেরিয়েবলের জন্য একটি সাধারণ ডিফল্ট ভ্যালু নির্দিষ্ট করা যেতে পারে:

<Message defaultVariableValue="unknown">This is a test message. id = {request.header.id}</Message>

থার্ড-পার্টি লগ ম্যানেজমেন্ট পরিষেবা কনফিগার করা

MessageLogging নীতি আপনাকে Splunk, Sumo Logic এবং Loggly-এর মতো থার্ড-পার্টি লগ ম্যানেজমেন্ট পরিষেবাতে syslog মেসেজ পাঠাতে দেয়। আপনি যদি সেইসব পরিষেবার কোনও একটিতে syslog পাঠাতে চান, তাহলে পরিষেবার হোস্ট, পোর্ট ও প্রোটোকল কনফিগার করতে সেই পরিষেবার ডকুমেন্টেশন দেখুন, তারপর এই নীতিতে সেই অনুযায়ী Syslog এলিমেন্ট সেট করুন।

থার্ড-পার্টি লগ ম্যানেজমেন্ট কনফিগারেশনের জন্য নিম্নলিখিত ডকুমেন্টেশন দেখুন:

• Splunk (প্রোডাক্ট ভার্সন বেছে নিন)
  এছাড়াও, এই Apigee কমিউনিটি পোস্ট দেখুন: Splunk-এ লগ মেসেজ
• Sumo Logic
  • এছাড়াও, এই Apigee কমিউনিটি পোস্ট দেখুন: Sumo Logic-এর মাধ্যমে লগিং সেট-আপ করা, কোন হোস্ট ব্যবহার করব?
  • লগিং পরিষেবা হিসেবে Sumo Logic ব্যবহার করে সম্পূর্ণ উদাহরণের জন্য, নিম্নলিখিত Apigee কমিউনিটি পোস্ট দেখুন। Sumo Logic HTTP সোর্স কালেক্টরে HTTP POST অনুরোধ করার জন্য এই সমাধানে একটি জাভাস্ক্রিপ্ট নীতি ব্যবহার করা হয়: জাভাস্ক্রিপ্ট ও HTTP ব্যবহার করে Sumo Logic-এ লগ করা
• Loggly
  Loggly ব্যবহার করার সময়, <Syslog> এলিমেন্টের চাইল্ড হিসেবে নীতিতে <FormatMessage>true</FormatMessage> প্রয়োজন।
  এছাড়াও, Loggly-তে মেসেজ লগ করা সম্পর্কে আরও তথ্যের জন্য এই Apigee কমিউনিটি পোস্ট দেখুন: Loggly-তে মেসেজ লগ করা

সমস্যার রেফারেন্স

এই নীতি কোনও সমস্যার কারণে ট্রিগার হলে, Edge-এর মাধ্যমে ফেরত আসা ফল্ট কোড ও সমস্যার মেসেজ এবং সেট করা ফল্ট ভেরিয়েবল সম্পর্কে এই বিভাগে বর্ণনা করা হয়েছে। সমস্যা সমাধানের জন্য আপনি যদি ফল্ট রুল ডেভেলপ করেন, তাহলে এই তথ্য জানা আপনার জন্য গুরুত্বপূর্ণ। আরও জানতে, নীতি সংক্রান্ত সমস্যা সম্পর্কে আপনার যা জানা প্রয়োজন এবং ত্রুটি মোকাবেলা করা দেখুন।

রানটাইম সমস্যা

নীতি এক্সিকিউট করার সময় এই সমস্যা হতে পারে।

ডিপ্লয়মেন্ট সংক্রান্ত সমস্যা

এই নীতি থাকা কোনও প্রক্সি আপনি প্রয়োগ করলে, এই সমস্যা হতে পারে।

ফল্ট ভেরিয়েবল

রানটাইম এরর হলে এই ভেরিয়েবল সেট করা হয়। আরও তথ্যের জন্য, নীতি সংক্রান্ত সমস্যার ব্যাপারে আপনার কী জানা প্রয়োজন দেখুন।

সমস্যার উত্তরের উদাহরণ

{  
   "fault":{  
      "detail":{  
         "errorcode":"steps.messagelogging.StepDefinitionExecutionFailed"
      },
      "faultstring":"Execution failed"
   }
}

ভুল নিয়মের উদাহরণ

<FaultRule name="MessageLogging">
    <Step>
        <Name>ML-LogMessages</Name>
        <Condition>(fault.name Matches "StepDefinitionExecutionFailed") </Condition>
    </Step>
    <Condition>(messagelogging.ML-LogMessages.failed = true) </Condition>
</FaultRule>

ফ্লো ভেরিয়েবল

নীতি লঙ্ঘন হলে নিম্নলিখিত ভেরিয়েবলগুলি পূরণ করা হয়।

• messagelogging.failed
• messagelogging.{stepdefinition-name}.failed

সম্পর্কিত বিষয়

• Edge-এর মাধ্যমে এক্সপোজ করা ভেরিয়েবল: ভেরিয়েবল রেফারেন্স