Merge pull request #29553 from keszybz/analyze-cat-config-tldr

analyze/cat-config: add switch to print only "interesting" parts of conffiles

tpm2-util: add line breaks in compound struct init, like we usually do

Merge pull request #29687 from yuwata/network-state-file-sync

network: several fixlets for state file

execute: log about failures when opening a terminal to reset

mount-util: add one more const

update TODO

Merge pull request #29689 from mrc0mmand/test-shutdown

test: shorten service stop/abort timeouts for TEST-69-SHUTDOWN

Merge pull request #29677 from keszybz/rewinddir-alternative-fix

Rewind dir fd before using it for cleanup

sleep-config: make hybrid sleep always use 'suspend' disk mode

If user requests hybrid sleep, we should always use 'suspend'
disk mode. If that's not supported, let's correctly report it
so they can choose plain hibernation instead. HybridSleepMode=
serves no purpose in this case and should be removed.

Addresses https://github.com/systemd/systemd/pull/29681#discussion_r1369812785

shared/pretty-print: skip redundant section headers with --tldr

If the same section appears consecutively in a given file, subsequent
occurenced are not printed.

[Slice]
Foo=bar
[Slice]   # this is not printed
Bar=bar

Requested in
https://github.com/systemd/systemd/pull/29553#pullrequestreview-1677310352.

binfmt: add --tldr

sysctl: add --tldr

sysusers: add --tldr

tmpfiles: add --tldr

This is like --cat-config, but omits the comments and empty lines.
The name is incoungrous with --cat-config, but I don't see a nice way to
call it that wouldn't be annoyingly long.

pager_open() is moved to cat_config() to remove some lines from run().

shared/pretty-print: add highlighting

test-network: wait for the state file being updated

Also, sync state files before read.

Addresses the first issue in #29678.

analyze/cat-config: add switch to print only "interesting" parts of config files

When looking at configuration, often a user wants to suppress the comments and
just look at the parts that actually configure something, roughly equivalent to
  systemd-analyze cat-config … | rg -v '^(#|;|$)
This switch implements this natively, skipping lines that start with a comment
character or only contain whitespace.

For formats that have section headers, section headers are skipped, if only
followed by stuff that would be skipped. (The last section header is printed
when we're about to print some actual output.)

Note that the caller doesn't know if the format has headers or not. We do format
type detection in pretty-print.c. So the caller only specifies tldr=true|false, and
conf_files_cat() figures out if the format has headers and whether those should
be handled specially.

The comments that show the file name are always printed, even if all of the file
is suppressed.

This is a partial answer to the discussions in
https://github.com/systemd/systemd/pull/28919,
https://github.com/systemd/systemd/pull/29248. If the default config is shown in
config files, the user can conveniently use '--tldr' to show the relevant parts.

shared/copy: rewind dir fd before using it for cleanup

This seems to be the only place where rm_rf_children() is called with a
possibly used fd, which is then passed through to rm_rf_children_impl().

This also fixes #29606.
(Tested on Fedora rawhide with kernel 6.5.6-300.fc39.x86_64.)

Merge pull request #29601 from yuwata/mmap-check-overflow

mmap: check offset and size more carefully

test: shorten service stop/abort timeouts for TEST-69-SHUTDOWN

In several Ubuntu CI jobs I noticed timeouts in TEST-69, which are
apparently caused by a very stubborn bash/login process:

$ journalctl -o short-monotonic --no-hostname --file artifacts/TEST-69-SHUTDOWN.journal
[ 2011.698430] systemd[1]: shutdown.target: starting held back, waiting for: veritysetup.target
[ 2011.698473] systemd[1]: sysinit.target: stopping held back, waiting for: user@0.service
[ 2045.884982] systemd[1]: systemd-oomd.service: Got notification message from PID 54 (WATCHDOG=1)
[ 2071.576424] systemd[1]: Received SIGCHLD from PID 65 (bash).
[ 2071.576941] systemd[1]: Child 65 (bash) died (code=killed, status=1/HUP)
[ 2071.577026] systemd[1]: session-13.scope: Child 65 belongs to session-13.scope.
[ 2071.577100] systemd[1]: session-13.scope: cgroup is empty
[ 2071.577249] systemd[1]: session-13.scope: Deactivated successfully.

$ journalctl -o short-monotonic --no-hostname --file artifacts/TEST-69-SHUTDOWN.journal _PID=65
[ 3038.661488] login[65]: ROOT LOGIN  on '/dev/pts/0'

Since, in this case, we really care only about the actual shutdown,
let's shorten the service stop/abort timeouts to let systemd SIGKILL all
remaining processes in the 60s `expect` window.

test: introduce $TEST_SKIP_SHUTDOWN

To get rid of some boilerplate.

Merge pull request #29685 from poettering/cryptenroll-reduce-scope

cryptenroll: two minor simplifications

network: also synchronously update manager state file

network: make link_save() static

network: do not try to save link state file twice on boot

On enumeration, (that is, before manager_start() is called), enumerated
links may already have the dirty flag. In that case, saving the state
file in manager_start() should clear the flag.

Merge pull request #29681 from YHNdnzj/sleep-round-three

sleep-config: cleanup round three

Merge pull request #29679 from keszybz/drop-iovec-null

Drop IOVEC_NULL

basic/iovec-util: use FOREACH_ARRAY in one more place

basic/iovec-util: drop TAKE_IOVEC

As suggested in
https://github.com/systemd/systemd/pull/29679#discussion_r1368678932.

cryptenroll: merge two if checks with same condition

This removes a duplicate condition check by adding a common surrounding
if block.

This also change a confusing if check: "(X && Y) && Z" to simply "X && Y && Z"

cryptenroll: reduce scope of two global variables

No change in behaviour

systemctl: fallback if logind doesn't support new flag

Follow-up for 665a3d6d15c09428

Merge pull request #29633 from yuwata/dhcp-ipv6-only-mode-follow-ups

dhcp: several follow-ups for IPv6 only mode

sleep-config: check sleep mode only when hibernation

With the previous change, this should only be used when
doing hibernation.

sleep-config: remove HibernateState= & HybridSleepState=, restrict
SuspendState= not to include "disk"

I don't know why these existed in the first place, but as I
justified in the comments, it's simply not sensible to allow
HibernateState= or HybridSleepState= to take values other than
'disk'. So let's just remove those options. Also, SuspendState=
should not contain 'disk'.

hibernate-util: add missing assertion

hibernate-resume: add missing static for arg_info

timedatectl: add missing commands to the help output

Follow up to 159a855b34c35484c28cf4b0178f93bc16447fac

basic/iovec-util: drop IOVEC_NULL

The macro isn't very useful, we can just use the direct setting to increase
readability.

basic/iovec-util: always call the iovec "iovec"

We were using "i", "iov", and "iovec" in variuos places. Let's be
consistent.

Revert "rm-rf: Make sure we rewinddir() before readdir()"

This reverts commit 6bbb893b90e2dcb05fb310ba4608f9c9dc587845.

Let's try a different approach where we make sure that all callers only pass in
a fd that is "clean", i.e. at offset 0. The majority of callers of this function
(both direct and indirect) pass a freshly-opened fd, so the rewind call is not
needed.

Merge pull request #29674 from poettering/unexport-marshal-blob

tpm2-util: make tpm2_marshal_blob()/tpm2_unmarshal_blob() static

glyph-util: add 'full block' glyph

pcrextend: split out word to measure code into shared helper file

Let's split out the logic that actually generates the word to measure to
PCRs into a new helper file pcrextend-util.[ch].

This we can later reuse to calculate PCR measurement predictions ahead
of time.

efi-api: export UUID converter calls

(while exporting, do some minor simplifications)

tpm2-util: make tpm2_read_public() static, as we use it only internally in tpm2-util.c

tpm2-util: make tpm2_marshal_blob()/tpm2_unmarshal_blob() static

These are not used outside of tpm2-util.[ch], and the way they merge
public/private key pair into one blob is kinda specific to our
implementation, hence better should be hidden away, and not used for new
code anyway.

creds-utils: fix read_full_file_full call in read_credential_with_decryption

data was passed as a null pointer when an address was expected.
As a result, the assert was always tripped.

docs: correct parenthesis placement in 'man/tmpfiles.d.xml'

Correct the parenthesis placement in 'man/tmpfiles.d.xml' to prevent the
following formatting:

> lock ( shared or exclusive) is

tpm2-util: rename tpm2_calculate_name() → tpm2_calculate_pubkey_name()

We'll soon have a function for determining the name of an NV index,
hence let's rename the existing function for the same of a public key to
make clear it's about public keys only.

Merge pull request #29382 from YHNdnzj/sleep-round-two

shared/sleep-config,hibernate-util: cleanup round two

units: modprobe@.service: don't unescape instance name

modprobe treats "-" and "_" interchangeably, thereby avoiding frequent
errors because some module names contain dashes and others underscores.

Because modprobe@.service unescapes the instance name, an attempt to
start "modprobe@dm-crypt.service" will run "modprobe -abq dm/crypt",
which is doomed to fail. "modprobe@dm_crypt.service" will work as
expected. Thus unescaping the instance name has surprising side effects.
Use "%i" instead.

test: install af_packet kernel module on openSUSE

Currently needed by test-dhcp-server unit test, af_packet is not built-in on
openSUSE distributions.

Merge pull request #29652 from yuwata/dhcp-cleanup-headers

dhcp: cleanup headers

Merge pull request #29650 from YHNdnzj/more-followup

Some more follow-ups for recent PRs

shared/mount-util: log correct errno

Follow-up for 5f48198af82e5a6f40adf887291fdd47bcecf64c

man,docs: suffix directories with /

core/execute: use FOREACH_ARRAY and free_many more

network,dhcp: restart client with 'networkctl renew' when delayed by IPv6 only mode

This is convenient when the server supports IPv6 only mode.
Otherwise, we cannot request a new address during the client is waiting an
IPv6 connectivity. Note, the minimal timespan is 5min, and a server may
send a quite large value.

dhcp: split dhcp-internal.h into two

sd-dhcp-client: always use sd_dhcp_client.timeout_ipv6_only_mode for delaying subsequent task

Otherwise, sd_dhcp_client_set_ipv6_connectivity() may not work, as it
checks if the timer event source is enabled or not.

dhcp: move DHCP client specific definitions to dhcp-client-internal.h

sd-dhcp-client: add a short comment about IPv6 only mode

sd-dhcp-client: only send RENEW message when the client is in bound state

Fixes an issue reported at
https://github.com/systemd/systemd/pull/29544#issuecomment-1762742561.

sd-dhcp-client: simplify the condition in sd_dhcp_client_get_lease()

The condition was outdated, e.g. SELECTING state does not have a lease.
See client_handle_offer() and client_enter_requesting().

The condition based on the state may become much complex in the future.
Let's use simpler condition.

dhcp: split out dhcp-network.h from dhcp-internal.h

dhcp: move DHCPState to dhcp-client-internal.h

All other definitions in dhcp-protocol.h are common for client and
server. Let's move DHCP client specific definitions.

fuzz: include library headers first

hibernate-util: introduce hibernation_is_safe

After 7470b80763ac0f598ca1ef73d44763967119c18d, we refuse
to hibernate if we fail to write HibernateLocation EFI
variable and resume= is not set. Let's teach sleep_supported
to follow the practice too.

hibernate-util: rework find_hibernate_location

* "HibernateLocation" struct is renamed to HibernationDevice
  to avoid ambiguity with the EFI variable. Also, it no longer
  takes the reference to a SwapEntry object, since it's really
  unnecessary (only SwapEntry.path is used), but increases complexity.
* SwapEntry is no longer used externally.
* find_hibernate_location is split into read_swap_entries and
  find_suitable_hibernation_device. The former reads all swap entries
  into SwapEntries object for later use.
* Make use of btrfs_get_file_physical_offset_fd

Closes #25130

hibernate-util: read_fiemap: add missing asserts

sleep-config: introduce sleep_supported_full that returns a reason

Preparation for later commits.

Also some other cleanups:
* Add assertions
* Use FOREACH_ARRAY

sleep-config: minor cleanup for can_sleep_{state,disk}

* Rename to sleep_{state,mode}_supported
* Treat unreadable/unwriable sysfs files as error

test-btrfs-physical-offset: log correct errno

stub: Ignore the boot counter when looking for .extra.d directory

If `foo+3-0.efi` is booted when there are some files in `foo.efi.extra.d`,
those files are ignored. But after the boot is blessed and the system rebooted,
those file are taken into account, and the boot is different from first
boot. This behavior is a bit puzzling.

Instead we now ignore the counter and always look for the extra files in
`foo.efi.extra.d` and always boot the same way.

mkfs-util: set timezone to UTC when copying files into fat partition

mcopy will set the modification time of created directories to the mtime
of the source directories but converts it to the timezone of the host.
This behavior is identical to Windows / DOS:

>  The FAT file system stores time values based on the local time of the computer.

-- https://learn.microsoft.com/en-us/windows/win32/sysinfo/file-times

To achieve reproducible builds, mcopy should be invoked with TZ=UTC.

Co-authored-by: Paul Meyer <49727155+katexochen@users.noreply.github.com>

tpm2: move event tag sd-boot/sd-stub to make measurements with into src/fundamental/

Ultimately we want to be able to recognize these in userspace, hence
make them available in both UEFI mode and userspace.

While we are at it, let's rename the fields a bit, reflecting more what
they measure, not what the metadata is that we store about them.

sort-utils: add generic uint16_t comparison call

format-table: add new table_get_current_column() helper

format-table: add new uint32_t hex field type

Merge pull request #29644 from poettering/json-iovec

add iovec/base64 json helpers and other iovec tweaks

Merge pull request #29630 from DaanDeMeyer/manager-json

Various refactoring in preparation for adding JSON dump to pid 1

Merge pull request #29626 from bluca/auto_soft_reboot

systemctl: automatically softreboot/kexec if set up on reboot

repart: port to new "struct iovec" JSON + primitive helpers

json: add helpers for dispatching/building JSON with base64 struct iovecs

iovec-util: add some useful helpers for dealing with iovecs that refer to dynamic memory

tpm2-util: add line break where appropriate

tpm2-util: add a bunch of line breaks for an overly long bitmask

json: Introduce JSON_BUILD_CALLBACK

json: Introduce JSON_BUILD_STRING_SET

hashmap: Add extra uncounted entry to returned array from hashmap_dump_sorted()

This allows using the returned array as a strv.

manager: Introduce manager_get_progress() helper

unit: Move three helpers to unit.h

timer: Add two more helper functions

swap: Move two functions to swap.h

socket: Add one more helper

mount: Add more helpers

execute: Add more helper functions

core: Add two more to_string() functions

Add unit_type_to_capitalized_string()